拍下你的餐点照片，人工智能就能立即告诉你它的卡路里、脂肪含量和营养成分——再也不需要写食物日记或猜测了。
这一未来场景如今离现实更近了一步，这要归功于纽约大学Tandon工程学院研究人员开发的AI系统。该系统有望成为数百万希望管理体重、糖尿病及其他与饮食相关的健康问题人群的新工具。
这项技术在第6届IEEE移动计算与可持续信息国际会议上的一篇论文中详细描述，使用先进的深度学习算法来识别图像中的食物项目，并计算它们的营养成分，包括卡路里、蛋白质、碳水化合物和脂肪。
十多年来，纽约大学消防研究小组（包括该论文的主要作者Prabodh Panindre和合著者Sunil Kumar）一直在研究消防员的关键健康和操作挑战。多项研究表明，73-88%的职业消防员和76-87%的志愿消防员超重或肥胖，面临心血管疾病和其他健康风险，这些风险威胁到他们的操作准备状态。这些发现直接促使他们开发了这款基于AI的食物追踪系统。
“传统的食物摄入跟踪方法严重依赖自我报告，而这种方法非常不可靠，”纽约大学Tandon工程学院机械工程系副教授Prabodh Panindre说。“我们的系统消除了人为错误。”
尽管这个概念看似简单，但开发可靠的食品识别AI却困扰了研究人员多年。之前的尝试在三个基本挑战上遇到了困难，而纽约大学Tandon团队似乎已经克服了这些问题。
“食物的视觉多样性令人震惊，”纽约大学阿布扎比分校机械工程教授兼纽约大学Tandon全球网络机械工程教授Sunil Kumar说。“与外观标准化的制造物品不同，同一道菜根据制作者的不同可以看起来大相径庭。一家餐厅的汉堡与另一家餐厅的汉堡几乎毫无相似之处，自制版本则又增加了另一层复杂性。”
早期的系统在估算份量时也表现不佳——这是营养计算中的一个关键因素。纽约大学团队的进步在于其体积计算功能，该功能利用高级图像处理技术来测量每种食物在盘子上占据的确切面积。
该系统将每种食物所占面积与密度和宏量营养素数据相关联，将二维图像转换为营养评估。这种体积计算与AI模型的集成使得无需手动输入即可进行精确分析，从而解决了自动化膳食跟踪中的长期难题。
第三个主要障碍是计算效率。以前的模型需要过多的处理能力才能实现实时使用，通常需要云处理，这引入了延迟和隐私问题。
研究人员使用一种强大的图像识别技术YOLOv8结合ONNX Runtime（一种帮助AI程序更高效运行的工具），构建了一个食物识别程序，该程序可以在网站上运行，而不是作为下载应用程序，使人们只需用手机浏览器访问该网站即可分析餐食并跟踪饮食。
当测试一片披萨时，该系统计算出其含有317卡路里、10克蛋白质、40克碳水化合物和13克脂肪——这些营养数值与参考标准非常接近。它在分析更复杂的菜肴时表现同样出色，例如印度南部特色菜Idli Sambhar（蒸米糕配扁豆炖菜），系统计算出其含有221卡路里、7克蛋白质、46克碳水化合物和1克脂肪。
“我们的目标之一是确保系统能够适用于各种不同的烹饪方式和食物呈现形式，”Panindre说。“我们希望它在热狗（系统计算出280卡路里）上的准确性与在中东甜点Baklava（系统识别出310卡路里和18克脂肪）上一样高。”
研究人员通过合并类似的食物类别、移除样本过少的食物类型，并在训练过程中对某些食物给予额外重视，解决了数据方面的挑战。这些技术帮助他们从无数初始图像中精炼出一个更加平衡的数据集，涵盖214个食物类别的95,000个实例。
技术性能指标令人印象深刻：该系统在交并比（IoU）阈值为0.5的情况下，平均精度（mAP）得分为0.7941。对于非专业人士来说，这意味着即使食物重叠或部分被遮挡，AI也能以大约80%的准确率定位和识别食物项目。
该系统已部署为可在移动设备上运行的网页应用，使其有可能被任何拥有智能手机的人使用。研究人员将其当前系统描述为一个“概念验证”，很快可以进一步完善和扩展，应用于更广泛的医疗保健领域。
除了Panindre和Kumar之外，该论文的作者还包括纽约大学Tandon计算机科学与工程系的硕士生Praneeth Kumar Thummalapalli和Tanmay Mandal。
(全文结束)
