研究人员开发首个可分析医学影像的双语AI系统Researchers develop first AI system for analyzing medical imagery in both English and Arabic

环球医讯 / AI与医疗健康来源:the-decoder.com德国 - 英语2024-12-28 21:00:00 - 阅读时长2分钟 - 622字
来自Mohamed Bin Zayed大学的研究团队开发了一种名为BiMediX2的AI系统,该系统可以分析和描述医学影像,并用英语和阿拉伯语提供详细解释,测试结果显示其在阿拉伯语内容方面表现尤为出色。
研究人员开发首个双语AI系统医学影像阿拉伯语英语BiMediX2MRI扫描X光片显微图像描述问题回答性能提升训练数据集GPT-4o医学专家Llama3.1架构视觉编码器无缝翻译研究用途HuggingFaceBiMed-MBench基准测试
研究人员开发首个可分析医学影像的双语AI系统

研究人员开发了首个可以理解和解释医学影像的双语AI模型,特别是在阿拉伯语内容方面取得了显著成果。由Mohamed Bin Zayed大学领导的国际研究团队开发了BiMediX2,这是第一个可以分析并用英语和阿拉伯语描述医学影像的AI系统。

该系统可以处理从X光片、MRI扫描到显微图像等各种类型的医学影像,提供详细的描述并回答有关图像的问题,无论使用哪种语言。在测试中,BiMediX2的表现超过了现有技术,在处理英文文本时性能提高了9%,而在处理阿拉伯语内容时性能更是提升了20%。

BiMediX2的成功源于其基于160万份医学记录的大规模训练数据集。为了确保两种语言的准确性,研究团队首先使用GPT-4o生成初始的阿拉伯语翻译,然后由医学专家进行质量审查。系统底层运行的是专门为医学应用调整的Llama 3.1架构,并在检测不正确的医学信息方面优于GPT-4o。

BiMediX2结合了视觉编码器、Meta Llama 3.1和GPT-4o,提供了无缝的双语分析功能,能够在英语和阿拉伯语之间自动翻译发现结果,并经过专家验证。尽管结果令人鼓舞,但研究人员强调,BiMediX2目前仅限于研究用途,尚未用于临床实践。像所有AI系统一样,它仍然可能存在错误或生成不正确的信息。

研究团队已在Hugging Face上发布了BiMediX2模型,并引入了BiMed-MBench,这是一个新的双语基准测试工具,用于评估类似系统。


(全文结束)

大健康
大健康