讲座名称：多模态大模型推理的挑战与对策
讲座时间：2026年06月24日 14:00
讲座地点：奉贤校区科技楼B201
主讲人：孙仕亮
专家简介：
上海交通大学教授，上海市计算机学会人工智能专委会主任，上海市图像图形学学会机器学习专委会主任，上海交通大学大数据与人工智能实验室负责人。主要研究方向为机器学习、人工智能。担任IEEE TPAMI、IEEE TNNLS、自动化学报等知名期刊编委。曾获中国自动化学会自然科学奖一等奖等重要奖项。发表学术论文200多篇，出版《模式识别与机器学习》教材、多源数据融合领域中英文专著。
报告简介：
多模态大模型近年来取得了显著进展，但其在涉及多模态输入的复杂推理任务中仍表现不佳。为了系统分析当前多模态大模型在推理任务中的表现，本报告介绍了一个同时包含文本、图像和音频三模态输入的数学题数据集。通过对比多个主流开源与闭源模型的实验结果，报告剖析了模型在不同类型推理任务中的性能差异与不足，并从模型幻觉的角度对中间推理错误进行了分类与分析。进一步地，报告提出以强化学习为核心的多模态大模型幻觉消减机制，为未来多模态推理能力的提升提供参考方向。
