近日,多模態(tài)人工智能模型基準評測集MMMU更新榜單,云知聲山海多模態(tài)大模型UniGPT-mMed以通用能力、醫(yī)療專業(yè)能力雙雙排名第一的優(yōu)異成績登頂榜首,力壓GPT-4V,充分彰顯其硬核實力。
作為國內權威多模態(tài)基準評測,MMMU由IN.AI Research等多家機構聯(lián)合構建,專注于考量人工智能在解決大學層次多學科問題時的多模態(tài)理解與推理能力。
該評測集涉及藝術與設計、商科、科學、健康與醫(yī)學、人文與社會科學、技術與工程等六個常見學科,包含 1.15 萬個精心選取的多模態(tài)問題,涵蓋 30 個不同的科目和183 個子領域。同時,MMMU 中許多問題都需要專家級的推理能力,例如,使用傅立葉變換或均衡理論來推導問題的解,這在滿足評測內容廣泛性的同時,也確保了其深度。