InclusionMed:按医疗角色与能力组织五项评测
论文从388项候选基准中筛选四项公开评测,并加入一项私有诊断评测。首版仅覆盖九种角色与能力组合中的三种,综合分采用五项等权平均。
论文阅读笔记 · arxiv.org · 原文日期 2026-11-16
用角色与能力定位任务
论文提出 InclusionMed,将医疗模型评测组织为九格矩阵:角色分为患者与公众、医疗专业人员、医疗行政人员,能力分为知识、推理与执行行动。每项基准或其医疗子集按任务中占主导的角色和能力归入一格,用来呈现评测代表了哪些需求,以及覆盖仍有哪些缺口。
从388项候选筛到五项基准
作者报告,首版收集388项候选,经审查留下八项,再通过独立复现检查区分能力。其中三项医学知识基准出现分数饱和,HealthBench 对模型的区分有限,最终保留四项公开基准或子集。加入自建私有诊断基准后,五项评测仍只覆盖九格中的三格,覆盖范围是这一版本的明确限制。
私有诊断题要求答案与论证同时合格
私有基准 InclusionMed-DxFiles 包含312个病例,改编自《新英格兰医学杂志》的麻省总医院病例记录。模型阅读隐去最终诊断的临床材料,提交首要诊断及推理依据。其分数是获评“完全合格”的病例比例:既要首要诊断正确,也不能包含缺乏支持的诊断主张。
五项等权,执行环境各有分工
首版评估了11个模型家族的22个版本,综合指数取五项基准分数的等权平均。执行方式随任务变化:专业问答和私有诊断题直接调用接口,PhysicianBench 使用电子病历环境中的智能体,另两项使用命令行智能体。因此,指数汇总的是这些具体环境下、已被纳入的医疗角色与能力表现。
原始标题:InclusionMed:
来源:arxiv.org