AI黑盒变透明：麻省理工新法自动提取概念，可解释决策

【金色港湾资讯网为您推荐阅读】

近日，美国麻省理工学院官网发布了一项研究进展，此进展为医疗诊断、自动驾驶等高风险场景里的人工智能应用带来了新的信任基础，该校研究团队成功开发出一种新方法，该方法能够自动提取，还能强制AI使用人类易懂概念进行决策，有望在提升模型准确性之时，显著增强用户对 “黑盒” 系统的信心。

可解释性成为高风险AI应用关键瓶颈

于医疗范畴里，在AI模型给出针对疑似黑色素瘤实施切除手术的建议之际，医生不能接受，患者也无法接纳一个以“凭感觉”而获取的结论。同样地，自动驾驶汽车于碰到突发状况之时骤然刹车或者转向，其做出决策所依据的必定得是清晰的并且能够追溯的。当下诸多高性能AI模型好似一个“黑盒”，其内里的运算逻辑对于外界而言是不透明的，这已然成了上述高风险情景中广泛布置AI的关键阻碍。

统计显示，有超过七成的医疗机构管理者称，倘若AI不能对其作出的诊断建议给出理由，那么他们就不会把该技术运用到关键决策之中。在自动驾驶范畴，监管部门也已然清晰要求，算法务必能够还原致使特定驾驶行为出现的关键因素。缺少可解释性不但会对技术应用形成阻碍，而且更有可能在实际事故发生之际没办法展开责任界定以及系统改进。

传统概念瓶颈模型存在固有局限

概念瓶颈模型技术被广泛采用，目的是要去增强AI可解释性，该技术核心思路是，在AI输入图像与最终输出结论之间，增添一个识别“概念”的中间步骤，比如说在皮肤病变诊断里，模型会先识别图像中有没有“成簇的棕色斑点”或者“边缘不规则”等人类能够理解的概念，之后基于这些概念，做出是不是恶性肿瘤的判断。

然而，传统方法于实际应用情形当中，暴露出显著的、较为明显的短板之处。其概念集合体大体上常常依靠人类医学领域的专家，抑或是借助大语言模型，提前予以定义。这些通过预设计的定义所获的概念，有可能与具体开展运行的诊断的任务，在关联性的层面呈现出不强的态势。或者是缺少充足的、具备足够程度的细节方面的描述。更为严重、更为关键的则是，AI模型于训练的进程当中，可能会采取“暗中”摸索探寻的方式，利用定义范畴之外的、其他类型的图像特征，来用于进行判断、做出决策。由此致使其给出的、所呈现出来的解释，与实际的、真实发生的判断依据，并不契合。进而形成具有 misled 性质的、误导性的可解释性。

新方法实现概念自动提取与强制使用

由麻省理工学院团队在这次所提出来的解决方案，跳出了靠着人类预先定义概念的旧有框架，研究人员借助一个经过海量数据预训练的视觉模型，觉得该模型内部已有完成特定识别任务需要的知识，他们设计了一组两阶段流程，最开始运用稀疏自编码器这一专用模型，从原始模型里提取出最具相关性的特征，并且把它高效压缩成少量核心概念。

会有一个多模态大语言模型介入，把那些数值化的特征转化成简洁的自然语言描述，这个模型能够自动为数据集中的每一张图像标注出这些概念存不存在的真实状况，完成标注后，团队利用这些数据训练一个独立的概念瓶颈模块，再把它整合回原始模型，进而强制该模型在做预测时，只能用这套刚提取并翻译好的概念，杜绝了使用其他未知特征的可能性。

强制精简概念数量提升解释质量

为了保证生成的解释既简洁又直接关联，研究团队在方法手段里设定了一项关键限定，那就是模型每一次开展预测之际最多仅仅能够运用五个概念，这一约束条件使得 AI 从诸多潜在特征当中挑选出最为关键的几个要素，防止输出冗长繁杂且难以领会的解释清单。在医疗诊断领域，这就意味着医生会直接看到最重要的两三个病理指标，而不是几十个关联情况不明的数据点。

该设计精巧地平衡了，解释的简洁性与决策的准确性。用户不再直面海量的，可能相关因素，而是获取一个，高度浓缩且直指核心的，决策依据。这种精简还使得，人类专家能够更高效地，对AI的推理过程予以审核，判断其运用的概念是否真正合理，进而形成有效的，人机协作监督机制。

多项测试验证准确率与解释性双提升

于鸟类物种识别以及皮肤病变诊断这样的两项典型任务之上，麻省理工学院团队展开了严格测试，用以验证新方法的实际效果。结果呈现出，跟现有的概念瓶颈模型相比较而言，新方法不但给出了跟图像内容更为贴切、更为精准的概念解释，并且在预测准确率方面也达成了更高的成果。这表明该方法切实达成了“解读”与“性能”两者兼得的情况。

就拿皮肤病变诊断来说，新方法可以精准地识别，还能着重突出像“色素网断裂”以及“蓝灰色区域”这些得到专业皮肤科医生认同的关键概念。测试数据显示，在运用新方法之后，模型在维持高诊断准确率的情形下，其决策所依据的东西跟皮肤科医生手册里的诊断标准极为相符。这朝着实际临床应用跨出了坚实的一步，证实了透明化过程不但不会对性能造成拖累，反倒有利于模型将注意力集中于真正有效果的特征。

未来将解决信息泄露并扩大数据标注

哪怕已然有了明显的进步，麻省理工学院的团队也清楚地晓得当下方法有着可提升之处。他们表明，后续的工作会着重处理潜藏的信息泄露难题。在一些情形下，概念标注步骤或者模型架构兴许会不经意间使AI预先接触到不能够看到的预测目标信息，进而对解释的真实性造成影响。团队打算经由改善训练流程来完全避开这一风险。

团队有着这样的计划，那就是去探索，利用更强大的多模态大模型，以此来标注更大规模的数据集，当前方法的效果，受到可用于训练概念瓶颈模块标注数据量的限制，并且因人工标注成本高昂，借助先进大模型自动生成高质量概念标注，这将会大幅降低技术应用门槛，能让该方法更快扩展到更多领域，就像工业缺陷检测、金融风控等对决策透明度有高要求的场景。

当自动驾驶汽车鉴于紧急避险的情形从而引发事故之际，您觉得究竟应当将车内乘客的保护置于优先地位，还是车外行人？针对AI的此类道德层面的决策，又该以怎样的方式向公众阐释得清晰明白？欢迎于评论区留下您的见解，并且点赞分享这篇文章，进而促使更多的人参与到讨论当中来。