NAACL 2025 · Short Papers pp. 539–549 MLAD Tencent YouTu Lab · Westlake University

分层辩论多智能体系统
面向相似疾病鉴别诊断

A Layered Debating Multi-Agent System for Similar Disease Diagnosis

作者Yutian Zhao*, Huimin Wang*（共同一作）
Yefeng Zheng, Xian Wu†（通讯）
单位Jarvis Research Center, Tencent YouTu Lab
Medical AI Lab, Westlake University
方法名MLAD — Multiple LLM-based Agents
for accurate disease Diagnosis
Anthologyaclanthology.org/2025.naacl-short.46
02

问题与动机

Why similar-disease diagnosis?
临床痛点：有明显症状的疾病相对好诊；但症状高度相似的疾病（similar diseases / differential diagnosis）更易误诊，风险更大。

鉴别诊断举例

Myocarditis、Heart Failure、Myocardial Infarction 共享胸痛、气短、乏力、心悸等症状，但病因与治疗不同；关键区分点包括症状持续时间等。临床做法：先列可能疾病清单，再通过检查逐步缩小范围。

既有方法不足

① Classification-based

分类网络直接预测疾病，难以捕捉细微鉴别线索。

② Contrastive learning

对比学习拉开疾病表示，仍难覆盖多步决策与工具需求。

③ LLM-based

预训练或 prompt 做诊断；线索过细，单次生成难以胜任。

核心洞察：用多个带专科背景的 LLM agent，在医学知识引导下做迭代辩论与反思（iterative debating and reflecting），直到诊断收敛，从而发现相似病候选间的细微差异。
03

贡献一览

Three takeaways

① 框架 MLAD

多 LLM agent 在全面医学知识引导下迭代辩论与反思，完成鉴别诊断。

② 挑战数据集

修订选项构建更难相似病诊断集：JarvisD2-Chinese（10,953 QA）与 JarvisD2-English（248 QA）。

③ 实验与分析

在 Standard / Enhanced 上对比 embedding、通用 LLM、专科 LLM，并做消融与行为分析。

10,953
JarvisD2-CN QA
248
JarvisD2-EN QA
+6.4%
Standard 平均提升
+8.5%
Enhanced 平均提升
04

方法总览

Figure 1 · Pipeline
STEP 1
Initialization
imap 结构化病历 + 专科背景注入
STEP 2
Tools-Augmented
Layered Debating
组内讨论 → 组间辩论 → 工具核验 → 反思精炼
STEP 3
Consensus / Early-Stop
全票一致，或票数持平连续 >3 轮后决胜
Figure 1: MLAD overview
图 1 · MLAD 整体流程：Initialization → Tools-Augmented Layered Debating → Consensus / Early-Stopping
05

方法拆解

imap · specialists · debate · tools · early-stop
imap

Initialization · imap 结构化（§2.1）

将病历文本蒸馏为 term-value pairs（如 (Symptom, Sore throat)），去噪并突出症状、检验等关键信息，引导 agent 聚焦症状对比与差异诊断（Wang et al., 2024b, imapScore）。

专
科

专科背景注入 · Specialist Agents

从 Medical Knowledge Graph 为每个 agent 配备单一疾病域的 specialist profile。每个 agent 专攻一个疾病域 → 增加初始答案多样性，便于批判性讨论。

内
外

Inner-group / Inter-group Debate（§2.2）

组内讨论：与同选疾病 Di 的 agents 讨论，合并为组报告 Ri。
组间辩论：各组审阅对方报告；可用工具查症状、在线比较两病、让 LLM 摘要。与常规辩论（如 TriageAgent）不同，MLAD 审视诊断结果与推理，并整合同伴证据与工具。

工
具

Tools Utilization

可用工具：medical knowledge、GPT-4、search engine（附录 A.2）。获取补充证据后审视其他 agent 观点，再输出精炼诊断；最多 10 轮辩论。

早
停

Consensus & Early-Stopping（§2.3）

① 某一疾病获得全部选票 → 停止；② 各疾病得票相等且连续超过 3 轮 → 引入新 agent 投决定票并结束；③ agents 高置信一致确认推理时也可终止，减少冗余计算。

Prompt 体系（附录 Table 4–7）

Initial Diagnosis Layered Debating Tools Utilization Refined Diagnosis

角色=医生 + 病历 + 可能疾病 + Disease_i 背景 → Diagnosis / Reason；协商为何选某病而非其他；整合论点与工具新知后输出精炼诊断。

06

实验设置

Datasets · Enhanced · Baselines

数据集

数据集规模疾病数来源
JarvisD2-Chinese10,953 QA4,949 distinctCMExam, CMB, MedQA, MedMCQA, MedBench 等
JarvisD2-English248 QA238 种同上类公开医学考试数据

每题 5 个选项；另有 Standard 与 Enhanced 两版。

Enhanced 数据构建（五步）

  1. Medical KG 抽取相似病；
  2. 问 LLM 可能疾病；
  3. 同 ICD-10 section 随机选病；
  4. 同部位疾病；
  5. 正确答的不同严重程度变体。
三名医学研究者一致同意才保留增强选项。Hunyuan、GPT-4、Qwen2 投票，取含正答的 top-5。
中文：88% 题目修改选项，平均每题改 1.77 个；英文：98%，平均 2.75。
中文 LLM 来源选项占 89.32%；同 ICD-10 节对 LLM 误导率最高（中文 66.66%，英文 60.12%）。

基线

Embedding-based

MedBERT, KEPT, GP, MKeCL

General LLMs

Hunyuan-70B, Qwen2-72B, ChatGPT, GPT-4

Specialized LLMs

MedPaLM-2, Huatuo2-34B

统一 prompt；最大辩论轮次 10。

07

主结果

Table 1 · Key callouts
−18.3%
CN：Std→Enh 平均下降
−17.3%
EN：Std→Enh 平均下降
+6.4%
MLAD @ Standard
+8.5%
MLAD @ Enhanced
+6.8%
通用 LLM 平均提升
+8.8%
专科 LLM 平均提升
要点：Enhanced 使易混淆病诊断更难（LLM 平均准确率大幅下降）。MLAD 在 Standard / Enhanced 上分别相对 baseline 提升 6.4% / 8.5%；专科 LLM 更能利用 MLAD（+8.8% vs 通用 +6.8%）。Hunyuan、Qwen2 在中文标准集上很高（可能见过 JarvisD2 开源数据），但 MLAD 仍能显著提升。
Table 1: Diagnosis accuracy results
表 1 · 诊断准确率（%）：各方法在 JarvisD2 中/英、Standard / Enhanced 上的 Base vs MLAD

亮点摘录（笔记汇总）

08

消融与分析

Figure 2 · imap / tools / debating
72%
10 轮内达成完全共识
−3.6%
Freeform debating 掉点
≥80%
初始正确病 recall
~40%
Hunyuan/GPT-4 纠错率

imap

显著提升效率与准确率——引导关注关键病历信息。

+tools

提升准确率；平均轮次与完整 MLAD 相近。

Freeform debating

无组内/组间分层 → 准确率下降 3.6%（LLM conformity，易收敛到初始多数但错误的诊断）。

Layered debating

知道候选病但不知各候选支持人数 → 降低从众压力，提高准确率。

初始诊断行为：所有 LLM 初始对正确病 recall ≥ 80%；Huatuo2 达 98.9%。若正确病初始未被选入 → 后续讨论排除 → 错误结论。Hunyuan / GPT-4 / ChatGPT 初始通常选 <2 个候选；Qwen2 约 3 个。
纠错（Fig. 2c）：各模型用 MLAD 后至少改善约 20% 量级错误；Hunyuan、GPT-4 纠正近 40% 初始错误；虽会引入少量「本来对→变错」，错误率对所有模型仍 <10%。
Figure 2: Ablation and analysis
图 2 · 消融与行为分析：imap / tools / debating 贡献、初始诊断与纠错影响
09

案例

Figure 3 · Case Study (Appendix A.3)

附录 Figure 3 展示 MLAD 如何帮助区分相似病：专科 agent 在组内巩固、组间对抗，并结合工具核验细微差异，最终收敛到正确诊断。

Figure 3: Case study
图 3 · Case Study：MLAD 区分相似疾病的辩论与精炼过程（Appendix A.3）
10

局限与启发

Limitations · Takeaways

文中明确的局限

① 数据真实性

仅用公开考试类数据，与真实医院病历差异大；隐私政策下无法获取真实病历。未来应在真实临床数据上验证。

② 研究范围

仅两种语言的相似病诊断。未来可扩大病种、语言与更多 baseline。

Ethics：方法尚未可用于真实医疗部署；存在误导用户、错误决策风险；强调准确、透明、隐私与安全。

对医学 LLM / RAG / 多智能体的启发

  1. 鉴别诊断 ≠ 单次分类：需要「组内巩固 + 组间对抗 + 工具核验 + 反思」的分层辩论，比单一 CoT / 单 agent 更贴近临床 MDT。
  2. 结构化病历（imap）是前置关键：辩论前先把症状/检验结构化，可显著提效提准。
  3. 从众是多 agent 陷阱：暴露票数会导致 LLM conformity；分层辩论隐藏支持度是重要设计。
  4. 增强选项构建可测「真鉴别能力」：用 KG / LLM / ICD / 同部位 / 严重度构造 distractors，更能暴露模型短板。
  5. 工具增强辩论 ≈ 轻量 RAG：KG 检索与搜索在辩论环中按需调用，属于 agentic RAG for diagnosis。

可复现要点速查

项文中信息
最大辩论轮次10
早停全票一致；或票数相等连续 >3 轮后新 agent 决胜
工具Medical KG、GPT-4、search engine
KGhttps://jarvislab.tencent.com/kg-intro.html
开源PDF 未给出 GitHub / 数据集下载链接