Nat. Commun. | 为肾癌精准医疗而生：疾病中心化视觉–语言基础模型

DRUGONE

肾脏肿块的无创精准评估长期以来是泌尿肿瘤学面临的重要挑战。由于影像学判断存在主观性、穿刺活检具有侵入性且容易受到肿瘤异质性的影响，大量良性或低侵袭性肿瘤患者仍接受了不必要的手术治疗。研究人员开发了RenalCLIP，一个面向肾癌精准肿瘤学的疾病专属视觉–语言基础模型。该模型基于8809例患者、27866套CT扫描构建，通过两阶段预训练策略实现肾癌影像特征与临床语义知识的深度对齐。研究结果表明，RenalCLIP在肿瘤解剖学评估、良恶性诊断、侵袭性分级以及生存预后预测等十项核心临床任务中均显著优于现有通用医学基础模型。同时，该模型展现出优异的数据效率，仅利用20%的训练数据即可达到传统模型全部数据训练后的性能水平。此外，RenalCLIP还具备零样本诊断、跨模态检索以及自动医学报告生成等能力，为肾癌精准诊疗提供了一种兼具泛化性与临床实用性的人工智能新框架。

随着医学影像检查的普及，肾脏肿块的偶然发现率持续升高。然而，肾癌死亡率并未同步下降，这意味着大量患者接受了不必要的治疗。研究显示，约20%的手术切除肾脏肿块最终被证实为良性病变，而这些患者仍承担了手术风险、医疗负担以及肾功能损伤风险。

目前临床诊断主要依赖CT影像判读和经皮穿刺活检。前者高度依赖医生经验，不同医生之间存在明显差异；后者不仅具有侵入性，而且由于肿瘤内部异质性，常常难以准确反映真实生物学行为。因此，开发一种能够基于术前CT影像无创评估肿瘤良恶性、侵袭性以及预后的工具具有重要临床意义。

近年来，人工智能在医学影像分析领域取得快速发展，但大多数模型仅利用图像数据，而忽略了放射学报告中蕴含的大量临床语义信息。同时，现有方法大多遵循“一任务一模型”的开发模式，导致模型泛化能力有限。虽然CLIP等视觉–语言基础模型在自然图像和医学影像领域取得成功，但其训练目标覆盖所有疾病，缺乏针对肿瘤学复杂决策问题所需的专业知识深度。

研究人员认为，要真正解决肾癌精准诊疗问题，需要构建围绕单一疾病展开训练的疾病中心化基础模型，使模型能够充分学习肾癌影像、生物学特征以及临床决策之间的深层联系。

方法

研究人员构建了RenalCLIP框架，并收集来自中国九家医学中心以及TCIA公共数据库的27866例术前CT扫描数据。模型采用两阶段预训练策略。第一阶段为知识增强阶段，通过多任务学习从放射学报告中提取14项肾癌相关结构化属性，对图像编码器进行监督训练；同时利用Llama3和LLM2Vec技术构建专门面向肾癌语义理解的医学语言编码器。第二阶段则采用视觉–语言对比学习策略，使CT影像特征与报告中的临床病理语义实现跨模态对齐。完成预训练后，研究人员在肿瘤解剖学评分、良恶性诊断、侵袭性评估、生存预测、零样本学习、跨模态检索以及自动报告生成等任务中进行了系统评估。

结果

RenalCLIP总体框架与多任务评估体系

研究首先建立了覆盖1942例患者的独立验证体系，其中包括内部测试集、五个外部医学中心测试集以及TCIA国际公开数据集。整个评估体系涵盖13项任务，包括肿瘤解剖学特征评估、诊断任务、预后预测以及高级多模态能力测试。

结果显示，在整体性能雷达图中，RenalCLIP在大多数任务上均超过传统3D CNN模型以及CT-CLIP、Merlin和CT-FM等当前主流医学基础模型，表现出良好的泛化能力和任务统一性。

图1: RenalCLIP整体框架与评估体系。

自动解剖学评分与医学报告生成能力

研究人员首先评估了RenalCLIP对R.E.N.A.L.肾脏肿瘤评分系统的预测能力。该评分体系广泛用于术前风险评估和手术方案制定，包括肿瘤大小、突出程度、与集合系统距离、前后位置以及肾脏内位置等五项指标。

在内部和外部测试集中，RenalCLIP均获得最高或接近最高的ROC AUC值，尤其在肿瘤大小和位置相关指标上表现突出。进一步分析发现，在临床最关注的小肾肿瘤患者群体中，模型优势更加明显。

研究人员随后测试了自动放射学报告生成能力。结果显示，无论是BLEU、ROUGE还是METEOR等语言生成指标，RenalCLIP均优于GPT-4o、MedGemma、RadFM以及CT-CHAT等先进模型。在盲法专家评审中，其生成报告获得最高临床评分，是唯一达到临床可接受标准的模型。

图2： RenalCLIP在肾脏解剖学评估与自动报告生成中的表现。

良恶性诊断与侵袭性评估显著优于现有模型

对于肾脏肿块良恶性鉴别任务，RenalCLIP在内部和外部测试集中均获得最高诊断准确率。在综合外部测试集中，其ROC AUC达到0.841，明显优于所有对照模型。

更重要的是，当模型迁移到外部中心时，其性能优势进一步扩大，表明疾病中心化训练显著增强了跨中心泛化能力。

在更具挑战性的肿瘤侵袭性分级任务中，RenalCLIP同样取得最佳表现。即使在小于4厘米的小肾肿瘤患者中，模型仍保持稳定性能，说明其学习到的并非简单的肿瘤大小信息，而是真正与生物学侵袭性相关的影像表型。

进一步分析发现，模型预测为高侵袭性的患者在无复发生存期上显著更差。在TCIA外部队列中，只有RenalCLIP预测结果仍保持统计学显著性，而所有对照模型均失去预测能力。

图3: RenalCLIP在良恶性诊断与侵袭性评估中的表现。

基于CT影像实现无创预后预测

研究人员进一步探索RenalCLIP是否能够作为预后生物标志物。结果显示，在复发无生存期、疾病特异性生存期以及总生存期预测中，RenalCLIP均取得最高C-index值。其中，在TCIA独立测试集中，复发预测性能较最佳对照模型提高超过20%。

Kaplan–Meier分析表明，模型划分的高风险组与低风险组之间存在显著生存差异。进一步进行多变量Cox回归分析后发现，即使校正TNM分期和WHO/ISUP分级等传统临床指标，RenalCLIP风险评分仍然是独立预后因素。

时间依赖性分析进一步证明，该模型在不同随访时间点均保持稳定预测能力。

图4: RenalCLIP用于肾癌预后预测。

零样本学习与高数据效率能力

研究进一步评估了RenalCLIP在缺乏标注数据场景下的应用潜力。

首先，在图像–文本检索任务中，RenalCLIP在所有测试中心均显著优于CT-CLIP和Merlin，证明模型建立了高质量跨模态表示空间。

随后进行零样本诊断测试。在无需任何额外训练情况下，RenalCLIP即可完成肾癌良恶性和侵袭性预测。在TCIA数据集上，其零样本良恶性诊断ROC AUC达到0.730，显著超过其他基础模型。

在少样本学习实验中，RenalCLIP仅利用20%至40%的训练数据即可达到传统模型使用全部数据训练后的性能水平。尤其令人关注的是，在部分外部测试集上，其零样本性能甚至接近完全微调后的模型性能。

这些结果表明，疾病专属基础模型能够有效缓解医学人工智能长期面临的数据匮乏问题。

图5: RenalCLIP的零样本学习与数据效率分析。

讨论

本研究提出了RenalCLIP，一种面向肾癌精准肿瘤学的疾病中心化视觉–语言基础模型。与传统人工智能模型以及现有通用医学基础模型相比，RenalCLIP不仅在诊断准确性方面取得显著提升，而且在跨中心泛化、预后预测、自动报告生成和零样本学习等多个维度展现出优势。

研究人员认为，其成功的关键在于疾病专属预训练策略。与通用基础模型广泛学习所有疾病不同，RenalCLIP将模型容量集中用于学习肾癌相关影像特征和临床语义，从而获得更深层次的疾病知识表示。这种策略使模型能够识别传统方法难以发现的细微影像特征，并建立与肿瘤生物学行为之间的联系。

此外，RenalCLIP表现出的零样本能力和高数据效率具有重要现实意义。许多罕见肿瘤亚型、分子标志物预测任务以及治疗反应评估任务往往缺乏大规模标注数据，而疾病专属基础模型为解决这些“长尾问题”提供了新的可能性。

当然，研究也存在一定局限性。首先，对于小肾肿瘤这一最具临床价值的人群，当前模型准确率仍不足以独立指导临床决策；其次，本研究为回顾性研究，仍需前瞻性临床验证；第三，训练数据主要来源于中国患者，未来需要更多国际化数据进行验证；最后，尽管报告生成能力已明显优于现有模型，但距离放射科专家水平仍存在差距。

总体而言，RenalCLIP不仅证明了疾病中心化基础模型在精准肿瘤学中的巨大潜力，也为未来构建肺癌、肝癌、乳腺癌等疾病专属医学大模型提供了可推广的技术路线。其核心意义不仅在于性能提升，更在于推动医学人工智能从“通用工具”迈向“疾病专家”的新阶段。

整理 | DrugOne团队

参考资料

Tao, Y., Zhao, Z., Wang, Z. et al. A disease-centric vision-language foundation model for precision oncology in kidney cancer. Nat Commun (2026).

https://doi.org/10.1038/s41467-026-74175-w