体思路很好,结构清晰。”他先肯定,然后话锋一转,“但这个93.5%的准确率数据,我有疑问。”
他指着图表上的一个数据点:“这是基于哪个数据集测的?”
“COCO-Medical,公开数据集里质量最高的之一。”兰芊翊解释道,“我对比了五篇顶会论文,这个数据是平均值。”
苏宁微微蹙眉,兰芊翊注意到这是他思考时的习惯表情。
“公开数据集和医院实际数据差异很大。COCO-Medical的数据经过严格清洗和标注,但医院实际数据噪声大、标注不一致。同样的算法,在公开数据集上准确率能到95%,在实际医院数据上可能只有80%出头。”
兰芊翊一愣,这个角度她确实没考虑到。
“我查过几篇临床验证研究。”苏宁调出自己的笔记,“比如这篇今年二月发表在《Radiology》上的文章,同一个肺结节检测AI,在公开数据集上灵敏度97.2%,但在三家医院的实际临床数据上,灵敏度分别只有89.1%、85.7%和82.3%。”
他把屏幕转向兰芊翊,密密麻麻的文献笔记,标注着重点和数据对比。
“这个差距会影响商业化前景。”苏宁继续说,“如果只宣传公开数据集上的高准确率,医院采购后发现实际效果打折,会产生信任危机。我们应该区分‘理想场景性能’和‘实际场景性能’。”
兰芊翊脸有些发烫,这是她疏忽了。
太依赖学术论文数据,忽略了临床落地的复杂性。
“对不起,我重新做这部分分析。”她诚恳地说。
“不用道歉。”苏宁语气平静,“研究本来就是不断迭代的过程。我们一起把这块补上。”
“我联系了复旦医学院的一个师兄,可以拿到一些脱敏的实际医院数据做对比分析。大概明天能拿到。”
兰芊翊惊讶地看着他:“你什么时候联系的?”
“前天晚上,看到你初步框架时就想到了这个可能性。”苏宁说得轻描淡写,“刚好他最近在做类似的研究,数据可以共享。”
这一刻,兰芊翊心里涌起一种复杂的感受。
这个搭档,不仅能在她出错时指出问题,还能提前准备好解决方案。
不是指责,而是
本章未完,请点击下一页继续阅读!