生成式人工智能大型语言模型在消化道癌症领域辅助科研创作的现状分析:基于2024年美国临床肿瘤学会中国学者数据
韩序1
刘亮1
楼文晖2
1.复旦大学附属中山医院胰腺外科,上海 2000322.复旦大学附属中山医院胰腺外科,上海 200032;上海市老年医学中心普外科,上海 201104
摘要：目的 利用2024年中国学者于美国临床肿瘤学会(ASCO)发表的摘要论文,描述大型语言模型(LLMs)在肿瘤研究领域辅助科研创作的现状.方法 收集中国学者(包含港澳台地区)2024年在ASCO发表的关于消化道癌症研究领域的摘要论文305篇,通过GPTZero Deep Learning检测生成式人工智能(Gen AI)生成概率.2021年未出现Gen AI工具时中国学者60篇论文作为阴性对照,并使用Gen AI生成的论文作为阳性对照,受试者工作特征(ROC)曲线评价GPTZero Deep Learning检测Gen AI生成内容的准确性,Pearson相关分析验证Gen AI生成概率与人类创作概率相关性,应用总体质量得分评价摘要论文质量.结果 所有纳入摘要论文中,按地域排序,北京(50篇)、广东(49篇)和上海(48篇)数量位列前3位.按癌症种类排序,占比最多的前5位依次是肝癌(29.51％)、食管癌(18.69％)、泛癌种(14.43％)、结直肠癌(10.82％)和胃癌(10.82％).免疫治疗是研究热点,程序性死亡受体-1(PD-1)单抗、程序性死亡配体-1(PD-L1)单抗、细胞毒性T淋巴细胞相关蛋白4(CTLA-4)单抗与PD-1/CTLA-4双抗和PD-1/酪氨酸基抑制基序域(TIGIT)双抗分别占临床试验的77.28％,11.36％,2.27％,6.82％和2.27％.分子靶向药物中酪氨酸激酶抑制剂占85.19％,多激酶抑制剂占11.11％.在ROC曲线最佳闯值下,GPTZero Deep Learning检测Gen AI内容准确性的敏感度和特异度均为100％.GPTZero Deep Learning检测发现,2024年在线发表的摘要论文中包含Gen AI内容的概率高于2021年,差异有统计学意义[17％(6％,35.5％)vs.5.5％(3％,12.75％),P＜0.001].在诊断置信度下的Gen AI生成概率与人类创作概率呈显著负相关(r=-0.852,P＜0.001).东部经济区Gen AI生成概率高于其他省份,非临床研究组高于临床研究组,差异有统计学意义(P＜0.05).人类创作摘要的总体质量得分要显著高于AI生成,差异有统计学意义[(13.7±1.8)分vs.(8.9±2.2)分,P＜0.001)].结论 与2021年相比,2024年中国学者ASCO摘要中Gen AI内容的信号显薯增加,人类创作摘要的总体质量要优于Gen AI.
关键词：人工智能大型语言模型美国临床肿瘤学会消化道癌症中国学者
分类号：R6(外科学)
资助基金：国家自然科学基金(No.82273382)希思科-恒瑞肿瘤研究基金项目(No.Y-HR2022QN-0085)
论文发表日期：2024-08-01
在线出版日期：2025-08-15（本平台首次上网日期，不代表文献的发表时间）
页数：6( 894-899 )
英文信息