ChatGPT的学术造假能力已经达“专业水准”

繁体

以Chat GPT为代表的人工智能工具,依靠其强大的文本生成能力,早已经无可避免地渗入到了学术论文写作领域。当人们还在惊叹于AI论文的流畅结构、精准表达之时,AI工具们又“向前迈出了一大步”,它们已经成为了一个学术造假的高手。

ChatGPT的学术造假能力已经达“专业水准”

图片来源:Mateusz Slodkowski

专业水平的学术造假

11月9日,一篇发表在JAMA Ophthalmol的论文展示了Chat GPT的惊人学术造假能力[1]。论文中,作者以GPT-4为基础,并用Python算法模型高级数据分析(Advanced Data Analysis, ADA) 对其进行拓展,得到了一个伪造实验数据的利器。研究人员使用这项AI工具生成了一个以假乱真的实验数据集,按照这些伪造的实验数据,人们可以“数据翔实”地支持一项与实际情况不符的科学假设。

换言之,AI已经学会了高超的学术造假技艺。

接下来,我们来细致地感受一下AI的造假水平。研究人员要求AI伪造的实验数据,是关于一种重要的致盲性眼病——圆锥角膜(Keratoconus)。该病的特征是角膜中央或旁中央扩张变薄并向前呈锥形突出,常造成高度不规则散光,晚期视力显著下降而致盲。

部分圆锥角膜患者必须接受手术治疗,常见的术式有两种:一种是穿透性角膜移植术(PK),该术式会切除患者角膜中所有受损层(全层),并用捐赠者的健康组织替换之;另一种则是板层角膜移植术(DALK),该术式仅替换角膜的前层,而最内层保持完整。

而研究人员指示AI伪造的实验数据,正是为了论证“DALK疗效优于PK”。

为了伪造支持这一结论的数据,AI生成了包括160名男性和140名女性参与者的实验数据,数据范围包括评估角膜形状并检测不规则性的成像测试,以及实验参与者在手术前后的视力差异。这些伪造数据表明,接受 DALK术式的人,在术后的视力和成像测试得分都高于接受PK术式的人。

ChatGPT的学术造假能力已经达“专业水准”

图片来源:Paweł Jońca

AI伪造的这些数据完全符合科研范式,即便是一个该领域内接受过专业学术训练的研究人员,也无法遽然判断这些AI生成数据的真伪。除非他们自己去做一遍相应的实验。

当然,研究人员选取的这项关于圆锥角膜的研究,其实早已有相应的临床试验数据。2010年一项涉及77名参与者的试验报告显示,在手术后长达2年的时间内,DALK和PK两种术式的疗效没有显著区别。AI的实验数据只是彻头彻尾的杜撰。这种强大造假能力令人担忧。

AI给学术带来的负面挑战

在前一段时间沸沸扬扬的室温超导事件,某些团队争先恐后地公布发现室温超导,并迅速引发了世界范围内的舆论风暴,但所谓的室温超导却难以复现,最终留下不了了之的一地鸡毛。这说明了在许多领域,识别一些实验数据的有效性或真伪,其实并非那么容易。尤其是在这些数据“看似十分可靠”的时候。

但现在AI将学术造假的门槛进一步拉低,人们可以以很低的成本得到这些“看似十分可靠的虚假实验数据”。

AI在这种专业级的学术造假都信手拈来,某些轻量级的“学术造谣”则更是不在话下。

今年年初的一项预印本文章表明,AI可以轻松杜撰令人信服的虚假论文摘要,而即使是科学家群体,也难以分辨这些论文摘要是否由AI生成[2]。

ChatGPT的学术造假能力已经达“专业水准”

图片来源:Ascannio

研究人员要求Chat GPT根据《美国医学会杂志》 、《新英格兰医学杂志》、 《英国医学杂志》、《柳叶刀》和《自然医学》上的论文内容,撰写50篇医学研究论文的摘要。

然后,研究人员分别让抄袭检测器、AI输出检测器以及一组医学研究人员来判断这些摘要是否由AI生成。首先是抄袭检测器,AI生成摘要的原创性得分中位数为100%,完全不能甄别出AI生成摘要;然后是AI输出检测器,这项工具甄别出了 66% 的AI生成摘要,效果也不理想;最后是医学研究人员的人工鉴别,他们仅甄别出了68%的AI生成摘要,而且他们还把14%的真实摘要判断成了AI生成的。

可以说人工组的战绩和AI输出检测器是半斤八两。而这样的鉴别准确率显然是十分低下的。

这种轻量级的“学术造谣”虽然不如实验数据造假那么“专业”,但可以在大众层面的科学传播中发挥影响力。所谓造谣一张嘴,辟谣跑断腿。有了AI工具的加持,科学传播中鱼目混珠的现象会更加严重。

不可回避,也不必回避

AI工具的迅速发展,给学术界尤其是学术出版领域提出了考验。一项设计100家出版商和期刊的调查研究发现,截至今年5月,有17%的出版商和70% 的期刊发布了关于生成式AI的使用规定。尽管他们对于AI的态度各有不同,但显然AI工具在学术出版领域已经成为了一个不可回避的问题。

事实上,运用AI辅助论文写作成为了相当普遍的现象,但出于各种原因,作者们并不总是乐意披露这个事实。

今年8月9日, Physica Scripta发表了一篇论文,报道发现了一个复杂数学方程的新解[3]。但“科研侦探”Guillaume Cabanac 在文章的第三页上发现了一个奇怪的短语:“Regenerate response”(重新生成回复)。

这个凭空冒出来的短语,显然来自于ChatGPT上的按钮,粗心大意的作者可能是在复制的时候没注意一起给粘贴上去了。

ChatGPT的学术造假能力已经达“专业水准”

论文中的“奇怪短语”和ChatGPT的“重新回复”按钮

图片来源:pubpeer

面对铁证如山,论文作者不得不向期刊承认,他们确实使用了ChatGPT来帮助起草论文。Physica Scripta的诚信负责人Kim Eggleton后续表示:期刊已决定撤回该论文,因为作者在提交论文时没有声明他们使用了AI工具,“这违反了我们的学术道德政策”。

科研侦探Cabanac表示,今年光是这种误粘贴ChatGPT按钮短语的“社死”论文,他就找到了十几篇。他全给截图发PubPeer上了,并且认为“这只是冰山一角”。

但是,当我们在谈论AI工具所应发的负面影响的时候,更应当看到它们所带来的便捷与进步。下方是Nature向科学家们对AI好处的一项调查,结果发现:科学家们认为AI在“帮助母语非英语的科学家”、编程领域以及加速文献阅读等方面帮助很大。

ChatGPT的学术造假能力已经达“专业水准”

资料来源:Nature

因此,我们不难看出AI在当下科研工作中已扮演重要角色,并且在未来它们的影响会越来越重要。

我们的态度,不应是一刀切的反对,也不应是对AI带来的各种影响放任不管。生物学家兼数据科学家Roy Kishony表示,我们的目标应当是探索ChatGPT作为科研“副驾驶”的潜力,“我们需要讨论如何才能获得好处,同时减少坏处”。

在技术发展的洪流中,掌握好这一根平衡杆,是不容易的。但也唯有如此做,学界才能获得最长远的发展收益。更重要的是,我们似乎也别无选择——面对AI,我们不必回避,况且也避无可避。

参考文献:

[1]Taloni, A., Scorcia, V. & Giannaccare, G.JAMA Ophthalmol.

[2]https://doi.org/10.1101/2022.12.23.521610 (2022).

[3]https://iopscience.iop.org/article/10.1088/1402-4896/aceb40

知社学术圈-网易号

1
0

本页面二维码

© 版权声明:

本站资讯仅用作展示网友查阅,旨在传播网络正能量及优秀中华文化,版权归原作者所有。

如有侵权请 联系我们 予以删除处理。

其他事宜可 在线留言 ,无需注册且留言内容不在前台显示。

了解本站及如何分享收藏内容请至 关于我们。谢谢您的支持和分享。

猜您会读:

  • 赵构为什么要杀岳飞?

    高宗,名赵构,字德基,汉族。徽宗第九子,钦宗弟,北宋灭亡后,在南京即帝位。在位36年,让位后病死,终年80岁,葬于永思陵,今浙江省绍兴县东南35里处宝山。赵构不愿收复北...
  • 中国糖果之王,卖了

    轰动中国的徐福记,迎来命运拐点。投资家网获悉,食品行业近日突曝大消息,名震两岸三地的中国糖果龙头徐福记剩余股权卖给了全球食品巨头雀巢。至此,雀巢实现对徐福记全资控...
  • 晚清义士-清兵恩海的庚子故事

    晚清义士-清兵恩海的庚子故事

    图:1900年12月31日,北京东单大街,清兵恩海面朝西北跪下受刑。一1900年12月31日,19世纪的最后一天。而对于中国来说,这一天是光绪二十六年十一月初十,似乎并没有什么特别...
  • 张小灰手记——与警察打交道系列

    与警察打交道系列之一:成都被抓2010年我收了个实习生叫S雪,女娃子,她是哪里人我已经忘了,在西南政法大学念书,大几我也忘了,总之快毕业,不知道她是怎么找到我的。我很少...
  • 李勣(徐懋功)的“皇家家事论”影响深远, 后世被范祖禹、王夫之等大加批判

    李勣(徐懋功)的“皇家家事论”影响深远, 后世被范祖禹、王夫之等大加批判

    李勣,原名徐世勣,字懋功,后赐姓李,又为避唐太宗李世民讳,去“世”字,单名勣,在唐代的统一战争及之后对边疆的战争中功勋卓著,为开国元老。历史上的李勣是一个武将,而...
  • 古人被“放鸽子”了咋办?韩愈写诗调侃,白居易绝妙回复

    古人被“放鸽子”了咋办?韩愈写诗调侃,白居易绝妙回复

    转自大河报所谓“放鸽子”,实际上是指爽约,关于其由来有几种说法,一种是源于旧上海的彩票,俗称白鸽票,一般都有去无回,所以把这种情况叫放鸽子;第二种是养鸽人的惨痛经...
  • 中国文学演变简史

    中国文学的演变历程是一部跨越数千年的文化史诗,深刻反映了不同时期的社会风貌、思想变迁与审美流变。以下以关键历史节点为脉络,结合具体案例进行解析:01先秦时期:文明基...
  • 人大代表“免捕权”制度的历史演进

    来源: 中国人大杂志 第14期 文/ 阚珂了解人大历史的人知道, 全国人民代表大会在历史上举行过四次秘密会议。这里, 我先讲一个全国人大常委会历史上一项秘密会议议程的故...
  • 西路军始末

    红军西路军,这是一个悲壮而又沉重的名词。西路军2万余人在河西走廊基本全军覆没,这在我军战史上是绝无仅有的惨烈一幕。也正因于此,这段历史成为了争议非常大的一个话题。争...
  • 2004年,大学生马加爵连杀4位同窗独放过1人,被枪毙后父亲觉得丢脸拒领骨灰

    2004年,大学生马加爵连杀4位同窗独放过1人,被枪毙后父亲觉得丢脸拒领骨灰

    就因为一次打牌吵架,我决定了走上这条路。现在我以一个旁观者的身份看,这是多么荒谬,多么无知啊!这是多么地悲哀,多么地残酷啊!(马加爵遗书)“317寝室怎么这么臭。”“...

名著精选