财新传媒 财新传媒

阅读:0
听报道

随着AI工具的出现,可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系,导致学术造假频发。目睹着AI在学术界使用日益泛滥,法国图卢兹大学计算机科学家Guillaume Cabanac决定要做点什么。于是在2015年,他和同事发起了一项专项“打假行动”,专门针对那些使用了AI技术却未做出声明的问题论文。

一开始,他只是出于好奇而志愿做这件事;如今,他创造的工具帮助学术侦探们持续不断地揭露论文造假行为。 

撰文 | 路飞 

今年4月,全球独立学术出版商Sage忍痛清理门户,从一本名为Journal of Intelligent & Fuzzy Systems(《智能与模糊系统杂志》,简称JIFS)的期刊上,一口气撤回了467篇论文。

 Sage发言人表示,自从科睿唯安(Clarivate)“向我们通报了对该期刊部分内容存在质量担忧”之后,“我们展开了彻底的调查”,且自调查日起该刊停止收录文章。至于撤稿的原因,Sage对外声称是“同行评议程序不合理”。

目前在科睿唯安网站上,该期刊仍然能够正常检索。如果科睿唯安将该期刊从科学引文索引数据库(SCI)中剔除,后续将不再对其论文进行索引及统计论文的引文数目,也不再给该期刊赋予影响因子。这个惩罚对涉事期刊或许不冤,但对此前发表在该期刊上的作者来说,多米诺效应将带来一系列严重后果。

在这件事上,Sage也是个输家。因为在2023年11月,Sage才收购了IOS Press,由此获得近100本期刊,涵盖神经科学、医学信息学、癌症研究、人工智能(AI)、数据科学和语义网等相关领域。出事的JIFS正是IOS Press旗下的期刊。

 对于Sage收购后的大幅撤稿,JIFS主编Reza Langari颇有微词。他自诩编辑部对投稿进行了严格把控。他表示,该期刊近年来在AI相关领域的投稿量突飞猛进,去年更是飙升至10000篇,期刊内部为此制定预审机制,拒掉了80%以上的投稿,尤其是一眼看上去是论文工厂生产的或者明显使用AI工具的论文。

 撤稿并非空穴来风。其实早在Sage收购IOS Press之前,JIFS期刊就被曝出诸多问题。一方面是PubPeer上的匿名志愿者多次在问题论文评论区指出错误,如PubPeer用户“Rhipiduraalbiventris”对几篇现已撤回的论文发表了评论,指出了计算中的缺陷并质疑引用文献的相关性。另一方面是有人利用“问题论文筛选器”(Problematic Paper Screener,PPS)发现该期刊11篇文章中使用“费解的短语”(Tortured Phrases)——即论文中出现的奇怪术语或令人困惑的替代短语,可能是使用自动翻译软件或AI工具躲避查重而导致的结果。例如,将论文从英语翻译成其他语言,然后再翻译回英语时,常常会发生这样的情况。

 另外,通过PPS的插件Feet of Clay Detector来检索期刊中引用了撤稿论文的文章时,发现该期刊有674篇文章被标记。

 问题论文的克星 

给JIFS杂志“找麻烦”的,是法国图卢兹大学计算机科学家Guillaume Cabanac。他是著名的学术侦探,自从2015年起,他和同事就发起了一项专项“打假行动”,专门针对那些使用了AI工具却未做出声明的问题论文。PPS便是其开发的一款监测软件。

 一开始,他只是出于好奇而志愿做这件事,然而,随着AI在学术界使用日益泛滥,污染了学术环境,他便持续不断地揭露论文造假行为。

 2021年2月,Cabanac推出了PPS,它可以在论文中标记“AI生成的文本”,梳理文献中荒谬的“费解的短语”。

 当读者第一次遇到“费解的短语”时,可以打上标签,将其作为“指纹”添加到检索文献的数据库Dimensions中,该数据库囊括了1.3亿份科学文献,提供极大的分析样本。如果数据库中有其他论文也使用了“费解的短语”,就可以被标记出来。截至目前,数据平台已经梳理了5800个“指纹”。必要时,读者还需要进行把关,以检查是否存在误报。
 

图一:PPS主页截图

https://dbrech.irit.fr/pls/apex/f?p=9999:24:::::: 

PPS并不能保证检测出来的问题论文会被撤稿。即使是充斥着数十个“费解的短语”的已发表论文,也很难被调查、纠正或撤回。截至9月13日,PPS已经标记了16654篇论文。这里需要说明,为了避免假阳性,PPS只对使用了5次及以上“费解的短语”的论文打上标记——其中只有18%被撤回。
 

图二:费解的短语示例

 为了促进对文献的持续检查和持续清理,Cabanac为PPS设计了两个插件。一个是Annulled Detector,它可以跟踪撤稿、撤回或删除的论文——这些是出版商用来标记失效论文的各种标签。该检测器从各个出版商、Crossref数据库(包括撤稿观察数据库)和生物医学数据库Pub Med收集数据,以跟踪全球论文撤稿、撤回和删除的情况。截至目前,大约62000篇问题论文已被引用了超过836000次。 

另一个是Feet of Clay Detector,它可用于快速发现那些在参考文献中引用了撤稿论文的文章。Cabanac为1700多篇此类文章添加了PubPeer评论,以提示读者评估参考文献的可靠性。 

学术打假路漫漫 

PPS确实对出版商起到了一定的震慑作用。自从Cabanac和同事报告指出,“费解的短语”污染了学术环境,一些出版商——不仅仅是那些被认为是掠夺性的出版商——已经撤回了数百篇论文。例如,仅施普林格·自然(Springer Nature)就撤回了300多篇充斥着荒谬文字的论文。 

但是学术打假路漫漫,从“发现”到“撤稿”,这中间免不了蹉跎。

 在Cabanac和同事Alexander Magazinov首次对Environmental Science and Pollution Research(《环境科学与污染研究》,ESPR)发表的文章中存在可疑引文、费解的短语表示“关切”之后,大规模撤稿行动开展了一年多。

 Cabanac利用PPS在ESPR上标注了1850篇文章,大多数被标注的文章是因为引用了已撤稿的论文。另有超过100篇论文使用了“费解的短语”,考虑到仅统计使用五次及以上“费解的短语”的论文,这意味着很多有嫌疑的论文可能没有显示。

 例如,一篇2019年3月的论文《影响道路交通事故频率的环境因素:巴基斯坦郊区个案研究》,Cabanac在PubPeer上指出,论文作者使用了“monetary misfortunes”而不是“financial damages”,用“creating nations”来代替“developing countries”,该论文显示今年3月已被撤回。 

还有一些论文使用了AI工具但是并未在文章中说明,例如2023年9月的论文《复兴我们的地球:在土壤修复中释放绿色能源的力量,实现可持续的未来》。论文的第3节以短语“Regenerate response”(重新生成回复)结束,这显然是ChatGPT中生成文本的按钮,作者忘记删除了。Cabanac在PubPeer的评论中指出了这个错误。该论文于今年7月被撤回。 

2022年11月,Magazinov联系了ESPR杂志的主编Philippe Garrigues,后者是法国国家科学研究中心(CNRS)的研究员。他在另一家杂志上发表了一篇论文,其中“超过四分之一”的文献引用来源于自家期刊ESPR。“我们有理由怀疑ESPR的审稿人或编辑在进行引文操纵,请予以核实。毫无疑问,ESPR需要进行大扫除,”Magazinov在邮件中写道。 

Cabanac隔天再次给Garrigues发了邮件。后者表示,正在采取行动。 

但是直到2023年4月,Garrigues和ESPR没有任何动静。于是,Cabanac向COPE(出版伦理委员会)通报了该期刊中存在的问题。COPE的一名人员接着向施普林格·自然发了邮件,询问该期刊是否在进行调查。施普林格·自然集团研究诚信顾问Tim Kersjes回复称,该杂志和出版商正在展开调查,如有进展会通知Cabanac。 

但据邮件显示,Cabanac后续并没有得到关于该杂志的信息,尽管COPE在2023年6月多次进行跟进。不过据统计显示,ESPR自2024年2月以来确实开展了大规模的撤稿,撤回了136篇论文,最近的一篇撤稿是在8月2日。Cabanac对此很不满,“当你无偿付出了这么多努力,却连出版商的反馈都没有,这有点让人沮丧。” 

施普林格·自然集团研究诚信主管Chris Graf表示,“撤稿是我们研究诚信部门调查的结果,也受到了学术侦探指出问题的影响。”他补充说明,撤稿的原因有很多,如“作者对人工智能LLMs(大语言模型)的使用在某些论文中并没有明确说明。” 

诸多被撤回的论文在通知上显示:根据出版商的调查发现,包括本文在内的一些文章存在若干问题,包括但不限于同行评审程序受损,引用不相关的文献,使用不标准措辞,引用根本不存在的期刊。

科睿唯安今年没有提供ESPR的影响因子,施普林格·自然集团的一名代表表示,他们对该决定感到“失望”。该期刊目前在科睿唯安网站上被标记为“搁置”,检索结果显示,该期刊正在“重新评估”,并可能被从web of Science的索引中删除。 

Graf表示,施普林格·自然正在“更新”ESPR的编辑和编辑委员会,以确保稿件处理的质量。

 Cabanac认为接受调查的期刊至少应该发布一份披露声明,警告打算向期刊投稿的研究人员。如果没有这样的声明,“潜在作者将不知道期刊的历史,他们事后会觉得被欺骗。” 

如何提高文献可靠性

出版物和引文是学术界的“硬通货”。然而,随着AI工具的出现,可疑的论文或引文可能很难与真实的论文或引文区分开来。再加上编辑、同行评审和出版过程高度依赖信任的复杂关系,导致学术造假频发。那么,在引文时如何提高文献可靠性?Cabanac提供了一些思路。 

学会使用科研工具,只需要一些简单的步骤,便可以显著提高科学文献的可靠性。作者在引用文献时,应检查是否有人提出质疑或撤稿情况。PubPeer两个扩展程序插件是检查文献可靠性的得力助手,当作者浏览期刊网站时,一个插件会自动标记PubPeer上收到评论的任何论文,其中可能包括正在更正的文献和已经撤稿的文献。另一个插件是在文献管理器Zotero中工作,可以识别用户数据库中存在的相似度较高的文章。对于下载的PDF文件,出版行业使用Crossmark:读者可以单击Crossmark按钮,在出版商网站的登录页面上查看文献的状态。有一些工具可以检查参考文献列表,例如RetractoBot,当学者引用的论文被撤回时,它会提醒他们。Feet of Clay Detector,可以免费用于检查已发表文章的参考文献列表是否有任何危险信号。

 除了作者要小心谨慎,Cabanac认为出版商最应该对其实践和审稿流程做出改变,他们应该定期检查存在剽窃、篡改图像、费解的短语、引用撤稿文献,以及由AI工具等生成的论文,并及时作出处理。

 参考链接

[1] https://retractionwatch.com/2024/08/23/exclusive-publisher-retracts-more-than-450-papers-from-journal-it-acquired-last-year/#more-129899

[2] https://retractionwatch.com/2024/08/22/sleuths-spur-cleanup-at-journal-with-nearly-140-retractions-and-counting/#more-129849

[3] https://www.nature.com/articles/d41586-024-02747-1

[4] https://www.nature.com/articles/d41586-022-02071-6

话题:



0

推荐

返朴

返朴

2662篇文章 1天前更新

溯源守拙·问学求新。返朴,致力好科普。

文章