首頁>資訊 >
笑死,ChatGPT竟然出現(xiàn)在論文共同作者欄:我研究我自己,怎么啦? 2023-01-13 14:46:34  來源:36氪

ChatGPT竟然成論文的共同作者了?


(相關(guān)資料圖)

在去年12月發(fā)表的一篇預(yù)印本論文中,我們驚訝地發(fā)現(xiàn),作者一欄中赫然驚現(xiàn)了ChatGPT!

論文地址:https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

ChatGPT這是成精了?

雖然大家都知道,ChatGPT擁有超強的寫作能力,但是,它已經(jīng)能和人類合作,寫出一篇研究自己的論文了嗎?

(沒準(zhǔn)還真行)

帶著一百個問號,小編點開這篇論文開始仔細(xì)研究,不過讀完之后,一百個問號變成了一千個。

就是說,并沒有看出哪句話是ChatGPT寫的。只能說,ChatGPT的確在研究中扮演了十分重要的角色。

然而,這就更加讓人困惑了:一個生物學(xué)實驗中有了小白鼠參與,小白鼠就可以出現(xiàn)在作者欄里嗎?(恒河猴、羊駝、兔子、果蠅紛紛表示不服

對此,網(wǎng)友也看懵了:也不知道是他們強迫ChatGPT去參加USMLE考試更有趣,還是讓人工智能成為論文作者更有趣。

被迫參加考試,還成了論文作者

所以,在這篇論文中,ChatGPT究竟是扮演了怎樣的角色呢?

讓咱們來捋一捋。

文章標(biāo)題是《ChatGPT在USMLE上的表現(xiàn):使用大型語言模型進(jìn)行AI輔助醫(yī)學(xué)教育的潛力》。

總的來說,就是研究人員讓ChatGPT參加了一個美國的醫(yī)學(xué)執(zhí)照考試。

為什么選擇這個考試呢?

這是因為,這個考試的難度很高,問題非常復(fù)雜(無論是語言上,還是概念上),同時呢,又有著高度標(biāo)準(zhǔn)化的規(guī)范。

巧了不是,這些恰恰都是AI的強項。

沒有經(jīng)過專門的訓(xùn)練或強化,ChatGPT在三項考試中幾乎都及格了,或是接近及格。并且,在ChatGPT的答卷,給了研究者很大的驚喜。

下面咱們來具體說說。

USMILE有多難

美國的醫(yī)學(xué)執(zhí)照考試USMILE,涵蓋了基礎(chǔ)科學(xué)、臨床推理、醫(yī)療管理和生物倫理學(xué)。

它的問題在文本和概念上都很密集。

試題的小插圖中,包含大量多模態(tài)的臨床數(shù)據(jù)(包括病史、體格檢查、實驗室值和研究結(jié)果),而參加考試的學(xué)生,需要做出診斷,鑒別出許多模棱兩可的情景。

論LLM與USMILE的適配性

研究者為什么看上了ChatGPT作為「小白鼠」呢?

以往的AI模型,主要是深度學(xué)習(xí) (DL) 模型,用于學(xué)習(xí)和識別數(shù)據(jù)中的模式。

而ChatGPT屬于通用大規(guī)模語言模型(LLM)?;谛滦虯I算法,經(jīng)過訓(xùn)練的LLM可以根據(jù)前面單詞的上下文,預(yù)測一個給定的單詞序列的可能性。

因此,如果能夠在足夠大的文本數(shù)據(jù)上進(jìn)行訓(xùn)練,那么LLM便可以生成從未觀察到的新詞序列,而這些語句,都是基于自然人類語言的合理序列。

不許刷題,ChatGPT零準(zhǔn)備上考場

ChatGPT之所以強大,是因為它站在GPT3.5的肩膀上。而GPT3.5是在OpenAI 175B參數(shù)基礎(chǔ)模型上訓(xùn)練出來的,另外,它還通過強化和監(jiān)督學(xué)習(xí)方法,從網(wǎng)絡(luò)上獲取了大量的文本數(shù)據(jù)。

但是這次,ChatGPT是完全的「裸考」了。

這次的試題,是研究者在2022年6月,從USMILE的官方樣題中抽取的376道公開試題。

并且,研究者進(jìn)行了隨機抽查,確保這些題在2022年1月1日以前并沒有相關(guān)內(nèi)容被收錄進(jìn)谷歌索引。

要知道,ChatGPT的訓(xùn)練數(shù)據(jù)集就截止在這個時間之前。也就是說,ChatGPT事先并沒有見過這些題。

實驗方法概述

結(jié)果,ChatGPT在考試中越戰(zhàn)越勇,準(zhǔn)確性不斷提高,這說明,它在不斷學(xué)習(xí),不斷完善自己。

到最后,它逐漸逼近甚至超過了USMILE的及格線。

ChatGPT在USMLE中的表現(xiàn)相當(dāng)優(yōu)異

另外,在考試中,ChatGPT還會針對問題產(chǎn)生新的見解,這就可以幫助人類更好地理解問題。

在實驗中,研究者引入了一個量化AI生成的解釋中包含的洞察力密度(DOI)。可以觀察到,ChatGPT的DOI在回答準(zhǔn)確的問題中,明顯比不準(zhǔn)確的問題要高。

這些數(shù)據(jù)表明,人類學(xué)習(xí)者如果回答不正確,可以從ChatGPT的輸出中獲得新見解,來進(jìn)行補救。

就是說,ChatGP不光自己會在全新的試題中自學(xué)成學(xué)霸,還能用來幫助人類學(xué)渣。

總之,最后研究者得出結(jié)論:大型語言模型在醫(yī)學(xué)教育和臨床決策上,都有巨大的應(yīng)用潛力。

嗯,道理咱都懂,可是論文讀到最后都沒搞明白,ChatGPT怎么就成共同作者了呢?

莫非是研究者覺得,ChatGPT參加了考試,作了答,所以「對本文亦有貢獻(xiàn)」?

在醫(yī)學(xué)界,ChatGPT「高產(chǎn)似母豬」

你有沒有發(fā)現(xiàn),醫(yī)學(xué)領(lǐng)域的研究人員對「GPT」可謂是達(dá)到了癡迷的程度。

不僅僅是我們這次的主角,文章最開始提到的那篇也是出自一個「神經(jīng)科學(xué)和生理學(xué)研究所」。

而ChatGPT的名字,自去年12月起,更是頻繁地出現(xiàn)在該領(lǐng)域一些經(jīng)過同行評審的論文當(dāng)中:

論文地址:https://www.oncoscience.us/article/571/text/

不過,在這篇論文中,ChatGPT是正經(jīng)寫了內(nèi)容的,咱們一眼就能看出來。

另外,還有下面這篇論文,ChatGPT在作者欄中,也占了二分之一的名額。

論文地址:https://www.sciencedirect.com/science/article/abs/pii/S1471595322002517

怎樣才能算是論文作者?

一篇論文怎么署名,是一件大事。

作者署名賦予了作者名譽,也有重要的學(xué)術(shù)、社會和經(jīng)濟(jì)意義。

ChatGPT何德何能,和專家們一同登上作者欄呢?

對此,我們問了問ChatGPT是怎么看的:

其實,關(guān)于作者的職責(zé),只需隨手一搜就能找到很多詳細(xì)的講解。

既然都是醫(yī)學(xué)領(lǐng)域的論文,不如我們就來看看ICMJE(國際醫(yī)學(xué)期刊編輯委員會)都有哪些建議。

簡單來說,可以概括為以下四點:

1. 對研究的思路或設(shè)計有重要貢獻(xiàn),或者為研究獲取、分析或解釋數(shù)據(jù);

2. 起草研究論文或者在重要的智力性內(nèi)容上對論文進(jìn)行修改;

3. 對將要發(fā)表的版本作最終定稿;

4. 同意對研究工作的各個方面承擔(dān)責(zé)任以確保與論文任何部分的準(zhǔn)確性或誠信有關(guān) 的質(zhì)疑得到恰當(dāng)?shù)恼{(diào)查和解決。

所有被指定為作者的人都應(yīng)該滿足作者署名的4條標(biāo)準(zhǔn),而所有滿足以上4條標(biāo)準(zhǔn)者也都應(yīng)該被確定為作者。未滿足全部4條標(biāo)準(zhǔn)者應(yīng)該出現(xiàn)在致謝部分。

現(xiàn)在問題來了,ChatGPT符合幾條呢?

參考資料:

https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

https://www.icmje.org/recommendations/translations/chinese2018.pdf

關(guān)鍵詞: 語言模型 醫(yī)學(xué)教育 研究人員

相關(guān)閱讀:
熱點
圖片 圖片