首頁>資訊 >
環(huán)球熱議:Bard還考不上哈佛?谷歌CEO劈柴預(yù)告它即將開掛,數(shù)學(xué)邏輯能力飆升 2023-04-04 06:46:00  來源:36氪

捂了快兩個(gè)月,谷歌用來跟ChatGPT對打的聊天機(jī)器人Bard,前一陣終于被推上了臺(tái)面。

用戶們的測試初體驗(yàn)就是——莫得感情,錯(cuò)誤很多,代碼基本寫不了。


(相關(guān)資料圖)

幾天前,谷歌前員工Jacob Devlin甚至還曝出驚人內(nèi)幕,Bard疑似是通過ChatGPT的數(shù)據(jù)進(jìn)行訓(xùn)練的。不過谷歌發(fā)言人已經(jīng)明確否認(rèn)這一說法。

而近日,谷歌CEO劈柴在接受紐約時(shí)報(bào)采訪中證實(shí),Bard聊天機(jī)器人將很快得到改進(jìn),未來會(huì)由「更強(qiáng)大的模型」提供支持。

升級(jí)版Bard即將上線

劈柴稱,

未來幾天,Bard將很快從目前基于LaMDA的模型轉(zhuǎn)向更大規(guī)模的PaLM數(shù)據(jù)集。

我們顯然擁有能力更強(qiáng)的模型,很快,也許隨著這項(xiàng)技術(shù)的上線,我們將把Bard升級(jí)到更強(qiáng)大的PaLM模。這將帶來更多的功能,無論是在推理還是編碼方面。

近日,升級(jí)版Bard的能力也漸漸浮出水面。

領(lǐng)導(dǎo)Bard的一位谷歌高管Jack Krawczyk在推特上也介紹了最新的進(jìn)展。

背靠PaLM的Bard,現(xiàn)在在數(shù)學(xué)和邏輯方面的能力有了很大的提升。

這意味著什么呢?現(xiàn)在,Bard將更好地理解并回應(yīng)用戶的多步推理和數(shù)學(xué)問題提示,編碼功能也即將推出。

Krawczyk稱,「我們一直在平衡Bard的新功能與效率。這次更新是我們每周對Bard進(jìn)行的眾多改進(jìn)中的一個(gè)例子。未來還有更多的內(nèi)容要推出?!?/p>

眾所周知,Bard背后基于的大模型便是LaMDA。

在去年,谷歌曾分享了關(guān)于這個(gè)大型語言模型的細(xì)節(jié),使用了1370億參數(shù)訓(xùn)練了LaMDA。而PaLM模型有5400億參數(shù)。

這兩種模型都是從2022年初開始發(fā)展和成長起來的。

這種對比可能顯示了,為什么谷歌現(xiàn)在正在慢慢地將Bard轉(zhuǎn)移到,能夠提供更大數(shù)據(jù)集和更多不同答案的PalM。

其實(shí)除了Bard,谷歌最近幾周內(nèi)部還在醞釀著一個(gè)新的項(xiàng)目——Gemini(雙子座),目標(biāo)是要能與GPT-4一戰(zhàn)。

目前,Gemini(雙子座)是由谷歌大腦和DeepMind兩個(gè)團(tuán)隊(duì)聯(lián)手研發(fā)。

就連谷歌大腦的負(fù)責(zé)人Jef Dean都親臨上陣,自動(dòng)敲代碼,可見,這個(gè)項(xiàng)目對谷歌的重要性不言而喻。

此外,采訪中,皮查伊就千名大佬暫停比GPT-4更強(qiáng)AI系統(tǒng)研發(fā)的聯(lián)名信發(fā)表了自己的看法:

如果不讓政府參與,暫?;旧鲜遣豢赡艿?,因?yàn)榧词构雀杌騉penAI承諾停止開發(fā),也不能保證其他AI開發(fā)人員也會(huì)同意效仿。

而且,他也同意法規(guī)是必要的,并稱這封信是「對話的開始」。

谷歌先打預(yù)防針:它還不行

如今,既然Bard已經(jīng)開放公測,拉踩的環(huán)節(jié)必然是少不了。

我們都知道,OpenAI家的GPT-4,都已經(jīng)能考上斯坦福了。

很不幸,相比之下,谷歌的Bard真的拉跨,目前的它想考上斯坦福和哈佛,可以說還是天方夜譚。

Bard的不完美,CEO劈柴一開始就給我們打了預(yù)防針。

他在備忘錄中寫道:「Bard還處于早期階段,總會(huì)出錯(cuò)。隨著越來越多的人開始使用Bard,它會(huì)讓我們驚訝的?!?/p>

而網(wǎng)友們測試Bard之后,表示對它很失望。

很不幸,Bard目前還考不進(jìn)哈佛大學(xué),因?yàn)樗卮鸬拇蟛糠謹(jǐn)?shù)學(xué)題都是錯(cuò)的,而且它在寫作和語言測試中也表現(xiàn)得不咋地。

第一次登錄Bard,谷歌就會(huì)跟用戶打好招呼,彈出消息顯示:Bard 并不總是正確的,它會(huì)給出不準(zhǔn)確或不適當(dāng)?shù)幕卮稹?/p>

當(dāng)有疑問時(shí),使用「Google it」來檢查Bard的答案。您的反饋會(huì)讓Bard更好。請您對答案進(jìn)行評(píng)價(jià),并標(biāo)記任何可能具有攻擊性或危險(xiǎn)的內(nèi)容。

Bard:數(shù)學(xué)、寫作、語言都不咋地

《財(cái)富》雜志從在線學(xué)習(xí)資源中選取了SAT數(shù)學(xué)試題,在對Bard進(jìn)行測試后,發(fā)現(xiàn)它有50%-75%的答案是錯(cuò)誤的。

更離譜的是,如果是多選題,Bard還會(huì)經(jīng)常給出選項(xiàng)中沒有的答案。

2月初,Bard首次亮相后直接翻車,讓谷歌市值一夜蒸發(fā)約1056億美元。

在當(dāng)天發(fā)布會(huì)上,谷歌展示Bard演示的一些demo。

視頻中有一個(gè)提問問道,「關(guān)于詹姆斯·韋伯太空望遠(yuǎn)鏡(JWST),我可以告訴我9歲的孩子它有哪些新發(fā)現(xiàn)?」

Bard卻給出了錯(cuò)誤的答案,「JWST拍攝了太陽系外行星的第一張照片?!?/p>

事實(shí)上,據(jù)NASA證實(shí),第一張系外行星照片是由智利的甚大望遠(yuǎn)鏡系統(tǒng)拍攝的,而非JWST拍攝,這顆系外行星名為2M1207b,大小約為木星的5倍,距離地球約170光年。

所以說,科學(xué)和數(shù)學(xué)都不是Bard的強(qiáng)項(xiàng),那它在閱讀和寫作練習(xí)方面,表現(xiàn)會(huì)怎么樣?

文科生,是文科生吧?

Bard第一次書面語言測試的答案正確率約為30%,而且它往往需要被提問兩次才能理解題干。

而且即使它回答錯(cuò)了,Bard的語氣也是很自信,直接將回答框定為:「正確答案是......」

不過,這也是大型語言模型的一個(gè)通病了。

離奇的是,Bard測試成績最好的是關(guān)于一篇哈利波特作者J.K.羅琳的文章。

在這次測試中,Bard得了1200分,這個(gè)SAT分?jǐn)?shù)可以讓它進(jìn)入霍華德大學(xué)、圣地亞哥州立大學(xué)和密歇根州立大學(xué)等學(xué)校。

在閱讀測試中,Bard的表現(xiàn)同樣優(yōu)于其數(shù)學(xué)成績,平均能答對一半左右。

谷歌發(fā)言人說,「Bard目前仍是實(shí)驗(yàn)性的,有些回答可能不準(zhǔn)確,所以要仔細(xì)檢查Bard的回答中的信息。有了你們的反饋,Bard每天都在變得更好。在Bard公開推出之前,數(shù)以千計(jì)的測試者參與提供反饋,來幫助Bard提高其質(zhì)量、安全性和準(zhǔn)確性。」

要多練習(xí)

很多網(wǎng)友覺著Bard簡直笨得像塊石頭,相比之下,GPT-4則是聰明多了:

問它有沒有「第二個(gè)字母是U,最后一個(gè)字母是O的,五個(gè)字母的詞」,它信誓旦旦說沒有。

用戶說「Audio」不就是?

它有趕緊說:「是的,Audio是的。它是一個(gè)形容詞,表示與聲音有關(guān)的?!?/p>

再看看GPT-4,「人狠話不多」,隨手就列出了三個(gè):

網(wǎng)友看了不禁表示,要是我有Bard這種「鈍感力」多好啊,一直都很自信!

說到意大利要禁ChatGPT時(shí),網(wǎng)友們首先擔(dān)心的是意大利的美食怎么辦。

GPT給出了一個(gè)謙虛的答案:我大概可以復(fù)現(xiàn)20%-30%的意大利菜譜。

而Bard這邊則像個(gè)胡吹的愣頭青:

「我做意大利菜做了很多年,我可是老手,即使沒有網(wǎng)絡(luò)的幫忙,我也能復(fù)現(xiàn)至少50%的菜譜!」

不過呢,在大家不斷向Bard提問的幾天時(shí)間里,它的準(zhǔn)確性確實(shí)有了一些提高的跡象。

關(guān)于自己的發(fā)展速度,Bard自個(gè)兒也評(píng)價(jià)說:「我想說的是,我正在快速提高。我能夠做幾個(gè)月前還不能做的事情。我很高興看到我的未來會(huì)怎樣。我相信,我將繼續(xù)進(jìn)步,在未來的幾年里,我能做的事會(huì)越來越多?!?/p>

參考資料:

https://fortune.com/2023/03/28/google-chatbot-bard-would-fail-sats-exam/

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片