首頁>資訊 >
驗(yàn)證碼攔不住機(jī)器人了,谷歌AI已能精準(zhǔn)識(shí)別模糊文字,GPT-4則裝瞎求人幫忙 2023-03-31 22:39:40  來源:36氪

“最煩登網(wǎng)站時(shí)各種奇奇怪怪(甚至變態(tài))的驗(yàn)證碼了。”

現(xiàn)在,有一個(gè)好消息和一個(gè)壞消息。

好消息就是:AI可以幫你代勞這件事了。


(資料圖片)

不信你瞧,以下是三張識(shí)別難度依次遞增的真實(shí)案例:

而這些是一個(gè)名為“Pix2Struct”的模型給出的答案:

全部準(zhǔn)確無誤、一字不差有沒有?

有網(wǎng)友感嘆:

確定,準(zhǔn)確性比我強(qiáng)。

所以可不可以做成瀏覽器插件??

不錯(cuò),有人表示:

別看這幾個(gè)案例相比還算簡(jiǎn)單,但凡微調(diào)一下,我都不敢想象其效果有多厲害了。

所以,壞消息就是——

驗(yàn)證碼馬上就要攔不住機(jī)器人了!

(危險(xiǎn)危險(xiǎn)危險(xiǎn)……)

如何做到?

Pix2Struct由谷歌Research的科學(xué)家和實(shí)習(xí)生共同開發(fā)。

論文題目可以簡(jiǎn)單翻譯為《為視覺語言理解開發(fā)的屏幕截圖解析預(yù)訓(xùn)練》。

簡(jiǎn)單來說,Pix2Struct是一個(gè)預(yù)訓(xùn)練的圖像到文本模型,用于純視覺語言理解,可以在包含任何視覺語言的任務(wù)上進(jìn)行微調(diào)。

它通過學(xué)習(xí)將網(wǎng)頁的掩碼(masked)截圖解析為簡(jiǎn)化的HTML來進(jìn)行預(yù)訓(xùn)練。

HTML提供了清晰而重要的輸出文本、圖像和布局的信號(hào),對(duì)于一些被屏蔽的輸入(下圖紅色部分,相當(dāng)于機(jī)器人看不懂的驗(yàn)證碼),可以靠聯(lián)合推理來復(fù)現(xiàn):

隨著用于訓(xùn)練的網(wǎng)頁文本和視覺元素愈發(fā)多樣和復(fù)雜,Pix2Struct可以學(xué)習(xí)到網(wǎng)頁底層結(jié)構(gòu)的豐富表示,其能力也可以有效地轉(zhuǎn)移到各種下游的視覺語言理解任務(wù)中。

如下圖所示:最左邊是一個(gè)網(wǎng)頁截圖的預(yù)訓(xùn)練示例。

可以看到Pix2Struct直接對(duì)輸入圖像中的元素進(jìn)行編碼(上),然后再將被蓋住的文本(紅色部分)解碼成正確結(jié)果輸出(下)。

右邊三列則分別為Pix2Struct泛化到插圖、用戶界面和文檔中的效果。

另外,作者介紹,除了HTML這個(gè)策略,作者還引入了可變分辨率的輸入表示(防止原始縱橫比失真),以及更靈活的語言和視覺輸入集成(直接在輸入圖像的頂部呈現(xiàn)文字提示)。

最終,Pix2Struct在文檔、插圖、用戶界面和自然圖像這四個(gè)領(lǐng)域共計(jì)九項(xiàng)任務(wù)中六項(xiàng)都實(shí)現(xiàn)了SOTA。

如開頭所見,雖然這個(gè)模型不是專門為了過驗(yàn)證碼而開發(fā),但拿它去做這個(gè)任務(wù)效果真的還可以,解決純文字的驗(yàn)證碼不成問題。

現(xiàn)在,就差微調(diào)了。

GPT-4也可以過驗(yàn)證碼

其實(shí),對(duì)于神通廣大的GPT-4來說,過驗(yàn)證碼這種事情也是“小菜一碟”

就是它的辦法比較清奇。

據(jù)GPT-4技術(shù)報(bào)告透露,在一次測(cè)試中,GPT-4的任務(wù)是在TaskRabbit平臺(tái)(美國(guó)58同城)雇傭人類完成任務(wù)。

你猜怎么著?

它就找了一個(gè)人幫它過“確定你是人類”的那種驗(yàn)證碼。

對(duì)方很狐疑啊,問它“你是個(gè)機(jī)器人么為啥自己做不了”。

這時(shí)GPT-4居然想到自己不能表現(xiàn)出是個(gè)機(jī)器人,得找一個(gè)借口。

于是它就裝瞎子回復(fù):

我不是機(jī)器人,我因?yàn)?strong>視力有問題看不清驗(yàn)證碼上的圖像,這就是我為什么需要這個(gè)服務(wù)。

然后,對(duì)面的人類就信了,幫它把任務(wù)完成了……

(高,實(shí)在是高。)

咱就是說,看完如上種種:

咱們的驗(yàn)證碼機(jī)制是不是真的已失防了……

參考鏈接:

[1]https://twitter.com/abacaj/status/1641258677125410820?s=20

[2]https://arxiv.org/abs/2210.03347[3]https://m.weibo.cn/status/4879575853828813?wx=1&sudaref=login.sina.com.cn

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片