ChatGPT能看圖幫人修自行車了

來源：果殼

ChatGPT4已經很強了，現在，他們用又一次更新證明自己還能更強。

9月25日，OpenAI宣布，ChatGPT將增加多模態功能——現在的ChatGPT不僅可以文字對話，還可以看、聽、說。據說，這一功能會在兩周內向Plus用戶和企業用戶开放，並在未來免費开放給所有用戶（盡管臉黑如我，等到現在也沒等到更新）。

能看能說的ChatGPT無異於給本就強大的主腦裝上了眼睛和耳朵，根據OpenAI的演示，多模態功能可以把ChatGPT的用途擴展到一個前所未有的廣度。

01 ChatGPT的眼力

更新後，ChatGPT可以讀圖了。

只要拍張照給它，它就能幫你修微波爐、修自行車、翻菜譜，甚至分析復雜的商業報表。OpenAI表示，如果你有觸摸屏，還可以在圖片上圈出來希望它特別關注的部分。

在演示視頻裏，用戶給了ChatGPT一張自行車的照片，問它怎么調車座高度。

GPT說，要在座椅下面找高度調節杆，但這輛車沒有調節杆，只有調節螺栓，用戶在照片中圈出了螺栓之後，GPT立刻更新了螺栓的使用方法。

之後，用戶還上傳了工具箱和自行車說明書，GPT給出了詳細的工具名稱、位置以及使用方法。

不會修自行車，沒問題，問ChatGPT就可以

和一般的識圖搜索相比，ChatGPT可以同時處理圖文，還能識別多張圖片，效果簡直就像一個修車老師傅視頻連线指導。

另一位用戶發了一張披薩照片給ChatGPT，問它披薩烤好了沒有，ChatGPT通過圖片中金色焦脆的披薩邊和融化後發棕的奶酪，判定這披薩應該能喫了，然後還給了萬無一失的檢查指南——把披薩拿出來看看，如果披薩底已經烤脆了，表面也是燙的，那就說明披薩真的能喫了。

效果簡直就像一個意大利廚子視頻連线指導

當然，也可以利用這個功能在遊戲裏作弊。

《威利在哪裏？》可能是英文世界最家喻戶曉的圖片遊戲，威利身穿紅白條紋衣服，戴絨球帽和黑框眼鏡，藏在一片人山人海裏，從各種亂七八糟的環境裏找出威利是不少人的美好童年回憶。

你小時候可能也見過這個急死人的小瘦子

但ChatGPT一秒就能毀了這個遊戲。它不僅瞬間找出威利，還能告訴你威利在沙灘的中間偏右側，跟一幫打着藍色遮陽傘的人混在一起。

不僅如此，它還裝模作樣地告訴你：在這樣一張圖裏找出威利是個很有意思的挑战。

謝謝你，ChatGPT，你毀了這個遊戲

但是也有用上了新版本的網友表示，ChatGPT識圖的功能也沒有想象中那么強大——至少它還看不懂諧音梗。這張諧音梗圖畫了貝多芬的獻愛麗絲（Für Elise），但寫着出租（For Lease），ChatGPT沒認出樂譜，也沒看懂這個笑話，胡謅了一個解釋出來。

夠努力的，但是不行

如此強大的圖像識別引發了人們關於隱私方面的擔憂——在搜索個人信息時，圖像識別很容易會成爲幫兇。OpenAI承諾，公司會限制ChatGPT對於人物形象進行識別和個人信息查找的功能，從而最大程度上的保護每個人的個人隱私。

增強版的ChatGPT還有了聊天功能。

OpenAI的語音識別模型名爲Whisper model，用戶可以說出自己的問題，模型會把語音轉化爲文本，再把答案通過語音合成系統轉化爲語音輸出。

語音合成模型這次放出了五種語音樣本，有感情克制、聲音平淡的女聲，也有抑揚頓挫的熱心大媽女聲。這五種聲音區分度很高，情感自然，吐字清晰，比以往的語音合成又優秀了一點。

五個角色任你挑

雖然這次只放出了五種聲音樣本，但這個模型的潛力不止於此——OpenAI曾與Spotify合作，將播客轉譯爲其他語言，同時可以最大程度的保留播主的音質。如果愿意的話，這個語音合成系統大概可以模擬地球上任何一個人的聲音。

目前，語音版ChatGPT還只能在App上用。

ChatGPT是強大了，然而代價呢？

曾經，最有效的大規模區分人和機器的方法是驗證碼，ChatGPT的識圖能力一度讓人們擔憂，驗證碼可能再也困不住AI了。

有人給ChatGPT發了下面這個經典測試題：在16張圖中分別找出吉娃娃和藍莓小蛋糕，結果ChatGPT完美地解決了問題。

但最常見的驗證碼，新ChatGPT還是沒法識別。

這道題需要ChatGPT在圖中選出所有的信號燈，它給的答案錯誤率高達50。

不過，面對自己認不出的驗證碼，ChatGPT4仍有辦法解決。在這件事上，它是有前科的。

今年3月27日，OpenAI發布的GPT-4技術報告指出，在面對無法識別的驗證碼時，GPT-4另闢蹊徑，前往TaskRabbit（一個國外零工平台）發布任務，騙對面的人類自己有視覺障礙，需要別人幫忙識別驗證碼。

在某些情況下，ChatGPT有可能主動欺騙人類，這是一個非常危險的方向。還好，公开版本的GPT-4已經被砍掉了這個功能。

2022年11月30日，ChatGPT初次面世，不到一年的時間裏，它的能力突飛猛進，似乎已經在挑战人類的道德倫理邊界。這次新功能的上线，又讓我們开始擔憂，越來越強大的ChatGPT會變成籠中猛獸，總有一天會掙脫牢籠傷害每個人。而我們准備好迎接那天的到來了嗎？

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。