2月9日，美籍華裔科幻作家特德·姜（Ted Chiang）在《紐約客》上發(fā)表文章，表達(dá)了他對時下大熱的人工智能ChatGPT獨(dú)特見解。特德·姜在科幻小說領(lǐng)域成績斐然，曾獲得星云獎、雨果獎等科幻小說大獎。他的短篇小說《你一生的故事》在2016年被改編成電影《降臨》。

以下是全文譯文：

2013年，德國一家建筑公司的工人注意到他們的施樂復(fù)印機(jī)有一些奇怪的地方：當(dāng)他們復(fù)印一張房子平面圖時，副本與原件之間存在微妙而顯著的差異。在最初的平面圖中，每棟房子的三個房間都有一個矩形來說明其面積：房間分別為14.13平方米，21.11平方米和17.42平方米。然而，在復(fù)印件中，所有三個房間都被標(biāo)記為14.13平方米。該公司聯(lián)系了計算機(jī)科學(xué)家大衛(wèi)·克里塞爾（David Kriesel），讓他對這一看似不可思議的結(jié)果進(jìn)行調(diào)查。他們需要一名計算機(jī)科學(xué)家，因為現(xiàn)代施樂復(fù)印機(jī)使用的不是20世紀(jì)60年代流行的物理靜電復(fù)印工藝。相反，它以數(shù)字方式掃描文檔，然后打印生成的圖像文件。結(jié)合這一事實，為了節(jié)省空間，幾乎每個數(shù)字圖像文件都經(jīng)過了壓縮。謎底開始浮出水面。

壓縮文件需要兩個步驟：首先是編碼，在此期間文件被轉(zhuǎn)換為更緊湊的格式；然后是解碼，將編碼的過程反向進(jìn)行。如果恢復(fù)的文件與原始文件相同，則壓縮過程被描述為無損，即沒有丟失信息。相比之下，如果恢復(fù)的文件只是原始文件的近似值，則壓縮被描述為有損，即一些信息已丟失而無法恢復(fù)。無損壓縮通常用于文本文件和計算機(jī)程序，因為在這些領(lǐng)域中，即使是一個錯誤的字符也有可能造成災(zāi)難性的后果。在絕對精度不重要的情況下，有損壓縮通常用于照片、音頻和視頻。大多數(shù)時候，我們不會注意到一張圖片、一首歌或電影是否被完美地復(fù)制。只有當(dāng)文件被壓縮得非常緊時，保真度的損失才會更加明顯。在這些情況下，我們會注意到所謂的壓縮偽影——最小的JPEG和MPEG圖像的模糊，或者低比特率MP3的微弱聲音。

施樂復(fù)印機(jī)使用一種被稱為jbig2的有損壓縮格式，專為黑白圖像而設(shè)計。為了節(jié)省空間，復(fù)印機(jī)會識別圖像中看起來相似的區(qū)域，并為所有這些區(qū)域存儲一份副本；當(dāng)文件被解壓時，它會重復(fù)使用該副本來重建映像。結(jié)果是，復(fù)印機(jī)判斷出指定房間面積的標(biāo)簽非常相似，所以它只需要存儲其中一個，即14.13平方米的房間，并且在打印樓層平面圖時，它對所有三個房間都重復(fù)使用這一個標(biāo)簽。

施樂復(fù)印機(jī)使用有損壓縮格式而不是無損格式，這本身并不是一個問題。問題是復(fù)印機(jī)以一種微妙的方式壓縮了圖像，使其中壓縮的偽影不能被立即識別出來。如果復(fù)印機(jī)只是打印出模糊的照片，每個人都會知道這不是原件的準(zhǔn)確復(fù)制品。導(dǎo)致問題的原因是復(fù)印機(jī)輸出的數(shù)字是可讀的，但不準(zhǔn)確——它使副本看起來準(zhǔn)確，但實際上并不準(zhǔn)確。（2014年，施樂發(fā)布了一個補(bǔ)丁來糾正這個問題。）

我認(rèn)為，在我們研究OpenAI的ChatGPT和其他類似程序（人工智能研究人員稱之為大語言模型）時，施樂復(fù)印機(jī)的這起事件值得我們銘記于心。復(fù)印機(jī)和大語言模型之間的相似之處可能不是很明顯，但請考慮以下場景：想象一下，你即將永遠(yuǎn)失去上網(wǎng)的機(jī)會。在準(zhǔn)備階段，你計劃為萬維網(wǎng)上的所有文本創(chuàng)建一個壓縮副本，以便將其存儲在專用服務(wù)器上。不幸的是，你的私人服務(wù)器只有所需空間的1%；如果你想要所有的一切都是準(zhǔn)確的，你就不能使用無損壓縮算法。相反，你可以編寫一個有損算法來識別文本中的統(tǒng)計規(guī)律，并將它們存儲在專門的文件格式中。由于你在這個任務(wù)中擁有幾乎無限的計算能力，因此你的算法可以識別非常細(xì)微的統(tǒng)計規(guī)律，這允許你實現(xiàn)所需的100:1的壓縮比。

于是，失去網(wǎng)絡(luò)連接不再那么可怕，因為你把網(wǎng)絡(luò)上的所有信息都存儲在了你的服務(wù)器上。唯一的問題是，由于文本被高度壓縮，你無法通過搜索準(zhǔn)確的引用來查找信息；你永遠(yuǎn)不會得到一個精確的匹配，因為存儲的不是單詞。為了解決這個問題，你創(chuàng)建了一個接口，該接口接受問題形式的查詢，并以傳達(dá)服務(wù)器上的要點的答案進(jìn)行響應(yīng)。

我所描述的聽起來很像ChatGPT，或者大多數(shù)其他大語言模型。可以把ChatGPT看作是萬維網(wǎng)上所有文本的模糊JPEG。它保留了萬維網(wǎng)上的大部分信息，就像JPEG保留了高分辨率圖像的大部分信息一樣。但是，如果你要尋找精確的比特序列，你無法找到它，你得到的只是一個近似值。但是，因為這個近似值是以語法文本的形式呈現(xiàn)的，而ChatGPT擅長創(chuàng)建語法文本，所以它通常是可以接受的。你看到的仍然是一張模糊的JPEG，但模糊發(fā)生的方式不會使圖片整體看起來不那么清晰。

這種與有損壓縮的類比不僅僅是一種理解ChatGPT通過使用不同的單詞重新打包萬維網(wǎng)上找到的信息的方法，它也是一種理解“幻覺”或?qū)κ聦嵭詥栴}的無意義回答的方法。而大語言模型（如ChatGPT）都很容易出現(xiàn)這種情況。這些幻覺是壓縮后的產(chǎn)物。但是，就像施樂復(fù)印機(jī)產(chǎn)生的錯誤標(biāo)簽一樣，它們似乎是可信的，要識別它們就需要將它們與原件進(jìn)行比較。在這種情況下，這意味著要么是萬維網(wǎng)，要么是我們自己對世界的認(rèn)識。當(dāng)我們這樣想的時候，這樣的幻覺一點也不令人驚訝。如果一種壓縮算法被設(shè)計成在99%的原始文本被丟棄后重建文本，我們應(yīng)該預(yù)料到它生成的很大一部分內(nèi)容將完全是捏造的。

當(dāng)我們記得有損壓縮算法使用的一種常用技術(shù)是插值（譯者注：一種通過已知的、離散的數(shù)據(jù)點，在范圍內(nèi)推求新數(shù)據(jù)點的過程或方法）時，這個類比就更有意義了——也就是說，通過查看間隙兩側(cè)的內(nèi)容來估計缺失的內(nèi)容。當(dāng)圖像程序顯示照片時，必須重建壓縮過程中丟失的像素時，它會查看附近的像素并計算平均值。這就是當(dāng)ChatGPT被提示用《獨(dú)立宣言》的風(fēng)格描述丟在烘干機(jī)里的襪子時所做的事情：它在“詞匯空間”中取兩個點，并生成占據(jù)它們之間位置的文本。（“在人類事件的過程中，一個人有必要把他的衣服與他們的同伴分開，以保持其清潔和秩序……”）ChatGPT非常擅長這種形式的插值，人們發(fā)現(xiàn)它很有趣：他們發(fā)現(xiàn)了一種用于段落而不是照片的“模糊”工具，并且玩得很開心。

鑒于像ChatGPT這樣的大語言模型經(jīng)常被吹捧為人工智能的前沿，將它們描述為有損文本壓縮算法可能聽起來令人不屑一顧，或者至少令人泄氣。我確實認(rèn)為這種觀點為將大語言模型人格化的趨勢提供了有用的糾正，但是壓縮類比還有另一個方面值得考慮。自2006年以來，一位名叫馬庫斯·赫特（Marcus Hutter）的人工智能研究人員提供了一項現(xiàn)金獎勵——被稱為“壓縮人類知識獎”或“赫特獎”，獎勵任何能夠無損地壓縮維基百科特定1GB快照的人，要求比上一位獲獎?wù)叩臄?shù)據(jù)更小。你可能遇到過使zip文件格式壓縮的文件。zip格式將赫特的1GB文件壓縮到300兆左右；而最近的獲獎?wù)咭呀?jīng)設(shè)法將其減少到115兆字節(jié)。這不僅僅是一次磨合練習(xí)。赫特認(rèn)為，更好的文本壓縮將有助于創(chuàng)造人類級別的人工智能，部分原因是通過理解文本可以實現(xiàn)最大程度的壓縮。

為了理解壓縮和理解之間的關(guān)系，假設(shè)你有一個文本文件，其中包含上百萬個加減乘除的示例。盡管任何壓縮算法都可以減小這個文件的大小，但要實現(xiàn)最大的壓縮比，可能需要推導(dǎo)出算術(shù)原理，然后編寫計算器程序的代碼。使用計算器，你不僅可以完美地重建文件中的數(shù)百萬個示例，還可以重建將來可能遇到的任何其他算術(shù)示例。同樣的邏輯也適用于壓縮維基百科的一部分。如果壓縮程序知道力等于質(zhì)量乘以加速度，那么在壓縮有關(guān)物理的頁面時，它可以丟棄大量的單詞，因為它能夠重建它們。同樣，程序?qū)┣箨P(guān)系了解得越多，在壓縮有關(guān)經(jīng)濟(jì)的頁面時，就能丟棄越多的單詞，等等。

大型語言模型識別文本中的統(tǒng)計規(guī)律。對網(wǎng)絡(luò)文本的任何分析都會揭示，像“供應(yīng)不足”這樣的短語經(jīng)常出現(xiàn)在“價格上漲”這樣的短語附近。當(dāng)被問及有關(guān)供應(yīng)短缺影響的問題時，包含這種相關(guān)性的聊天機(jī)器人可能會回答有關(guān)價格上漲的問題。如果一個大語言模型已經(jīng)編譯了大量經(jīng)濟(jì)術(shù)語之間的相關(guān)性——多到可以對各種各樣的問題提供合理的回答——我們是否應(yīng)該說它實際上理解了經(jīng)濟(jì)理論？像ChatGPT這樣的模型沒有資格獲得赫特獎，原因有很多，其中之一就是它們不能精確地重建原始文本，也就是說它們不執(zhí)行無損壓縮。但是，它們的有損壓縮是否可能表明，人工智能研究人員真正理解了他們感興趣的那種類型？

2023年2月6日，上海，一位年輕人使用手機(jī)和電腦訪問OpenAI的網(wǎng)站，顯示ChatGPT目前已滿負(fù)荷運(yùn)轉(zhuǎn)，已關(guān)閉服務(wù)，用戶可要求ChatGPT在恢復(fù)服務(wù)時收到電郵通知。 視覺中國 圖

讓我們回到算術(shù)的例子。如果你要求GPT-3（ChatGPT構(gòu)建的大語言模型）添加或減去一對數(shù)字，當(dāng)數(shù)字只有兩位數(shù)時，它幾乎總是會給出正確的答案。但數(shù)字越大，準(zhǔn)確率就會顯著下降，當(dāng)數(shù)字有五位數(shù)時，準(zhǔn)確率會下降到10%。GPT-3給出的大多數(shù)正確答案都不能在網(wǎng)上找到——例如，包含“245 + 821”文本的網(wǎng)頁并不多——所以它不是在進(jìn)行簡單的記憶。但是，盡管吸收了大量的信息，它也無法推導(dǎo)出算術(shù)原理。仔細(xì)檢查GPT-3的錯誤答案表明，它在執(zhí)行算術(shù)時不帶“1”。萬維網(wǎng)上當(dāng)然包含攜帶“1”的解釋，但是GPT-3不能包含這些解釋。GPT-3對算術(shù)例子的統(tǒng)計分析使它能夠產(chǎn)生與真實事物的表面近似，但僅此而已。

鑒于GPT-3在小學(xué)教學(xué)科目上的失敗，我們?nèi)绾谓忉屗袝r在寫大學(xué)水平的論文時表現(xiàn)良好的事實？盡管大語言模型經(jīng)常產(chǎn)生幻覺，但當(dāng)它們清醒時，它們好像真的能理解經(jīng)濟(jì)理論等學(xué)科。也許算術(shù)是一個特殊的情況，大語言模型不太適合。有沒有可能，在加減法之外的領(lǐng)域，文本中的統(tǒng)計規(guī)律確實與真實世界的真實知識相對應(yīng)？

我認(rèn)為有一個更簡單的解釋。想象一下，如果ChatGPT是一種無損算法會是什么樣子。如果是這樣的話，它總是通過提供來自相關(guān)網(wǎng)頁的逐字引用來回答問題。我們可能會認(rèn)為這個軟件只是對傳統(tǒng)搜索引擎的輕微改進(jìn)，并對它印象不太深刻。ChatGPT從網(wǎng)絡(luò)上重新表達(dá)材料，而不是逐字引用，這讓它看起來像一個學(xué)生用自己的話表達(dá)思想，而不是簡單地重復(fù)他讀過的東西。它會造成ChatGPT理解了材料的錯覺。在人類學(xué)生中，死記硬背并不是真正學(xué)習(xí)的標(biāo)志，因此ChatGPT無法從網(wǎng)頁中準(zhǔn)確地引用內(nèi)容，這恰恰使我們認(rèn)為它學(xué)到了一些東西。當(dāng)我們處理單詞序列時，有損壓縮看起來比無損壓縮更聰明。

大語言模型已經(jīng)有了很多種用法。把它們看作是模糊的JPEG文件，這就提供了一種評估它們可能適合或不適合的方法。讓我們思考幾種情況。

大語言模型能取代傳統(tǒng)搜索引擎嗎？為了讓我們對它們有信心，我們需要知道他們有沒有被灌輸政治宣傳和陰謀論——我們需要知道JPEG是否捕捉了正確的網(wǎng)絡(luò)區(qū)域。但是，即使大語言模型只包含我們想要的信息，仍然存在模糊性的問題。有一種模糊是可以接受的，那就是用不同的詞重新陳述信息；對于完全捏造的模糊，當(dāng)我們尋找事實時，我們認(rèn)為這是不可接受的。在消除不可接受的模糊性的同時，保留可接受的模糊性，在技術(shù)上是否可行尚不清楚，但我希望在不久的將來，我們能找到答案。

即使有可能限制大語言模型參與制作，我們應(yīng)該使用它們來生成萬維網(wǎng)內(nèi)容嗎？只有當(dāng)我們的目標(biāo)是重新打包網(wǎng)絡(luò)上已有的信息時，這才有意義。有些公司就是這么做的，我們通常稱它們?yōu)閮?nèi)容工廠。也許大語言模型的模糊性對他們來說是有用的，它可以作為一種避免侵犯版權(quán)的手段。不過，一般來說，我想說的是，任何對內(nèi)容工廠有好處的東西都不適合搜索信息的人。這種重新包裝的興起使我們現(xiàn)在更難在網(wǎng)上找到我們想要的東西。大型語言模型生成的文本在網(wǎng)絡(luò)上發(fā)布得越多，網(wǎng)絡(luò)本身就變得越模糊。

關(guān)于OpenAI即將推出的ChatGPT繼任者GPT-4的信息非常少。但是我想做一個預(yù)測：當(dāng)收集用于訓(xùn)練GPT-4的大量文本時，OpenAI會盡一切努力排除由ChatGPT或任何其他大語言模型生成的材料。若事實果真如此，那么將大語言模型與有損壓縮進(jìn)行類比是有用的。反復(fù)保存JPEG會產(chǎn)生更多的壓縮制件，因為每次都會丟失更多的信息。這就相當(dāng)于過去不斷復(fù)制副本的做法，圖像質(zhì)量只會越來越差。

事實上，衡量大語言模型質(zhì)量的一個有用標(biāo)準(zhǔn)可能是，公司是否愿意使用它生成的文本作為新模型的訓(xùn)練材料。如果ChatGPT的輸出對GPT-4來說不夠好，我們或許會認(rèn)為它對我們來說也不夠好。相反，如果一個模型生成的文本非常好，可以用來訓(xùn)練新的模型，那么我們應(yīng)該對文本的質(zhì)量有信心。（我懷疑這樣的結(jié)果需要在用于構(gòu)建這些模型的技術(shù)上取得重大突破。）如果我們開始看到模型產(chǎn)生的輸出和輸入一樣好，那么有損壓縮的類比將不再適用。

大語言模型能幫助人類創(chuàng)作原創(chuàng)作品嗎？要回答這個問題，我們需要明確這個問題的含義。有一種藝術(shù)類型被稱為影印藝術(shù)，在這種藝術(shù)中，藝術(shù)家們利用復(fù)印機(jī)的獨(dú)特特性作為創(chuàng)作工具。在ChatGPT復(fù)印機(jī)上，沿著這些路線的事情肯定是可能的，所以，在這個意義上，答案是肯定的。但我認(rèn)為沒有人會說，復(fù)印機(jī)已經(jīng)成為藝術(shù)創(chuàng)作中的必備工具。絕大多數(shù)藝術(shù)家在創(chuàng)作過程中不會使用它們，沒人會認(rèn)為他們的這種選擇會讓自己處于不利地位。

所以讓我們假設(shè)，我們并不是在談?wù)撘环N類似于“施樂藝術(shù)”的新的寫作類型。鑒于這一規(guī)定，大語言模型生成的文本能否成為作家在創(chuàng)作原創(chuàng)作品時有用的起點，無論是小說還是非虛構(gòu)？讓一個大語言模型來處理樣板文件，能讓作者把注意力集中在真正有創(chuàng)意的部分嗎？

顯然，沒有人能代表所有的作家，但我想說的是，以一份模糊的非原創(chuàng)作品作為起點，并不是創(chuàng)作原創(chuàng)作品的好辦法。如果你是一個作家，在你寫原創(chuàng)作品之前，你會寫很多非原創(chuàng)的作品。花在非原創(chuàng)工作上的時間和精力不會被浪費(fèi)。相反，我認(rèn)為正是它讓你最終能夠創(chuàng)作出原創(chuàng)的作品。花在選擇正確的詞匯和重新排列句子以更好地遵循彼此上的時間，教會了你如何通過文章傳達(dá)想要表達(dá)的意思。讓學(xué)生寫論文不僅僅是一種測試他們對材料掌握程度的方法，這給了他們表達(dá)自己想法的經(jīng)驗。如果學(xué)生從來不用寫我們都讀過的文章，他們就永遠(yuǎn)不會獲得寫我們從未讀過的東西所需的技能。

這并不是說，一旦你不再是學(xué)生，你就可以安全地使用大語言模型提供的模板。想要表達(dá)自己想法的掙扎并不會在你畢業(yè)后消失。每當(dāng)你開始起草一篇新文章時，這種掙扎就會出現(xiàn)。有時候，只有在寫作的過程中，你才能發(fā)現(xiàn)自己最初的想法。有些人可能會說，大語言模型的輸出看起來與人類作家的初稿沒有太大不同，但是，我認(rèn)為這只是表面上的相似。你的初稿不是一個明確表達(dá)的非原創(chuàng)想法；這是一個原始想法的拙劣表達(dá)，它伴隨著你無定形的不滿，你意識到它所說的和你想說的之間的距離。這是在重寫時能夠指導(dǎo)你的東西，這是當(dāng)你開始使用人工智能生成的文本時所缺乏的東西之一。

寫作沒什么神奇或神秘的，但它不僅僅是把現(xiàn)有的文件放在一臺不可靠的復(fù)印機(jī)上，然后按下打印按鈕。在未來，我們有可能創(chuàng)造出一個人工智能，它能夠僅憑自己對世界的經(jīng)驗就寫出好文章。我們實現(xiàn)這一目標(biāo)的那一天確實意義重大，但那一天遠(yuǎn)遠(yuǎn)超出了我們的預(yù)測范圍。與此同時，我們有理由提出這樣一個問題：重新表述萬維網(wǎng)有何用途？如果我們永遠(yuǎn)無法訪問互聯(lián)網(wǎng)，不得不在空間有限的私人服務(wù)器上存儲副本，那么像ChatGPT這樣的大語言模型可能是一個很好的解決方案，假設(shè)它可以防止偽造。但我們并沒有失去對互聯(lián)網(wǎng)的訪問。那么，當(dāng)你還有原始圖片的時候，一張模糊的JPEG到底有多大用處呢？