通過(guò)交流，我們創造并改變了我們生活的世界——其中既包括我們的價值觀，也包括我們的工具。大型語言模型是強大的工具，可以幫助我們自動化和簡化複雜的任務，并有可能(néng)徹底改變我們與技術交互的方式。然而，它們并非沒(méi)有限制和風險。

交流離不開(kāi)語言。與其他人工智能(néng)應用相比，語言是一個更加棘手的問題，它的風險也更高。自然語言處理（NLP， natural language processing）與一些互聯網巨頭的核心業務密切相關，例如谷歌的搜索與Meta的社交媒體參與。作爲一個社會(huì)，我們也許從未如此清醒的意識到語言造成(chéng)傷害和貶低的危險，也從未如此清醒地意識到我們的語言中微妙的、結構性的、往往是無意地將(jiāng)人予以他者化的形式。

ChatGPT正在被(bèi)過(guò)億用戶使用，其中許多人沒(méi)有接受過(guò)任何關于如何合倫理地使用這(zhè)樣(yàng)的系統，或如何确保系統不會(huì)造成(chéng)傷害的教育。除了區分人類和機器的困難，我們也需要更多的研究來幫助我們了解人工智能(néng)將(jiāng)會(huì)怎樣(yàng)影響我們與其他人的互動。

這(zhè)一切將(jiāng)帶來一個全新的交流環境。在一個日益由可以模仿人類自然語言能(néng)力的人工智能(néng)工具主導的世界中，真實和信任意味著(zhe)什麼(me)？偏見和錯誤信息又將(jiāng)導緻什麼(me)？很多問題超越了技術範圍。傳播學(xué)者需要成(chéng)爲有關人工智能(néng)技術發(fā)展的對(duì)話的中心。

由于ChatGPT爆火的緣故，大型語言模型（LLM， large language model）集萬千寵愛于一身。但它們是什麼(me)呢？簡單地說，LLMs是一種(zhǒng)計算機系統，被(bèi)設計用來學(xué)習文本語料庫的統計屬性，以生成(chéng)模仿原始文本風格和内容的新文本。換言之，LLMs能(néng)夠生成(chéng)現實而較爲準确的新文本，看起(qǐ)來像是由一個真實的人撰寫的。

LLMs的核心基于一種(zhǒng)強大的機器學(xué)習技術，即深度學(xué)習。深度學(xué)習是人工智能(néng)的一個子集，能(néng)夠自動學(xué)習數據中的複雜模式。深度學(xué)習算法的靈感來自于大腦從經(jīng)驗中學(xué)習的能(néng)力，它們通常使用神經(jīng)網絡來實現——計算系統的結構與大腦非常相似。事(shì)實上，如果不使用先進(jìn)的水印策略，就(jiù)不可能(néng)準确區分由人類頭腦所寫的文本和由高度可并行的人工神經(jīng)網絡所産生的文本，後(hòu)者的神經(jīng)連接數要少得多。

傳統機器學(xué)習算法和深度學(xué)習算法之間的一個關鍵區别是，深度學(xué)習算法可以擴展到更大的數據集，它們可以從非結構化或未标記的數據中學(xué)習。這(zhè)使得它們非常适合于自然語言處理等任務，這(zhè)也是LLMs的用途。大型語言模型現在被(bèi)認爲是人工智能(néng)的前沿，因其有可能(néng)執行需要創造力、推理和理解自然語言的任務。

大型語言模型于2017年在谷歌大腦（Google Brain）開(kāi)始使用，研究人員推出了transformer（轉換器）架構，它是自然語言處理中使用的一個基于深度學(xué)習模型的神經(jīng)網絡，訓練可以實現并行化，這(zhè)爲訓練真正的大模型首次提供了機會(huì)。此後(hòu)，大型語言和文本-圖像模型在領先的技術公司中激增，包括谷歌（BERT、GLaM、LaMDA、Chinchilla、PaLM）、Facebook/Meta（OPT-175B、Galactica、BlenderBot、LLaMA）、英偉達和微軟（Megatron-Turing），當然還(hái)有OpenAI，微軟是主要的投資者（GPT-3/4用于文本，DALL-E2用于圖像，Whisper用于語音）。在線社區，如Midjourney，以及Hugging Face等開(kāi)源供應商，也創造了生成(chéng)模型。

新的玩家還(hái)在不斷進(jìn)場。2023年3月，彭博社推出BloombergGPT（Bloomberg Professional Services， 2023），系根據專有來源的金融數據訓練的LLM，“在金融任務上比現有的模型有明顯的優勢，而不影響一般LLM的基準性能(néng)”（Wu， 2023）。4月，資助開(kāi)發(fā)“穩定擴散”（Stable Diffusion）等開(kāi)源生成(chéng)式人工智能(néng)模型的Stability AI宣布推出StableLM語言模型套件。在爲多個領域（包括圖像、音頻、視頻、3D和生物學(xué)）開(kāi)發(fā)模型之後(hòu)，這(zhè)是該開(kāi)發(fā)商首次加入目前由技術大腕主導的語言模型遊戲（Dey， 2023）。同在4月，亞馬遜在AWS中推出Bedrock服務，在一個平台上提供多種(zhǒng)生成(chéng)式人工智能(néng)模型。例如，Stability AI的Stable Diffusion圖像生成(chéng)器，可以將(jiāng)文本變成(chéng)圖像；AI21實驗室的Jurassic-2模型是一個多語言LLM，可以生成(chéng)德語、西班牙語、法語、葡萄牙語、荷蘭語和意大利語文本；Anthropic的Claude是ChatGPT的一個對(duì)手，可以使工作流程自動化、回答問題，并與用戶進(jìn)行交流。與微軟和Alphabet相比，亞馬遜可能(néng)看起(qǐ)來姗姗來遲，但它的做法相當精明。通過(guò)Bedrock，亞馬遜不隻是提供對(duì)上述第三方平台的訪問，也提供對(duì)其專有的大型語言模型Titan的訪問，這(zhè)可能(néng)使亞馬遜變成(chéng)那些希望使用LLMs并根據其需求構建應用程序的企業的首選平台（Chauhan， 2023）。

時至今日，除了蘋果之外，美國(guó)每家主要科技公司都(dōu)宣布了自己的LLM。中國(guó)的科技公司當然亦不甘落後(hòu)：2023年3月，百度推出文心一言并在官宣後(hòu)爲新浪财經(jīng)、澎湃新聞、愛奇藝、美的集團、東風日産等一系列企業提供接入服務；2022年，阿裡(lǐ)達摩院發(fā)布通義大模型，并在2023年4月正式推出通義千問；再加上2022年騰訊對(duì)外披露的混元大模型和2021年華爲發(fā)布的盤古大模型等等，不一而足，人稱“萬模大戰”。在TB級文本數據上訓練的大型語言模型成(chéng)爲高科技行業最熱門的一角。

LLMs對(duì)大型科技公司很重要，因爲它們可以實現新的産品和服務，從而吸引更多的用戶，産生更多的收入，并創造更多的價值。例如，LLMs可用于改進(jìn)搜索引擎、社交網絡、雲計算、數字助理、電子商務、遊戲、教育、醫療保健等。此外，科技公司可以用LLMs來改進(jìn)企業的現有産品線。例如，無論是語音數字助理還(hái)是爲營銷人員自動投放廣告，谷歌都(dōu)將(jiāng)人工智能(néng)作爲未來的突破性技術，使下一代服務和設備更加智能(néng)化、功能(néng)更強。

生成(chéng)式模型的重要價值之一是它們與生産力應用程序的整合。例如，微軟在企業Office套件市場中有明顯的優勢，正在將(jiāng)生成(chéng)式模型整合到Word、Outlook和Teams等應用程序中。中國(guó)科技巨頭阿裡(lǐ)巴巴在生成(chéng)式人工智能(néng)方面(miàn)的最新努力，在某種(zhǒng)程度上讓人聯想到微軟，即通過(guò)讓人們用自然語言來描述他們想要建立的東西，令各種(zhǒng)應用程序變得更容易使用。阿裡(lǐ)巴巴宣布，通義千問將(jiāng)被(bèi)整合到公司的各項業務中，以改善用戶體驗，客戶和開(kāi)發(fā)人員可以通過(guò)利用該模型創建定制的人工智能(néng)功能(néng)。

同時，人工智能(néng)初創企業經(jīng)常以超過(guò)10億美元的估值籌集資金。例如，6月13日，英國(guó)人工智能(néng)初創公司Synthesia表示，它從風險投資公司Accel和Nvidia旗下NVentures牽頭的一輪融資中籌集了約9000萬美元，估值爲10億美元。該公司的技術幫助包括亞馬遜在内的5萬多家企業創建用于教學(xué)和企業視頻的定制AI化身。這(zhè)表明，大量企業希望將(jiāng)傳統視頻制作轉變爲數字工作流程（Reuters， 2023）。Synthesia隻是一個人工智能(néng)初創企業快速獲得獨角獸地位的例子。在利率上升和高通脹導緻的更廣泛的融資放緩中，人工智能(néng)初創企業已經(jīng)成(chéng)爲2023年投資的一個亮點。

就(jiù)這(zhè)樣(yàng)，大型通用人工智能(néng)模型被(bèi)業界宣傳爲“基礎性的”，是該領域科學(xué)進(jìn)步的主要轉折點。這(zhè)類叙述分散了“規模病症”的注意力，這(zhè)些病症每天都(dōu)變得更加根深蒂固：大規模的人工智能(néng)模型主要由大科技公司控制，因爲它們需要巨大的計算和數據資源，并且還(hái)引發(fā)了圍繞歧視、隐私和安全漏洞以及負面(miàn)環境影響等多方面(miàn)的擔憂。

例如，GPT-3最初是在45TB的數據上訓練的，并采用了1750億個參數來進(jìn)行預測；GPT-3的一次訓練就(jiù)花費了1200萬美元（Davenport， Mittal， 2022）。另據報道(dào)，OpenAI使用1萬個英偉達GPU訓練ChatGPT（Goldman， 2023），而ChatGPT每天給OpenAI帶來70萬美元的成(chéng)本（Gardizy， Ma，2023）。而最新的GPT-4的訓練耗資超過(guò)1億美元（Knight， 2023）。大多數公司沒(méi)有數據中心能(néng)力或雲計算預算來從頭開(kāi)始訓練這(zhè)類模型，許多現成(chéng)的、預訓練的人工智能(néng)模型，作爲雲人工智能(néng)服務的一部分提供，而此市場本已集中在大科技公司手中，如AWS（亞馬遜）、GCP（谷歌雲平台）和Azure（微軟）。這(zhè)些雲供應商每年總共花費超過(guò)1000億美元的資本，以确保擁有最全面(miàn)、最可靠和最具成(chéng)本競争力的平台。特别是在生成(chéng)式人工智能(néng)方面(miàn)，它們也受益于供應限制，因爲它們可以優先獲得稀缺的硬件（如Nvidia A100和H100 GPU）（Bornstein， Appenzeller， Casado， 2023）。

大科技公司可能(néng)會(huì)保持先發(fā)優勢，因爲它們有時間和市場經(jīng)驗來磨練基礎語言模型，并發(fā)展寶貴的内部專業知識。因此，較小的企業或初創公司可能(néng)難以成(chéng)功進(jìn)入這(zhè)一領域，從而使得LLM的巨大處理能(néng)力集中在少數幾家大科技公司手中。

2021年，埃米莉·本德（Emily M. Bender）博士、蒂姆尼特·蓋布魯（Timnit Gebru）博士、安吉麗娜·麥克米蘭-梅傑（Angelina McMillan-Major）和瑪格麗特·米切爾（Margaret Mitchell）博士在一篇題爲《論随機鹦鹉的危險》的論文中對(duì)LLM的潛在成(chéng)本和危害提出警告（Bender et al.， 2021），這(zhè)篇論文導緻谷歌將(jiāng)蓋布魯和米切爾從人工智能(néng)倫理團隊的共同領導位置上趕走（Metz， Wakabayashi， 2020；Metz， 2021）。該論文在确定困擾LLM的規模病症方面(miàn)有先見之明。當公衆讨論被(bèi)圍繞著(zhe)ChatGPT和其他LLMs的令人窒息的炒作所吞噬之際，這(zhè)項研究提出了清醒的警告：我們需要讨論社會(huì)是否應該建立這(zhè)類技術，而不是如何建立，更不是不加批判地將(jiāng)其作爲進(jìn)步的同義詞而加以全盤接受。本德等人問道(dào)：“越來越大的語言模型是不可避免的還(hái)是必須的？這(zhè)一研究方向(xiàng)有什麼(me)成(chéng)本，我們在追求它之前應該考慮什麼(me)？”

擇其要者，大型語言模型可見的成(chéng)本就(jiù)有：

環境和财務成(chéng)本

LLMs的訓練需要大量的能(néng)源，并産生大量的二氧化碳排放。在GPU上訓練一個BERT基礎模型所需的能(néng)量與一次橫跨美國(guó)的飛行一樣(yàng)多（Bender et al.， 2021）。大多數雲計算供應商的能(néng)源不是來自可再生能(néng)源，而且世界上許多能(néng)源也不是碳中和的。此外，哪怕是可再生能(néng)源，對(duì)環境來說仍然是昂貴的。數據中心爲了滿足越來越多的計算需求，占用了綠色能(néng)源的其他潛在用途，爲此，迫切需要節能(néng)型的模型架構和訓練模式。

環境問題與種(zhǒng)族問題的交彙，意味著(zhe)被(bèi)邊緣化的人和來自多數世界/全球南方的人更有可能(néng)體驗到能(néng)源消耗和二氧化碳排放增加所帶來的傷害，盡管他們也是最不可能(néng)體驗到這(zhè)種(zhǒng)模型的好(hǎo)處的一群。碳足迹將(jiāng)取決于能(néng)源的使用和正在使用的能(néng)源的碳強度。不僅僅是LLMs有很大的能(néng)源影響，而且其中的碳影響將(jiāng)首先爲那些沒(méi)有從這(zhè)項技術中受益的人帶來成(chéng)本。所以，當我們做成(chéng)本效益分析時，重要的是要考慮到誰在得到好(hǎo)處，誰在支付成(chéng)本，因爲兩(liǎng)者不是同一批人。

此外，進(jìn)入和訓練這(zhè)些模型的成(chéng)本很高，這(zhè)意味著(zhe)隻有一小部分全球精英能(néng)夠發(fā)展并受益于LLMs。由于其複雜的性質，它們的建立和維護可能(néng)是困難和昂貴的。它們還(hái)需要大量的訓練數據，而這(zhè)些數據可能(néng)很難獲得，處理起(qǐ)來也非常昂貴。由此，大規模算力會(huì)將(jiāng)LLMs限制于隻有資源最豐富的公司和研究者才能(néng)使用，而把小型開(kāi)發(fā)商排除在外。所以，環境和财務成(chéng)本應該成(chéng)爲自然語言處理研究中的首要考慮因素。

不負責任的訓練數據 

使用大量未經(jīng)整理的訓練數據集有可能(néng)創造出鞏固主導性、霸權性觀點的語言模型。這(zhè)些訓練數據集的龐大規模并不能(néng)保證多樣(yàng)性，因爲它們往往是從網站上抓取來的，而這(zhè)些網站由于互聯網接入不足、代表性不足、過(guò)濾或騷擾等問題而排除了邊緣化人群的聲音。這(zhè)些數據集有“價值鎖定”的風險，或許會(huì)將(jiāng)有害的偏見編碼到難以徹底審計的語言模型中。

如果模型是在過(guò)濾有限的大量互聯網數據上訓練出來的，它們就(jiù)會(huì)吸收事(shì)實和錯誤信息、有偏見的内容和公平的内容、有害的材料和無害的材料。如果沒(méi)有辦法在回答提示之前評估這(zhè)些标準，LLMs就(jiù)有可能(néng)陷入複制、放大和傳播有問題的内容和錯誤信息的危險。

“随機鹦鹉”的誕生

本德等人進(jìn)一步警告說，對(duì)語言模型的追求可能(néng)是一個誤導性的研究方向(xiàng)。她們觀察到，語言模型就(jiù)好(hǎo)比“随機鹦鹉”（stochastic parrot），“根據關于如何組合的概率信息，胡亂地將(jiāng)它在龐大的訓練數據中觀察到的語言形式序列[縫合]在一起(qǐ)，但沒(méi)有任何對(duì)意義的參考”（Weil， 2023）。也就(jiù)是說，大型語言模型善于生成(chéng)令人信服的語言，但實際上并不理解它所處理的語言的含義。

“随機鹦鹉”的比喻突出了兩(liǎng)個重要的局限性：第一，學(xué)習機器所作的預測基本上是在重複數據的内容，加上一些由模型的限制造成(chéng)的噪音（或随機性）。第二，機器學(xué)習算法并不了解它所學(xué)習的問題。它無法得知自己什麼(me)時候在重複一些不正确的、脫離上下文的或令社會(huì)感覺不适的東西。由于這(zhè)些局限性，學(xué)習機器可能(néng)會(huì)産生“危險的錯誤”（Lindholm et al.， 2022）。

ChatGPT的不可靠性會(huì)給任何使用它來生成(chéng)相應文本的機構帶來相當大的法律、财務和聲譽風險。正如沃倫·巴菲特（Warren Buffett）所說：“建立聲譽需要20年，而毀掉聲譽隻需要5分鍾。”如果LLM用于重要任務，它可能(néng)會(huì)創建一種(zhǒng)新的職業（LLM事(shì)實檢查員）和一種(zhǒng)新的保險範圍（爲了彌補LLM 錯誤）。

進(jìn)一步地說，随機鹦鹉的問題可以被(bèi)看作是人工智能(néng)和機器學(xué)習的一個更普遍的挑戰：如何确保模型是真正的學(xué)習和推理，而不是僅僅去記憶數據當中的模式？随著(zhe)模型的規模和複雜性不斷增長(cháng)，以及它們越來越多地被(bèi)用于醫療保健、金融和運輸等高風險的應用中，這(zhè)一挑戰顯得尤爲突出。

由此觀之，當模型過(guò)于依賴複制語言模式而并不真正理解其含義時，随機鹦鹉問題就(jiù)會(huì)出現。如果不加以控制，随機鹦鹉會(huì)對(duì)人工智能(néng)的發(fā)展和部署，以及依賴這(zhè)些技術完成(chéng)重要任務的用戶産生嚴重後(hòu)果。這(zhè)凸顯了通過(guò)仔細的模型設計、評估和持續監測來解決此問題的重要性。

最終，我們需要問自己，爲什麼(me)要把人工智能(néng)的未來全部押注在大型語言模型一條路上？紐約大學(xué)教授兼Meta首席AI科學(xué)家楊樂昆（Yann LeCun）就(jiù)認爲LLM是“一條下坡路”，遠離了通往更強大的AI的道(dào)路（The Economist， 2023）。“大型語言模型能(néng)有多聰明，能(néng)有多準确，都(dōu)是有限度的，因爲它們沒(méi)有現實世界的經(jīng)驗，而這(zhè)确實是語言的基本現實”。他指出，人類所學(xué)的大部分内容都(dōu)與語言無關。“我們學(xué)習如何投擲籃球，讓它穿過(guò)籃圈”，深度學(xué)習的另一位先驅者傑弗裡(lǐ)·辛頓（Geoffrey Hinton）說：“我們根本不使用語言來學(xué)習。我們從試驗和錯誤中學(xué)習。”（Smith， 2023）

就(jiù)算語言是發(fā)展人工智能(néng)的重要途徑，事(shì)情也很明顯：無論LLMs及其訓練數據集變得多麼(me)龐大，它們也永遠無法像我們一樣(yàng)學(xué)習和理解我們的語言。吊詭的是，語言模型的限制導緻了一種(zhǒng)研究趨勢，即專注于研究這(zhè)類模型的知識和行爲。換言之，人類正在學(xué)習LLMs的語言，并尋找更好(hǎo)地與它們溝通的方法。

這(zhè)是因爲，語言模型是神經(jīng)網絡，根據從網絡收集的數據進(jìn)行訓練。經(jīng)過(guò)訓練後(hòu)，模型可以接收提示并預測其後(hòu)的單詞。神經(jīng)網絡越大，模型的學(xué)習能(néng)力就(jiù)越強。數據集越大，模型接觸不同單詞序列的機會(huì)就(jiù)越大，生成(chéng)文本時就(jiù)越準确。

可問題是，人類語言不僅僅是文本。事(shì)實上，語言是一種(zhǒng)將(jiāng)信息從一個大腦傳輸到另一個大腦的壓縮方式。我們的談話經(jīng)常忽略共享知識，例如視覺和聽覺信息、世界的物理體驗、過(guò)去的談話、我們對(duì)人和物體行爲的理解、社會(huì)結構和規範等。

正如楊樂昆和紐約大學(xué)計算機科學(xué)系博士後(hòu)雅各布·布朗甯（Jacob Browning）在最近的一篇文章中所寫到的，“僅靠語言訓練的系統永遠不會(huì)接近人類智力，即使從現在開(kāi)始訓練直到宇宙熱寂”。雖然兩(liǎng)位科學(xué)家也指出，如果我們停留在表面(miàn)上，語言模型“無疑會(huì)接近（人類智能(néng)）。而且，在許多情況下，表面(miàn)就(jiù)足夠了”，但是我們絕不應該把LLMs擁有的淺層理解與人類從觀察世界景象、探索世界、在世界中進(jìn)行實驗以及與不同文化和其他人互動中獲得的深層理解相混淆（Browning， LeCun， 2022）。

所以，假如我們用“語言的統計模型”而不是“大型語言模型”來描述這(zhè)種(zhǒng)人工智能(néng)技術，是否會(huì)帶來更清楚的認知？這(zhè)樣(yàng)會(huì)使我們認識到，統計推理肯定不是人類合作、創造、協調和競争的全部故事(shì)。

所有人類的知識最終都(dōu)能(néng)被(bèi)抓進(jìn)機器的說法是沒(méi)有意義的。我們隻能(néng)把可以用比特串表示的知識放入機器。像體育、音樂、木匠大師或創意寫作這(zhè)樣(yàng)的技能(néng)是無法精确描述和記錄的，技能(néng)的描述并不就(jiù)能(néng)夠賦予表演的能(néng)力。即使它們可以被(bèi)代表，表演技能(néng)的形式也是無法被(bèi)記錄的——它包括表演者的想法和思考，他們的神經(jīng)元記憶狀态，以及他們的神經(jīng)肌肉化學(xué)模式。所有這(zhè)些沒(méi)有記錄的和無法記錄的信息的數量遠遠超出了可能(néng)存儲在機器數據庫中的範圍。與人類的能(néng)力相比，大型語言模型所能(néng)執行的任何功能(néng)都(dōu)是很小的。

我們是否已經(jīng)被(bèi)大型語言模型迷住了，以至于沒(méi)有看到我們利用語言所做的其他事(shì)情？我們建立關系。我們互相關照。我們認識并駕馭我們的情緒。我們建立并行使權力。我們做出承諾，并貫徹執行。我們創建組織和社會(huì)。我們創造傳統和曆史。我們爲行動負責。我們打造信任。我們培養智慧。我們愛。我們想象以前從未想象過(guò)的東西。所有這(zhè)些都(dōu)不是統計學(xué)上的。大型語言模型的能(néng)力與人類的能(néng)力之間存在著(zhe)巨大的鴻溝。

像LLMs這(zhè)樣(yàng)的大規模人工智能(néng)模型在過(guò)去一段時間裡(lǐ)中受到了最多的炒作，也帶來了最大的恐懼。圍繞這(zhè)些系統的興奮和焦慮都(dōu)有助于強化如下概念，即這(zhè)些模型是“基礎性的”，盡管它們無法對(duì)人類提示作出有意義的回應的例子數不勝數。值得注意的是，這(zhè)些模型之所以作爲“基礎性”的技術被(bèi)引入，其實意是在將(jiāng)它們等同于無可置疑的科學(xué)進(jìn)步，成(chéng)爲“通用人工智能(néng)”（這(zhè)是另一個模糊的術語，讓人聯想起(qǐ)科幻小說中關于取代或超越人類智能(néng)的概念）道(dào)路上的踏腳石，從而使其被(bèi)廣泛采用成(chéng)爲必然。

在最近的一次采訪中，OpenAI首席執行官山姆·阿爾特曼（Sam Altman）說：“我認爲我們正處于巨大模型時代的終結，我們將(jiāng)以其他方式讓模型變得更好(hǎo)。”（Miller， 2023）言下之意是，未來的進(jìn)展不會(huì)來自于將(jiāng)模型做得更大。

而這(zhè)些“其他方式”是什麼(me)？一個可能(néng)的途徑是在更多的高質量數據上對(duì)模型進(jìn)行微調，創造更好(hǎo)的訓練技術。人工管策的數據集可能(néng)是非常有價值的，但創建成(chéng)本高，速度慢。根據大型語言模型的現狀，筆者認爲，有四大發(fā)展趨勢值得高度關注：

第一，我們需要緻力于教會(huì)語言模型表達不确定性

在大多數情況下，人類知道(dào)自身的局限性（即使他們不直接承認）。他們可以表達不确定和懷疑，并讓對(duì)話者知道(dào)他們對(duì)自己所傳授的知識有多自信。而與此相對(duì)照，語言模型總是對(duì)任何提示都(dōu)給出現成(chéng)的答案，即使它們的輸出是毫無意義的。神經(jīng)網絡通常提供某個預測正确概率的數值。然而就(jiù)語言模型而言，這(zhè)些概率分數并不代表模型對(duì)提示響應的可靠性的信心。

OpenAI和牛津大學(xué)的研究人員發(fā)表的一篇論文表明，可以通過(guò)教LLMs“用語言表達它們的不确定性”來彌補這(zhè)一缺點。可對(duì) LLMs進(jìn)行微調，以使用自然語言表達認知上的不确定性，研究者將(jiāng)之描述爲“語言化概率”（verbalized probability），即用語言表達出來的概率。這(zhè)是一個重要的發(fā)展方向(xiàng)，尤其是在用戶希望將(jiāng)語言模型的輸出轉化爲某個動作的應用程序中。研究人員建議，表達不确定性可以令語言模型誠實。“如果一個誠實的模型出現一個誤導或惡意的内部狀态，那麼(me)它可以將(jiāng)這(zhè)種(zhǒng)狀态傳達給可采取相應行動的人類”（Lin et al.， 2022）。

第二，與其緻力于模型之大，不如專攻特定模型

鑒于LLMs不理解它們所處理的語言，也不理解所收到的提示和自己的回應，所以補救辦法一是靠規模的力量，即訓練數據和模型參數的巨大規模，二是靠專業的力量，即在爲特定行業或領域（如醫療保健和醫學(xué)）定制開(kāi)發(fā)更專門的模型的情況下，有針對(duì)性地管策訓練數據，這(zhè)將(jiāng)有助于解決LLMs在涉及特定問題時的某些局限性。

想象一下，像ChatGPT這(zhè)樣(yàng)的LLM已經(jīng)在最好(hǎo)的醫學(xué)文獻上接受了訓練，但訓練數據當中也有讨論健康問題的Reddit線程。人工智能(néng)有時可以通過(guò)檢索和參考高質量的信息來回應，但其他時候它通過(guò)使用完全不可靠的Reddit信息來回應。事(shì)實上，假如醫學(xué)文獻中沒(méi)有這(zhè)些信息（例如一種(zhǒng)非常罕見的疾病），它更有可能(néng)編造這(zhè)些信息（此即人工智能(néng)行業常說的幻覺）。比爾·蓋茨（Bill Gates）曾預想過(guò)，ChatGPT或類似的大型語言模型有一天可以爲沒(méi)有機會(huì)看醫生的人提供醫療建議（Trang， 2023），然而你如何能(néng)相信一個容易産生幻覺的機器的建議？

所以我們需要通過(guò)使用較小和較高質量的數據集對(duì)特定的知識領域進(jìn)行訓練。例如，擁有數十億參數的大型臨床語言模型可以利用電子健康記錄中的非結構化文本，幫助提取醫學(xué)概念和回答醫學(xué)問題，預測疾病或再入院風險，并總結臨床文本。而一個專門爲法律行業設計的模型可以接受法律術語和行話的訓練，使其更好(hǎo)地處理法律文件。

像BloombergGPT這(zhè)樣(yàng)的例子表明，紮根于特定領域的企業能(néng)夠使用免費提供的、現成(chéng)的人工智能(néng)方法，處理大量的專有數據。與OpenAI的GPT3/4這(zhè)樣(yàng)的“基礎性”模型不同，彭博社的模型是爲特定任務而設計的。它在公司多年來收集的大量金融文本上專門訓練，爲的是創建一個對(duì)金錢和商業能(néng)夠産生特别流利的認知的模型。在用于創建彭博社模型的數據中，約有一半來自網絡上的非金融來源，包括GitHub、YouTube字幕和維基百科。但彭博社還(hái)爲自己的模型添加了1000多億單詞，來自一個名爲FinPile的專有數據集，其中包括該公司在過(guò)去20年中積累的金融數據，内含證券文件、企業新聞發(fā)布、彭博社新聞報道(dào)、其他出版物的報道(dào)，以及專注于金融網頁的網絡爬行等。事(shì)實證明，添加特定的培訓材料可以提高金融任務的準确性和性能(néng)。彭博社正計劃將(jiāng)其GPT整合到通過(guò)公司終端産品訪問的功能(néng)和服務中，盡管彭博社還(hái)未有計劃推出ChatGPT式聊天機器人（Leswing， 2023）。

第三，高質量的數據將(jiāng)成(chéng)爲LLM稱霸的新戰場

限制LLM持續改進(jìn)的最重要限制是可用的訓練數據量。《經(jīng)濟學(xué)人》報道(dào)說，2022年10月發(fā)表的一篇論文得出的結論是，“高質量語言數據的存量將(jiāng)很快耗盡，可能(néng)就(jiù)在2026年之前”（The Economist， 2023）。肯定有更多可用的文本，但它們被(bèi)一小塊一小塊地鎖定在公司數據庫或個人設備上，無法以Common Crawl允許的規模和低成(chéng)本加以訪問。這(zhè)種(zhǒng)數據稀缺對(duì)LLM的進(jìn)一步發(fā)展提出了挑戰。

2023年4月18日，Reddit宣布，它將(jiāng)開(kāi)始對(duì)其API的訪問收費（Isaac， 2023）。這(zhè)一決定是在Twitter對(duì)其API實施類似限制之後(hòu)做出的（Mehta，2023）。近年來，Reddit的系列聊天成(chéng)爲谷歌、OpenAI和微軟等公司的免費教具。這(zhè)些公司使用Reddit的對(duì)話來幫助開(kāi)發(fā)巨型人工智能(néng)系統。然而現在，Reddit聯合創始人兼首席執行官史蒂夫·赫夫曼（Steve Huffman）稱：“我們不需要把所有這(zhè)些價值免費提供給世界上最大的一些公司。”

随即，程序員問答網站Stack Overflow也宣布將(jiāng)開(kāi)始對(duì)其 API收費。首席執行官普拉桑斯·錢德拉塞卡爾（Prashanth Chandrasekar）表示：“我們非常支持 Reddit 的做法”，“爲LLM提供動力的社區平台絕對(duì)應該因其貢獻而得到補償，這(zhè)樣(yàng)像我們這(zhè)樣(yàng)的公司就(jiù)可以重新注資到社區，讓其繼續蓬勃發(fā)展。”（Dave，2023）

Reddit和Stack Overflow等平台爲微調LLM提供了快速訪問具體主題和問題的寶貴數據，而這(zhè)些平台的所有者正意識到它們所掌握的數據的價值。數據市場日益激烈的競争可能(néng)推動行業走向(xiàng)更少的共享和更多的貨币化。不幸的是，激進(jìn)的貨币化將(jiāng)進(jìn)一步增強能(néng)夠負擔API成(chéng)本的大型科技公司的能(néng)力。相應地，小型實驗室和資金緊張的初創公司將(jiāng)不得不處理手頭可用的低質量數據。

第四，開(kāi)源模型可以成(chéng)爲大科技公司封閉服務的替代品

最先進(jìn)的LLM需要巨大的計算預算和深厚的機器學(xué)習專業知識，所以很少有機構能(néng)夠從頭開(kāi)始訓練它們。然而，那些擁有資源和專業知識的機構越來越多地不開(kāi)放模型（無論是數據、源代碼或深度學(xué)習的秘方——模型權重）供公衆監督，而是依靠API分發(fā)。

這(zhè)就(jiù)是開(kāi)源人工智能(néng)可以介入的地方，它使獲得LLM的機會(huì)民主化。各種(zhǒng)社區平台正在努力創建開(kāi)源的模型，以替代大科技公司提供的封閉的專有服務。這(zhè)些努力是爲了防止少數富有的公司在快速增長(cháng)的生成(chéng)式人工智能(néng)市場上擁有過(guò)多的權力。

例如，我們開(kāi)始看到Anthropic、Cohere和Character.ai等公司建立的LLMs更接近OpenAI的性能(néng)水平，它們在類似的數據集上訓練，并采用類似的模型架構。“穩定擴散”的例子表明，如果開(kāi)源模型的性能(néng)和社區支持達到了足夠的水平，那些封閉的大型模型未必能(néng)與其競争。

“穩定擴散”隻需較少的計算能(néng)力就(jiù)可以工作。與在OpenAI強大的服務器上運行的DALL-E 2不同，穩定擴散可以在良好(hǎo)的個人電腦上運行。創造力的爆發(fā)和新應用程序的快速發(fā)展在很大程度上是由于“穩定擴散”：既是開(kāi)源的，程序員可以自由地改變它，在它的基礎上發(fā)展，并從中賺錢；又足夠輕巧，人們可以在家中運行。

谷歌的一位高級軟件工程師認爲，不管是OpenAI還(hái)是谷歌，在人工智能(néng)競賽中都(dōu)沒(méi)有勝算，構成(chéng)威脅的“第三派”將(jiāng)是開(kāi)源社區。開(kāi)源技術開(kāi)發(fā)者沒(méi)有所有權，他們將(jiāng)自己的作品發(fā)布給任何人，讓他們根據自己的需要使用、改進(jìn)或改編。開(kāi)源的曆史例子包括Linux操作系統和LibreOffice，這(zhè)是微軟Office的替代品。

這(zhè)位谷歌工程師說，開(kāi)源人工智能(néng)開(kāi)發(fā)者“已經(jīng)在搶占先機”，他舉出的例子包括Meta公司開(kāi)發(fā)的大型開(kāi)源語言模型LLaMA。2023年2月底發(fā)布的LLaMA因其優于GPT-3等模型的性能(néng)而立即受到歡迎，盡管其參數隻有650億（Meta AI， 2023）。7 月 18 日，LlaMa2發(fā)布包含了 70 億、130 億和 700 億參數的模型，它對(duì)于人工智能(néng)應用，就(jiù)像安卓操作系統之于手機APP開(kāi)發(fā)一樣(yàng)，目的就(jiù)是讓應用層開(kāi)發(fā)者可以直接以最低成(chéng)本獲得大模型的基礎設施使用。有了這(zhè)樣(yàng)的模型，從事(shì)人工智能(néng)模型的門檻已經(jīng)“從某一個主要研究機構的總産出降至一個人、一個晚上和一台強大的筆記本電腦”。一個LLM現在可以在幾個小時内以100美元的價格進(jìn)行微調。憑借其快速移動、協作和低成(chéng)本的模式，開(kāi)源模型有一些谷歌或OpenAI無法複制的顯著優勢（Milmo， 2023）。而當免費的或低價的、不受限制的替代品在質量上與封閉的大型模式不相上下時，人們不會(huì)爲一個設限的人工智能(néng)模型付費。

當然，像任何事(shì)情一樣(yàng)，這(zhè)同時具有積極和消極的影響。從正面(miàn)看，它使少數公司壟斷控制人工智能(néng)的可能(néng)性大大降低，也將(jiāng)使獲得人工智能(néng)的成(chéng)本大大降低，加速整個領域的創新，并使研究人員更容易分析人工智能(néng)系統的行爲（因其對(duì)專有模型的訪問是有限的），提高透明度和安全性。但是，更容易獲得人工智能(néng)，也意味著(zhe)不良行爲者將(jiāng)可以出于自身的邪惡目的而對(duì)系統進(jìn)行微調，例如生産虛假信息。這(zhè)將(jiāng)使人工智能(néng)更難于監管，因爲精靈已經(jīng)逃出了瓶子。

大型語言模型已經(jīng)徹底改變了我們與計算機互動的方式。它們能(néng)夠理解自然語言并對(duì)複雜的問題做出反應。随著(zhe)人工智能(néng)驅動的LLMs（如ChatGPT）的發(fā)展，它們已經(jīng)變得越來越有用并走向(xiàng)通用。

然而，它們的迅速進(jìn)展也不是沒(méi)有争議的。許多人擔心如此強大的技術所帶來的反響，憂慮這(zhè)些模型可能(néng)被(bèi)用來操縱信息或替代人類的經(jīng)驗。爲了充分了解它們的範圍和力量，探索LLMs如何影響社會(huì)的不同方面(miàn)非常重要。

鑒于這(zhè)些開(kāi)創性的模型的廣泛采用所帶來的巨大可能(néng)性和潛在風險，社會(huì)已經(jīng)對(duì)其使用産生了不同的反應。例如，在開(kāi)發(fā)和分發(fā)這(zhè)些模型的源代碼時，是采取開(kāi)源還(hái)是閉源方式？

總的來說，開(kāi)源是指任何人都(dōu)可以免費使用、修改和發(fā)布的源代碼，而閉源是指不能(néng)在創造它的機構之外修改或發(fā)布的專有代碼。在GPT-3之前，大多數大型語言模型都(dōu)是開(kāi)源的，但目前，越來越多的公司將(jiāng)他們的模型變成(chéng)閉源的，例如PaLM、LaMDA和GPT-4。在OpenAI宣布GPT-4模型的文件中，該公司說它不會(huì)提供關于架構、模型大小、硬件、訓練計算、數據構建或用于開(kāi)發(fā)GPT-4的訓練方法的細節，隻是指出它使用了從人類反饋中強化學(xué)習的方法，聲稱這(zhè)是由于競争和安全方面(miàn)的考慮（AI Now Institute， 2023）。

同樣(yàng)，出于大型語言模型的競争格局和安全問題，OpenAI向(xiàng)客戶提供的付費訪問，也有許多法律和技術限制。這(zhè)使得學(xué)術研究人員更難進(jìn)行LLM訓練實驗。對(duì)研究界來說，最直接的問題之一是缺乏透明度。ChatGPT及其前身的基礎訓練集和LLMs是不公開(kāi)的，科技公司可能(néng)會(huì)隐瞞其對(duì)話式AI的内部運作。這(zhè)與透明度和開(kāi)放科學(xué)的趨勢背道(dào)而馳。在這(zhè)種(zhǒng)情況下，有關人工智能(néng)的模型能(néng)力的主張無法被(bèi)其他人驗證或複制，客戶也不可能(néng)下載ChatGPT背後(hòu)的模型。

相比之下，開(kāi)源工作涉及創建一個模型，然後(hòu)將(jiāng)其發(fā)布給任何人，讓他們根據自己的需要使用、改進(jìn)或改編。業界推動開(kāi)源LLM的工作，承諾多方合作和權力共享，而這(zhè)正是互聯網的最初理想。它顯示了不同的社區如何能(néng)夠相互幫助，攜手推進(jìn)大型語言模型的下一步發(fā)展。

圍繞著(zhe)LLMs的另一個關鍵問題是它們的倫理含義。随著(zhe)這(zhè)些系統變得越來越複雜，有關操縱人類行爲或公衆輿論的問題日益凸顯。此外，LLMs有可能(néng)被(bèi)用作惡意行爲者或組織獲取私人數據或傳播虛假信息的工具。出于對(duì)偏見和準确性的擔憂，人們也擔心它們在醫療診斷、法律決定甚至政府政策中的使用。

“深度僞造”（deepfake），由人工智能(néng)創造的圖像和視頻，已經(jīng)在媒體、娛樂和政治中出現了。在此之前，創造深度僞造的内容需要相當多的計算技能(néng)，然而，現在幾乎任何人都(dōu)能(néng)創造它們。OpenAI已經(jīng)試圖通過(guò)在每張DALL-E 2的圖像上“打上水印”來控制虛假圖像，但未來可能(néng)需要更多的控制手段——特别是當生成(chéng)式視頻創作成(chéng)爲主流時。

生成(chéng)式人工智能(néng)還(hái)提出了許多有關何爲原創和專有内容的問題。由于創建的文本和圖像與以前的任何内容都(dōu)不完全一樣(yàng)，AI系統供應商認爲人工智能(néng)生成(chéng)内容屬于提示的創造者。但它們顯然是用于訓練模型的先前文本和圖像的衍生品。不用說，類似技術將(jiāng)在未來幾年爲知識産權律師提供大量工作。

在隐私方面(miàn)，LLMs本質上是個人化的，它收集大量的用戶數據，以便能(néng)夠有效地預測對(duì)話的長(cháng)度、主題和軌迹。此外，每次與 ChatGPT 這(zhè)樣(yàng)的工具的互動都(dōu)有一個唯一的标識符——有使用它的人的登錄軌迹。因此，個人對(duì) ChatGPT 的使用并非真正的匿名，這(zhè)就(jiù)引發(fā)了有關 OpenAI 保留敏感數據的問題。圍繞著(zhe)數據的收集、存儲和使用，必須進(jìn)行一系列的深思熟慮，以便安全地使用LLMs。

LLMs與其他人工智能(néng)技術一樣(yàng)受到監管和合規框架的約束，但随著(zhe)它們變得越來越普遍，可能(néng)會(huì)提出新的問題：如何以符合《通用數據保護條例》（GDPR）和其他法規的方式使用此類工具。由于 ChatGPT 處理用戶數據以生成(chéng)響應，OpenAI 或者出于自身目的而依賴 ChatGPT 的實體可能(néng)被(bèi)視爲 GDPR 下的數據控制者，這(zhè)意味著(zhe)它們應該獲得處理用戶個人數據的合法依據（例如用戶的同意），并且必須告知用戶它們在從事(shì)何種(zhǒng)由ChatGPT支持的數據處理活動。

所有這(zhè)些潛在的問題強調了爲什麼(me)科學(xué)家、研究人員和其他使用LLMs的人或組織在將(jiāng)其投入實際使用之前，從多個角度積極審查大型語言模型的影響是至關重要的。如果深思熟慮地考量倫理方面(miàn)的影響，再加上嚴格的安全措施，大型語言模型就(jiù)可以成(chéng)爲有價值的工具，而不會(huì)破壞用戶的信任或損害完整性。

此外，雖然大型語言模型的趨勢仍在繼續，但重要的是要注意，更大并不總是意味著(zhe)更好(hǎo)。大型語言模型可以很好(hǎo)地進(jìn)行随心所欲的創造性互動，但過(guò)去十年的發(fā)展告訴我們，大型深度學(xué)習模型是高度不可預測的，使模型更大、更複雜并不能(néng)解決這(zhè)個問題。

像ChatGPT這(zhè)樣(yàng)的大型語言模型，具有與用戶進(jìn)行類似語言交流的能(néng)力，有可能(néng)成(chéng)爲交流和教育以及其他許多領域的強大工具。然而，一方面(miàn)其對(duì)社會(huì)的影響是巨大的；另一方面(miàn)其被(bèi)濫用的可能(néng)性也是非常真實的。因此，需要更多的研究來認識大型語言模型的社會(huì)後(hòu)果及對(duì)我們生活的影響。随著(zhe)人工智能(néng)和數據科學(xué)越來越多地融入日常生活中，重要的是要加強這(zhè)類技術的倫理考量，并尊重我們的數據和隐私賦予我們的個人權利。該領域的領導者必須共同努力，确保大型語言模型的使用是負責任的，符合人類的最佳利益。