OpenAI的CEO：構(gòu)建龐大AI模型的時(shí)代已經(jīng)結(jié)束

激石Pepperstone(http://hysxdzy.com/)報(bào)道：

OpenAI研發(fā)的聊天機(jī)器人ChatGPT的驚人功能引發(fā)了人們對(duì)人工智能的新興趣和投資。但上周晚些時(shí)候，OpenAI的首席執(zhí)行官Sam Altman警告說，構(gòu)建龐大AI模型、研發(fā)生成式AI機(jī)器人的時(shí)代已經(jīng)結(jié)束。

近年來，OpenAI通過采用現(xiàn)有的機(jī)器學(xué)習(xí)算法并將其擴(kuò)展到以前無(wú)法想象的規(guī)模，在與語(yǔ)言一起工作的人工智能方面取得了一系列令人印象深刻的進(jìn)步。GPT-4是這些項(xiàng)目中最新的一個(gè)，它可能是使用數(shù)萬(wàn)億個(gè)文本單詞和數(shù)千個(gè)強(qiáng)大的計(jì)算機(jī)芯片進(jìn)行訓(xùn)練的，構(gòu)建這一龐大的AI模型耗資超過1億美元。

但該公司的首席執(zhí)行官Sam Altman表示，在AI領(lǐng)域進(jìn)一步的進(jìn)步并不是讓這類模型變得更大：

我認(rèn)為我們正處于構(gòu)建大型AI模型時(shí)代的末期，未來，我們會(huì)以其他方式讓這些模型變得更好。

有分析認(rèn)為，Altman的這番表態(tài)意味著，在當(dāng)前各科技公司都在開發(fā)和部署新AI算法、并攀比其模型規(guī)模的競(jìng)賽中，出現(xiàn)了出人意料的轉(zhuǎn)折。自O(shè)penAI于去年11月推出ChatGPT以來，微軟已利用底層技術(shù)在其Bing搜索引擎中添加了一個(gè)聊天機(jī)器人，谷歌也推出了一個(gè)名為Bard的聊天機(jī)器人來與之競(jìng)爭(zhēng)。許多公司紛紛推出類似的聊天機(jī)器人以顯示自己不甘人后。

與此同時(shí)，包括Anthropic、AI21、Cohere和Character.AI在內(nèi)的眾多資金充足的初創(chuàng)公司正在投入大量資源來構(gòu)建更大的算法，以努力趕上OpenAI的技術(shù)。

同時(shí)有分析認(rèn)為，Altman的這一表態(tài)可能意味著，GPT-4或許是OpenAI使模型更大并為它們提供更多數(shù)據(jù)的戰(zhàn)略中出現(xiàn)的最后一個(gè)重大進(jìn)展。Altman并沒有說什么樣的研究策略或技術(shù)可能會(huì)取代它。在描述GPT-4的論文中，OpenAI估計(jì)這種擴(kuò)大模型規(guī)模的策略將會(huì)有邊際效益遞減的趨勢(shì)，Altman也強(qiáng)調(diào)，受制于數(shù)據(jù)中心數(shù)量和建造速度，開發(fā)更大規(guī)模的AI模型也存在物理限制。

Cohere的聯(lián)合創(chuàng)始人Nick Frosst曾在谷歌從事AI方面的工作，他說Altman認(rèn)為增加規(guī)模不會(huì)永遠(yuǎn)奏效的想法聽起來是對(duì)的。他也認(rèn)為，Transformer（GPT-4及其競(jìng)爭(zhēng)對(duì)手的核心機(jī)器學(xué)習(xí)模型類型）的進(jìn)展已經(jīng)沒有什么擴(kuò)展的可能性：

有很多方法可以讓Transformer變得更好、更有用，而且很多方法不涉及向模型添加參數(shù)。新的AI模型設(shè)計(jì)或架構(gòu)，以及基于人類反饋的進(jìn)一步調(diào)整是許多研究人員已經(jīng)在探索的有前途的方向。

這些語(yǔ)言模型中的第一個(gè)GPT-2于2019年發(fā)布。它的最大形式有15億個(gè)參數(shù)，用于衡量其原始人工神經(jīng)元之間可調(diào)節(jié)連接的數(shù)量。當(dāng)時(shí)，OpenAI的研究人員發(fā)現(xiàn)，擴(kuò)大規(guī)模可以使模型更加連貫。因此，2020年發(fā)布的GPT-3規(guī)模更大，參數(shù)數(shù)量高達(dá)1750億。該模型生成詩(shī)歌、電子郵件和其他文本的廣泛能力讓投資者眼前一亮，并引發(fā)了近期的AI熱潮。

盡管OpenAI對(duì)GPT-4的大小和內(nèi)部工作原理保密，但它的一些人工智能很可能已經(jīng)來自于超越規(guī)模的觀察。一種可能性是它使用了一種稱為強(qiáng)化學(xué)習(xí)的方法和人類反饋，用于增強(qiáng)ChatGPT。它涉及讓用戶判斷模型答案的質(zhì)量，以引導(dǎo)它提供更有可能被判斷為高質(zhì)量的響應(yīng)。

GPT-4的非凡能力讓一些專家感到震驚，并引發(fā)了更多爭(zhēng)論。包括馬斯克在內(nèi)的科技界領(lǐng)袖最近寫了一封公開信，呼吁暫停六個(gè)月的任何比GPT-4更強(qiáng)大的AI開發(fā)。

Altman證實(shí)他的公司目前沒有開發(fā)GPT-5：

這封信的早期版本聲稱OpenAI目前正在訓(xùn)練GPT-5，我們沒有，而且一段時(shí)間內(nèi)也不會(huì)。?????????