如何看待OpenAI開放ChatGPT商用API？

激石Pepperstone(http://hysxdzy.com/)報道：

近日OpenAI發(fā)布了Beta版本的ChatGPT API，并按照使用量收費，單次調(diào)用價格亦較前一代下降90%。我們分析認(rèn)為，OpenAI將其在千億參數(shù)模型中所學(xué)習(xí)到的能力通過類似于蒸餾（distillation）的方式濃縮進(jìn)了百億參數(shù)的模型中，并有效降低了模型在推理端成本，從而找到可以盈利的商業(yè)化途徑。我們判斷這一模式亦有望在未來成為各大AI公司在提供AI服務(wù)時的商業(yè)化范式，推動更多AI產(chǎn)品在中短期的商業(yè)化落地，從而在全球范圍內(nèi)加速AI產(chǎn)業(yè)化進(jìn)程。我們持續(xù)看好ChatGPT及AI領(lǐng)域的相關(guān)產(chǎn)業(yè)投資機會，并建議持續(xù)聚焦芯片、算力設(shè)施、模型架構(gòu)&工程實踐、應(yīng)用場景等核心環(huán)節(jié)。

事件背景：

北京時間2023年3月2日凌晨，OpenAI發(fā)布了Beta版本的ChatGPT API，并以收費形式提供給用戶使用。根據(jù)OpenAI官網(wǎng)介紹，本次開放的API背后模型被命名為GPT-3.5 turbo，使用了與ChatGPT相同的模型。此外，與ChatGPT API一同開放的模型還有聲音轉(zhuǎn)文字模型Whispe的API。根據(jù)OpenAI官網(wǎng)，截至北京時間3月3日，目前已經(jīng)有五家公司宣布接入了ChatGPT API，分別為即時通訊軟件Snapchat、學(xué)習(xí)平臺Quizlet、購物網(wǎng)站Instacart、購物軟件 shop以及教育軟件speak。

OpenAI商業(yè)模式：以LLMaaS（Large Language Model as a Service）提供云端推理服務(wù)，通過用戶訂閱以及用量計費。

根據(jù)openAI CEO Sam Altman在2022年12月底的采訪，目前OpenAI2022年的總收入約為1億美元，并預(yù)計在2024年達(dá)到10億美元。目前OpenAI的主要收入來源包括訂閱費、API許可費、與微軟深度合作所產(chǎn)生的商業(yè)化收入等。在API許可費方面，OpenAI將GPT-3等模型開放給別的商業(yè)公司使用，根據(jù)用量收取費用（文字類模型按照文字生成量、圖片類模型按照圖片生成張數(shù)）。在調(diào)用過程中，其他公司并不會接觸模型的細(xì)節(jié)與源代碼，而是通過OpenAI提供的API接口進(jìn)行調(diào)試以及使用。本次公布的ChatGPT API接口被OpenAI定價為0.2美分每1000tokens（約合500-600單詞），相比于前一代的Davinci模型成本下降了90%。

ChatGPT成本優(yōu)化：主要通過“蒸餾”提取小模型方式實現(xiàn)模型參數(shù)減少、計算復(fù)雜度降低等。

從本次OpenAI對ChatGPT API的定價出發(fā)，結(jié)合我們之前對ChatGPT模型成本的測算，0.2美分每1000tokens的定價對應(yīng)為百億參數(shù)級別的模型。而ChatGPT在訓(xùn)練過程中所使用得Reward Model（獎勵模型，記錄了人類偏好）應(yīng)為千億參數(shù)級別的模型，這也意味著OpenAI將其在千億參數(shù)模型中所學(xué)習(xí)到的能力通過類似于蒸餾（distillation）的方式濃縮進(jìn)了百億參數(shù)的模型中。根據(jù)截至目前ChatGPT API用戶在推特等社交媒體的反饋結(jié)果看，這個百億參數(shù)模型的能力以及追平甚至超越了先前的大尺寸模型。通過這種蒸餾提煉的方法，OpenAI有效降低了模型在推理端的成本，找到可以盈利的商業(yè)化途徑。

未來大模型商業(yè)化范式展望：先預(yù)訓(xùn)練完整大模型，而后通過蒸餾提取小模型等手段降低推理成本，并服務(wù)各類細(xì)分場景需求。

OpenAI團隊本次通過開放ChatGPT API商用所展現(xiàn)出更加成熟的對模型成本優(yōu)化的流程：即先訓(xùn)練千億參數(shù)級別甚至更大的大語言模型，再通過蒸餾等技術(shù)手段將大模型學(xué)習(xí)到的能力濃縮到小模型中開放給客戶商用。根據(jù)小模型所服務(wù)的垂直領(lǐng)域不同，也會在小模型之上再進(jìn)行微調(diào)（Fine tune）。根據(jù)我們之前報告的測算，大語言模型在訓(xùn)練端的成本消耗遠(yuǎn)遠(yuǎn)不及推理時的消耗，訓(xùn)練一個千億參數(shù)級別的大模型僅需要耗費約一個月的時間以及150萬美元。通過這一流程OpenAI避免了超大語言模型在推理時成本過高的問題，我們認(rèn)為這一流程也將在未來成為各大AI公司在提供AI服務(wù)時的商業(yè)化范式，模型蒸餾過程中所損失的精度對于大多數(shù)用戶來說并不那么敏感。OpenAI本次在模型技術(shù)流程上的改良在中短期維度加速更多AI產(chǎn)品在商業(yè)化落地，并加速刺激除聊天外更多領(lǐng)域的AI需求。?????????