當人們驚嘆于ChatGPT的聰明時,不要忽略它的昂貴。這款應用的走紅,正把科技投資推向更高的山峰,資金和智力還要更集中地涌向GPU等硬件賽道。由于大模型持續迭代升級、應用加速延伸以及云服務器急需擴容,AI芯片的掘金人正在聚集。(杭州芯片設計招聘)
2月9日,21世紀經濟報道記者在采訪中了解到,ChatGPT的爆火令AI芯片開發者意識到,性能競爭還將向進一步白熱化發展,“昂貴”的烙印越打越深,大語言模型的單次迭代硬件成本在突破3000萬元人民幣水平后,還在向更高攀爬。在市場格局方面,狂熱的市場可能會令海外壟斷進一步加劇。
亦有國產GPU創業人士向記者表示,國產通用型GPU開發仍在繼續,并希望借助此次產業鏈協同實現突破。
AI芯片加速研發
2022年11月30日上線的ChatGPT,于短短兩個月內獲得1億用戶,是芯片領域在2023年面臨的第一個重要課題。記者從多家國產運算芯片開發商處了解到,芯片研發者正高度關注ChatGPT的市場吸引力,不少公司將其作為研究課題組織專門研究,以求及時把握相關商機。
“ChatGPT應該是基于GPT-3下一代模型,也就是市面上傳聞的GPT-3.5推出的。”在一家知名國產GPU開發商擔任產品經理的陸明向21世紀經濟報道記者介紹,他近期致力于對ChatGPT的課題研究。
芯片研發商關注ChatGPT,既因為這可能會改變產品定義,也因為預期市場對AI芯片的采購會迎來增量。據介紹,ChatGPT的背后模型是GPT(Generative Pre-Training,生成式預訓練模型),GPT這個名字展現了這款模型偏向“生成文本和代碼”的屬性。陸明指出,GPT至今已經公開了三次迭代,其間,由于GPU芯片的飛速發展,三次迭代之間具有“時間短、性能增速快”的特點。
細數之下,第一代GPT-1誕生于2018年6月,訓練參數量為1.2億個,數據庫規模為5GB;僅時隔半年之后,第二代GPT-2誕生于2019年2月,訓練參數量為15億個,數據庫規模為40GB;第三代GPT-3誕生于2020年5月,訓練參數量飛躍至1750億個,數據庫規模達到45TB。可以看到,第三代模型較第二代的訓練參數增長超過100倍,數據庫規模則增長超過1000倍。
近年來,從AI方向切入GPU開發,成為了不少中外創業者的選擇。無論是在美國還是中國市場,創業型GPU開發商往往能成為資本的寵兒。不過,由于科技巨頭自從去年第四季度開始財務表現下滑,硬件行業投資也隨之降溫。不過2023年伊始,ChatGPT又給行業帶來了新的話題。
眼下,ChatGPT的爆火正呼喚更強性能GPU的面世,而這將促使資金加快流入行業。“下一代大模型的參數量和數據庫規模,還將比上一代實現百倍、千倍的升級,這意味著如果底層的芯片性能止步不前,就會令訓練時長長達幾年,但顯然業內需要在半年或一年內就推出下一代更強的模型。”陸明稱。
巨頭林立成本高昂
眼下,無論是大語言模型開發還是底層芯片供應,市場主流玩家仍然是國際巨頭。為了在格局演變中爭奪優勢地位,巨頭公司的“燒錢”游戲越來越旺。
21世紀經濟報道記者從接近美國GPU龍頭開發商英偉達的人士了解到,該公司正是當前全球主流大語言模型開發者的主要芯片供應商。
“英偉達正向全球主流的人工智能算法開發商提供芯片硬件,包括微軟、谷歌、Meta等。產品迭代也在有序進行中,去年推出了最新的數據中心芯片,改善了架構。”上述人士稱。
近期,科技巨頭爭相涌入ChatGPT的競爭中,硝煙四起,但在上述人士眼中,眼下人工智能研究市場上的各大巨頭此前維持著“強合作”關系。以在外界眼中正在“打架”的谷歌和微軟為例,兩者事實上都基于谷歌的Transformer架構進行大模型開發。“不過在差異性的應用展開后,競爭可能會升級。”該人士評價稱。
想要留在ChatGPT戰場上,意味著更大規模的“燒錢”。據業內估算,大語言模型的單次訓練硬件成本已經突破3000萬元人民幣,加上投入的人力、智力、訓練時間成本,各大巨頭需要準備百億美元,直到真正的市場贏家勝出。
據Lambda Labs首席科學官Chuan Li介紹,擁有1750億個參數的GPT-3因其巨大的每秒浮點計算量,單次訓練成本達到460萬美元。陸明也向記者證實,眼下最主流的英偉達A100芯片,單次訓練的使用量應達到數百片,成本在3000萬元人民幣左右。此外,服務器擴容和硬件升級的成本也將占據相當大的比例,一方面,“自從2月7日開始,ChatGPT因訪問量巨大,回復速度已經大大減慢”,另一方面,“維護GPU芯片的成本也非常高,芯片使用是有壽命的,損耗幾次就要另作他用。”陸明稱。
以上還僅僅是大語言模型訓練的非人工成本,更大的成本集中在人力上。“迭代模型的間隔已經縮短到半年,招募人才、改善算法的投資會持續高昂。”陸明稱。
今年1月23日,微軟宣布將向ChatGPT開發商OpenAI追加數百億美元的投資,令人們覺得這些資金將涌向語言類機器人。不過,OpenAI不僅是ChatGPT的開發商,旗下也擁有圖形人工智能“明星”產品DALL·E。業內相信,微軟將分數年、數批向ChatGPT進行后續投資,但這個領域的“彈藥”儲備提升到百億美元已是不爭事實。
中國玩家如何參與?
短短幾日,多家中國公司宣布加入ChatGPT戰場。
中國的自主研發芯片將面臨怎樣的機會?市場分析認為,國產運算類芯片仍然面臨嚴峻的發展阻撓,但商業化前景得到進一步驗證,仍是芯片開發者的“好消息”。
其中,百度和阿里計劃推出生成式語言機器人應用,而京東計劃將在電子商務客服中應用相關技術。據悉,有道AI技術團隊已投入到ChatGPT同源技術(AIGC)在教育場景的落地研發中,目前該團隊已在AI口語老師、中文作文批改等細分學習場景中嘗試應用。該公司內部人士表示,這次技術更新是一次顛覆性的創新,但在細分場景的應用過程中實際上并不需要這樣一個大而全的模型,更需要一些縱深向的探索。
不少市場分析認為,中國互聯網公司擁有海量數據,這是進行自然語言開發的優勢。不過,關心中國科技自主創新的人士有更強烈的心聲:期待這個“科技爆點”在中國形成更長的產業鏈閉環。
海銀資本創始合伙人王煜全在2月7日發聲稱,中國不僅需要產生自主“大模型”,也應當在人工智能上進行芯片技術的“彎道超車”。
數位從事國產GPU開發的人士向21世紀經濟報道記者表示,在ChatGPT爆火的開端,國外芯片開發商仍然具有巨大的優勢,而中國芯片開發商面臨著巨大的阻力,這是由歷史技術積淀、市場關系和外部環境共同造成的。
不過,王煜全認為,在系統芯片異構計算時代,能夠號召擁有數據的機構參與預訓練,然后與擁有芯片計算架構的公司深度合作,這樣芯片的制造水平未必是最好,但芯片訓練的模型是最好的。他在采訪中建議,芯片企業、人工智能企業和應用企業三方應加強合作。(杭州芯片設計招聘網)
這意味著,身處人工智能落地的巨大市場、擁有本土算法公司的產業鏈網絡,國產芯片廠商仍擁有AI芯片的入場券。
來源:21世紀經濟報道