王小川：大模型的機會不一定落在大廠里

清華大學東門外不遠的搜狐網(wǎng)絡大廈，曾是搜狗的辦公室，在今年大模型創(chuàng)業(yè)熱潮中，王慧文成立的光年之外就在這里辦公；而原搜狗CEO王小川，則將百川智能的創(chuàng)業(yè)地選在了與其一路之隔的賽爾大廈。站在這里，甚至可以看清對樓窗邊的辦公環(huán)境。

不到一年時間，大模型創(chuàng)業(yè)已經(jīng)幾近紅海。隔著馬路的另一面，光年之外創(chuàng)始人王慧文因健康問題離崗退出，將創(chuàng)立不到半年的公司賣給美團，引起了外界對于創(chuàng)業(yè)者心理健康的關(guān)注。

8月8日下午，在賽爾大廈17層的一間會議室里，當王小川被問及此事以及“大模型創(chuàng)業(yè)壓力大不大”時，他對第一財經(jīng)等媒體說：“我聽說慧文是特別負責任的。他是國內(nèi)幾個主流做大模型里唯一一個沒有強勢的技術(shù)背景的，對他的挑戰(zhàn)比其他家要大。工作中要做大量的技術(shù)決策、招什么人、走什么技術(shù)路線圖、需要多少計算資源……一定會面臨非常多的決策壓力。”

王小川說，“不是做大模型壓力大，是沒有技術(shù)背景做決策壓力會大很多，但是技術(shù)足夠的話，其實挺愉悅的，我們的進度是在一個快樂的狀態(tài)?！?/span>

搜索雖晚，但趕上AI好時候

從今年4月下場殺入大模型到現(xiàn)在，王小川說，比當年搜索引擎時候的成就感更大。

過去，搜狗想從搜索轉(zhuǎn)問答，搜索輸入法想做續(xù)寫，盡管當時搜狗已經(jīng)做了百億的參數(shù)模型，把全身武藝都用上了，但始終不能有效地把搜索變成問答，實現(xiàn)不了今天大模型才能達到的效果。他說，今天有了大模型的加持，在搜索增強方面將大有可為。

而對于加入如火如荼的“百模大戰(zhàn)”，他回應：確實每個有技術(shù)理想的企業(yè)都想下場去試一下。

ChatGPT火了，有朋友對王小川說，“你特別適合做大模型”，因為這正好需要用到過去搜索、輸入法等相關(guān)的AI能力。他說當時回想了一下，自己干了20年搜索，從來沒人說：“小川，你適合做搜索?！?/span>

當年王小川創(chuàng)立搜狗做搜索，比百度晚了四年，因此在行業(yè)里一直處于跟隨的位置，做創(chuàng)新突破特別難，現(xiàn)在趕上了信息時代走向智能時代，大家站在同一個起跑線上，新的機會來了。

王小川說，其實自己也有壓力，尤其在一開始，要抵制動作走形的地方。比如有投資人說，搜索公司不適合做大模型，因為谷歌也沒干成，做搜索的人可能已經(jīng)“腦子銹了”、思維固化了，再去做大模型可能是個減分項。還有人認為在新公司里有“老搜狗人”的加入，不夠開放，建議他要多招90、95后海歸回來的“小鮮肉”。這些壓力其實不是來自內(nèi)生，而是市場審美理念的不同。

他說，搜索這個模式存在太久了，以至于大家慢慢忘了搜索本身也是AI，且搜索和輸入法本身就是把語言AI用到極致。百川智能技術(shù)聯(lián)合創(chuàng)始人陳煒鵬對記者舉例，做大模型的第一個環(huán)節(jié)是數(shù)據(jù)從哪來，中文互聯(lián)網(wǎng)網(wǎng)頁中的數(shù)據(jù)高達萬億、百億量級，搜狗此前的數(shù)據(jù)積累，能讓他們知道哪里有好的數(shù)據(jù)，并且將這些數(shù)據(jù)進行收集、處理、識別，在這一領域，百川智能目前的團隊有較強的技術(shù)積累和方法論。此外從人才來看，搜狗原有團隊有著較強的戰(zhàn)斗力，搜狗原COO茹立云、原CMO洪濤相繼加入進來，以及有更多年輕人才的加入，形成了目前百川智能的人才梯隊。

從4月宣布下場做大模型后，百川智能動作迅速。6月發(fā)布70億參數(shù)開源大模型Baichuan-7B，7月發(fā)布130億參數(shù)開源大模型Baichuan-13B。

這兩款大模型引擎，并沒有立刻商業(yè)化，王小川說首先是填補空白，展現(xiàn)自家的技術(shù)實力，相信伴隨著開源后不斷的技術(shù)迭代，商業(yè)模式水到渠成。他透露，目前有150余家企業(yè)申請使用百川智能大模型。

“誰是最好的大模型”還沒結(jié)論

在發(fā)布兩款開源大模型后，今日王小川發(fā)布了百川智能新模型Baichuan-53B，不同的是，這一次是參數(shù)規(guī)模更大（530億）的閉源大模型。

在王小川的電腦頁面上，向百川大模型提問的對話一幕幕閃過，比如“以古龍的風格寫個朋友圈”、“羅剎海市的歌詞是什么”、“300P算力相當于多少張A100”、“講講卡夫卡的名作《城堡》”等等。他說，這次大模型的文科能力更好，比如在理解古詩、生成有個性化風格的文章等方面。

目前的大模型有以OpenAI GPT-4為代表的閉源大模型和以Meta Llma2為代表的開源大模型兩股力量。后者正在快速地拉攏“朋友圈”，對前者形成有力沖擊。

談到最近熱議的開源與閉源之爭時，王小川說，開源確實容易“建立人品”，“朋友多多的”，讓大家迅速了解和評測；同時開源也是為商業(yè)化做準備，如果大家用起來覺得不錯，當需要更好的服務和更大的參數(shù)時，可以探索進一步的商業(yè)化路徑。

但是他認為，開源和閉源并不像手機中iOS或者安卓操作系統(tǒng)只能二選一，從tob角度，開源閉源其實都需要。他預計未來80%的企業(yè)會用到開源的大模型，因為閉源沒有辦法對產(chǎn)品做更好的適配，或者成本特別高，閉源可以給剩下的 20%提供服務。二者不是競爭關(guān)系，而是在不同產(chǎn)品中互補的關(guān)系。

王小川還提到，在6月發(fā)布第二款大模型后第二天就飛去硅谷。第一個收獲是對齊認知，交流技術(shù)思路，到底走開源還是閉源……第二個收獲是美國做技術(shù)很牛，但是應用能力可能有短板。

他說，在硅谷和 OpenAI 交流時，他們講理想時滿眼放光，走得非常遠，比如他們現(xiàn)在做 GPT-4 需要 2 萬多張卡做計算，國內(nèi)都沒見過這么大的規(guī)模。對方還很自豪地說正在設計把 1000 萬顆 GPU 連在一塊做計算模型?！耙烙ミ_一年才生產(chǎn)100萬顆。”而在怎么去做應用、做產(chǎn)品上，這可能是OpenAI的短板。

這讓王小川意識到，光跟著OpenAI走是不夠的，理想上確實拼不過，但是在落地上，更有底氣了。他說在去硅谷之前自己認為，是“在理想上比OpenAI慢半步，在落地上比OpenAI快半步”。從硅谷回來之后改成了：“在理想上比OpenAI一半步，在落地上快三步?！?/span>

而在對比中美大模型時，王小川還提到，美國閉源大模型的頭部格局幾乎已經(jīng)定，比如OpenAI、Anthropic的Claude，Google也拿到門票，已經(jīng)沒有太多懸念，投資人也不會再投。

但中國的情況不一樣，面對轟轟烈烈的“百模大戰(zhàn)”，王小川認為，錢是重要的是，最終決定的力量還是人和團隊、組織能力。大廠錢多、人多、算力多，但組織效率通常不一定夠好，創(chuàng)業(yè)公司的組織效率可能好、也可能不好?！爸袊l做了最好的大模型，還沒有結(jié)論，大家都在爭取機會，而且不一定落在大廠里?！?/span>