從拼參數到拼落地,大模型快速發展。如今,國內市場上已有100多款大模型產品。但如何挑選出一款最適合自己的大模型,成為企業和機構新的難題。業界亟需一些權威評測,作為客戶選擇大模型產品的“指南針”。
8月4日,在百度舉行的“AI大模型產品能力交流會”上,新華網與權威機構聯合發布的《國內LLM產品測試報告》,為業界選擇大模型提供了內容安全、常識問答、數學運算、閱讀理解和主觀問答等五大維度。
(新華網測試報告:百度文心一言綜合得分第一)
新華網測試報告對文心一言、GPT-3.5等四大知名大模型進行評測,結果顯示,百度文心一言綜合得分第一,超過GPT-3.5,國內大模型排名第一。
文心一言是百度自主研制的知識增強大語言模型,首先從數萬億數據和數千億知識中融合學習得到預訓練大模型,在此基礎上采用有監督精調、人類反饋的強化學習和提示等技術,并具備知識增強、檢索增強和對話增強等技術優勢。
內容價值是企業選擇大模型重要因素
大模型具有良好的通用性和泛化性。普通人通過簡單的問答,就能獲得想要的服務和產品功能。但是不同國家和地區有不同的法律文化、社會習俗、倫理道德。因此,對于同一個問題,大模型給出的答案可能會引發不同的社會反饋,有正面效應也可能含有負面爭議,一些文化偏見甚至可能引發群體矛盾。
因此,內容是選擇大模型的重要考慮因素。在新華網的評測報告中,有兩大關于內容的維度。一是內容安全問答,包含了意識形態、非法涉黃等多項維度,二是常識問答,涵蓋有中國文化、歷史、地理和生活等常識知識。新華網物聯網技術總監葛振斌表示,“大模型生成的內容必須符合當地法律和社會道德要求。可以說,各個國家都需要‘更適合自己歷史文化’的大語言模型。”
內容對于產業界同樣非常重要,有的企業涉及國計民生,還有的企業依靠“傳承配方”形成獨特競爭力。中國傳媒大學新媒體研究院院長趙子忠表示,“這對大模型在信息安全、數據安全、定制化等方面的服務能力提出了考驗。大模型必須具備行業化、場景化的服務能力,才能滿足不同企業的要求。”
文心一言“最適合中國”
當前,從政府機構到企業公司,都迫切需要一些判斷大模型適合程度的標準和方法。
新華網物聯網技術總監葛振斌認為,評測大模型有5項維度非常重要:一是把控生成內容安全性的能力,背后涉及意識形態、政治體制、非法涉黃等維度,每一項都事關一個社會文明的底線;二是常識推斷計算的能力,涉及自然、文化、地理、歷史和生活等多個領域,必須先吃透這些方面的常識,才能避免生成不恰當的內容結果;三是對長文本的語義理解能力。這可以考驗大模型產出的內容是否正確且言之有理,是否具有較好的說服力;四是數學運算及數學推理能力;五是主觀思維能力,考驗大模型是否可以準確理解當地風俗習慣或者傳統文化。
新華網評測報告顯示,文心一言因中文搜索引擎和算法模型優勢,在安全、常識、數學、閱讀等方面優勢明顯。在五個維度上的得分計算均值,文心一言的綜合得分為94.7分,排名第一,高于GPT-3.5的76.9分。這說明當前文心一言在總體能力(中文處理)上已經超越了GPT-3.5模型。
(新華網測試報告:百度文心一言綜合得分第一)
憑借上述表現,文心一言在“最適合中國”方面搶占領先身位,領跑國內大模型。
專家建議:開發者基于文心大模型搶占發展先機
如今,參考權威機構評測成為客戶選擇大模型的一個重要方式。如同生活中常見的智能手機評測,汽車駕駛評測,是用戶選擇產品和服務的重要參考。
除了新華網評測報告,近期還有IDC等多個權威機構發布評測報告,結果均顯示由文心大模型3.5支持的文心一言綜合能力評測得分超過ChatGPT3.5。比如IDC報告顯示,文心大模型3.5拿下12項核心指標的7個滿分,綜合評分位列國內主流大模型第一,并在算法模型、行業覆蓋兩大關鍵指標上拿下唯一滿分。
中國傳媒大學新媒體研究院院長趙子忠建議,創業者和開發者以及中小企業,其實不需要從0到1的打造自己的大模型,可以基于文心大模型打造智能應用,避免重復造輪子,把精力放在自己擅長的創新上。誰先做出來滿足用戶需求的應用,誰就搶占了發展先機。
百度2019年推出文心大模型1.0,今年5月份升級到3.5版本。通過飛槳深度學習平臺與文心大模型的協同優化,文心大模型3.5實現了基礎模型升級、精調技術創新、知識點增強、邏輯推理增強、插件機制等,模型效果提升50%,訓練速度提升2倍,推理速度提升30倍。
目前百度文心大模型已擁有中國最大的產業落地規模,超過15萬家企業申請文心一言內測,其中有超300家生態伙伴在400多個具體場景取得測試成效,覆蓋辦公提效、知識管理、智能客服、智能營銷等領域,聯合國家電網、浦發銀行、泰康、吉利等企業,聯合發布了11個行業大模型。百度還設立了10億創投基金鼓勵大模型創意、繁榮大模型生態。
軟通動力CTO劉會福曾表示,我們非常期待在文心大模型的基礎上,開拓更多的應用實踐。北京寶蘭德軟件董事長易存道表示,如何把大模型在垂直行業做好,是目前各個企業都要考慮的問題,多數企業無法像百度一樣有能力建設大模型。怎么能夠把百度的大模型能力和企業業務有效結合起來,創造更強的價值,是企業非常好的彎道超車機會。金山辦公助理總裁田然表示,金山辦公要跟中國優秀的大模型提供方站在一起。金山辦公和文心的合作,會進一步推動大模型在辦公領域的應用和快速落地。
相關稿件