3 月 16 日,李彥宏現(xiàn)場(chǎng)展示了「文心一言」在五個(gè)場(chǎng)景中的應(yīng)用案例,并分享了大模型帶來(lái)的三大產(chǎn)業(yè)機(jī)會(huì)。
3 月 16 日,百度文心一言如約而至。在 ChatGPT 發(fā)布三個(gè)月后,國(guó)內(nèi)終于有了第一款可以對(duì)標(biāo)的產(chǎn)品。
文心一言是基于文心大模型推出的生成式對(duì)話產(chǎn)品。從今年 2 月消息外泄開(kāi)始,這個(gè)項(xiàng)目就備受外界矚目。在百度集團(tuán)內(nèi)部也上升為過(guò)去兩個(gè)月里優(yōu)先級(jí)最高的項(xiàng)目,并由 CTO 王海峰博士親自掛帥。
李彥宏在現(xiàn)場(chǎng)展示了文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文語(yǔ)境下典故理解、多模態(tài)信息生成等不同場(chǎng)景下的案例。
而對(duì)于目前文心一言的性能,李彥宏也坦言這類(lèi)語(yǔ)言大模型的門(mén)檻非常高,現(xiàn)在的表現(xiàn)不算完美,會(huì)持續(xù)訓(xùn)練提升?!敢坏┯辛苏鎸?shí)的人類(lèi)反饋,文心一言的進(jìn)步速度會(huì)非??欤覀兌枷M禳c(diǎn)成長(zhǎng),早日為用戶(hù)和客戶(hù)創(chuàng)造價(jià)值?!?/p>
或許正是出于這樣的考慮,百度這次在宣傳上十分低調(diào),避開(kāi)了「發(fā)布」、「推出」這樣的字眼,將此次活動(dòng)命名為文心一言的「邀請(qǐng)測(cè)試會(huì)」。極客公園獲得內(nèi)測(cè)碼后,測(cè)試了一下古文理解能力,并與 ChatGPT 做了同題對(duì)比。在古文理解上,似乎它更擅長(zhǎng)一些。
生成式 AI 的浪潮才剛剛開(kāi)始,大模型不會(huì)是最后的王炸,而是這場(chǎng)游戲的牌桌。百度選擇在這個(gè)時(shí)間點(diǎn)發(fā)布,或許正是認(rèn)為相比一個(gè)完美的產(chǎn)品,先有一個(gè)牌桌讓中國(guó)的玩家們參與游戲,才是今天最重要的事情。
會(huì)上,李彥宏表示「文心一言」對(duì)標(biāo)的是 ChatGPT(亦即 GPT-3.5),甚至最新發(fā)布的 GPT-4。這意味著,文心一言需要在開(kāi)放域多輪對(duì)話的場(chǎng)景下,具有內(nèi)容創(chuàng)作、知識(shí)問(wèn)答、數(shù)學(xué)計(jì)算、寫(xiě)作代碼等不同能力。對(duì)標(biāo) GPT-4 則又增加了處理圖片、文字等不同維度信息的能力。
李彥宏演示了文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文語(yǔ)境下典故理解、多模態(tài)信息生成等不同場(chǎng)景下的實(shí)例。
在文學(xué)創(chuàng)作場(chǎng)景中,文心一言根據(jù)對(duì)話問(wèn)題將知名科幻小說(shuō)《三體》的核心內(nèi)容進(jìn)行了總結(jié),并提出了五個(gè)續(xù)寫(xiě)《三體》的建議角度。
在商業(yè)文案創(chuàng)作場(chǎng)景中,在「建立一個(gè)大模型為中小企業(yè)數(shù)字化升級(jí)的科技服務(wù)公司」設(shè)定下,文心一言完成了給公司起名、寫(xiě) Slogan、寫(xiě)新聞稿的創(chuàng)作任務(wù)。
在數(shù)學(xué)計(jì)算上,文心一言解答了經(jīng)典的「雞兔同籠」問(wèn)題。
此外,為了展示文心一言對(duì)中文語(yǔ)言的更強(qiáng)理解能力,李彥宏根據(jù)「洛陽(yáng)紙貴」這一典故進(jìn)行連續(xù)追問(wèn):洛陽(yáng)紙貴是什么意思?當(dāng)時(shí)洛陽(yáng)紙多貴;在經(jīng)濟(jì)學(xué)原理中;對(duì)應(yīng)的理論是什么;寫(xiě)一首藏頭詩(shī)。
在多模態(tài)的能力上,李彥宏請(qǐng)文心一言創(chuàng)作「世界智能交通大會(huì)」的海報(bào),并讓模型用四川方言回答「智能交通最適合哪個(gè)城市發(fā)展」,并將以上內(nèi)容再轉(zhuǎn)化為視頻。
信息的多模態(tài)轉(zhuǎn)換并非百度的新技術(shù),此前在百家號(hào)中,根據(jù)文章生成短視頻即來(lái)源于此。李彥宏表示,「生成視頻因?yàn)槌杀颈容^高,還沒(méi)有對(duì)所有用戶(hù)開(kāi)放,未來(lái)我們會(huì)逐步接入?!?/p>
李彥宏表示,文心一言針對(duì)中文理解,表現(xiàn)出更優(yōu)秀的能力。不過(guò)相對(duì)于英文、代碼場(chǎng)景的訓(xùn)練還是不夠好,接下來(lái)會(huì)繼續(xù)完善相關(guān)能力。
極客公園拿到內(nèi)測(cè)碼,和 ChatGPT(GPT3.5 版本)對(duì)比了一下古文理解能力。文心一言回答對(duì)了《項(xiàng)脊軒志》最后一句話的含義、出處、及作者。而 ChatGPT 只回答對(duì)了句意。
總體而言,今天的發(fā)布會(huì)更像宣布了一個(gè)時(shí)間點(diǎn),作為中國(guó)市場(chǎng)類(lèi) ChatGPT 產(chǎn)品空白的填充。而接下來(lái),基于真實(shí)用戶(hù)的數(shù)據(jù)反饋,模型將持續(xù)進(jìn)行迭代。
在上一輪深度學(xué)習(xí)熱潮中,百度開(kāi)始了對(duì)AI的技術(shù)投入,至今已經(jīng) 12 年。近十年,百度累計(jì)投入超過(guò) 1000 億元的研發(fā)開(kāi)支,核心研發(fā)投入占核心收入比例連續(xù) 8 個(gè)季度超過(guò) 20%。在全棧能力積累至今,是百度能夠在短短幾個(gè)月的時(shí)間內(nèi)集中攻關(guān),將文心一言完善到可以邀請(qǐng)外界測(cè)試的基礎(chǔ)。
7 年前,當(dāng) Alpha Go 戰(zhàn)勝李世石,產(chǎn)業(yè)內(nèi)外共同意識(shí)到了深度神經(jīng)網(wǎng)絡(luò)展示其強(qiáng)大威力。如今,發(fā)布于 2017 年的 Transformer 被認(rèn)為是比卷積神經(jīng)網(wǎng)絡(luò)更有延展性的架構(gòu)。
基于此架構(gòu),AI 從原來(lái)的識(shí)別模式發(fā)展到生成模式。形象而言,如果大模型是房屋,那么 Transformer 便是搭建房屋的「磚頭」。
然而,訓(xùn)練作為系統(tǒng)工程的大模型,遠(yuǎn)遠(yuǎn)比「搭建房屋」要復(fù)雜得多,不少有過(guò)訓(xùn)練模型經(jīng)驗(yàn)的從業(yè)者,更喜歡用「造火箭」來(lái)形容。因此,真正要實(shí)現(xiàn)模型的訓(xùn)練、數(shù)據(jù)閉環(huán)、持續(xù)迭代,需要全面技術(shù)能力和基礎(chǔ)設(shè)施支持。
在 ChatGPT 出現(xiàn)后,隨著微軟、谷歌進(jìn)入視野,首先人們意識(shí)到牌桌上巨頭的身影,以搜索業(yè)務(wù)起家的百度,也順理成章成為視野內(nèi)可見(jiàn)的第三位巨頭玩家。
不過(guò),可能很少有人知道,2012 年百度就曾和微軟、谷歌坐在同一張拍賣(mài)桌上。那時(shí)候,圖靈獎(jiǎng)得主、深度學(xué)習(xí)三巨頭之一的 Geoffrey Hinton 和 Open AI 總裁 Brockman 拍賣(mài)共同創(chuàng)立的技術(shù)公司,當(dāng)初四家競(jìng)標(biāo)企業(yè)之中的唯一中國(guó)身影,便是百度(另外三家分別是谷歌、微軟與 DeepMind)。
2013 年,百度建立了深度研究院(IDL),隨之在AI領(lǐng)域,開(kāi)始了從芯片、框架、模型算法、到應(yīng)用全面能力的布局。
在算力上,百度 2012 年即投建了陽(yáng)泉計(jì)算中心。2022 年,正式升級(jí)為「智算中心」。此次,陽(yáng)泉智算中心也專(zhuān)門(mén)搭建了一個(gè)機(jī)房支持「文心一言」訓(xùn)練。該中心最高支持每秒 400 億億次浮點(diǎn)運(yùn)算。當(dāng)模型投入使用之后,這里將與江蘇鹽城等地的其他幾座智算中心一起支持大模型的運(yùn)算。
文心一言的模型演進(jìn)始于 2019 年的 ERNIE 1.0,此后,百度不斷發(fā)布新模型。2021 年,發(fā)布了百億參數(shù)中英雙語(yǔ)的對(duì)話大模型 PLATO-X,以及知識(shí)增強(qiáng)大模型 ERNIE 3.0。
CTO 王海峰表示,文心一言是在 ERNIE 及 PLATO 系列模型的基礎(chǔ)上研發(fā)的?!肝男摹瓜盗心P褪前俣瘸掷m(xù)研發(fā)的一系列模型,而「文心一言」則是最新研發(fā),基于對(duì)話場(chǎng)景下的通用模型。
CTO 王海峰介紹「文心一言」相關(guān)技術(shù)|來(lái)源:百度
文心模型也一直在服務(wù)百度的產(chǎn)品。在模型的能力的加持下,百度搜索的問(wèn)題分類(lèi)準(zhǔn)確率提升 4.5%,新聞去重召回率提升 8%,視頻推薦召回率提升 10%,小度的意圖理解準(zhǔn)確率提升了 3.1%。
王海峰介紹,在文心一言的研發(fā)過(guò)程中,深度學(xué)習(xí)框架所提供的支持也頗為關(guān)鍵?!?span id="vqdm8ma" class="candidate-entity-word" data-gid="180800512">飛槳有效支撐了大模型的靈活開(kāi)發(fā)、高效訓(xùn)練和推理部署?!癸w槳平臺(tái),也是百度 AI 技術(shù)成果的重要部分。目前,飛槳是除了國(guó)際兩大主流框架 TensorFlow 和 PyTorch 之外,國(guó)內(nèi)影響最大的深度學(xué)習(xí)框架,平臺(tái)上開(kāi)發(fā)者數(shù)量已經(jīng)達(dá)到 535 萬(wàn),創(chuàng)建 AI 模型超過(guò) 67 萬(wàn)個(gè)。
生成式 AI 讓市場(chǎng)的需求爆發(fā)式增長(zhǎng),意味著除了底層模型的開(kāi)發(fā)人員之外,需要更多開(kāi)發(fā)者加入,進(jìn)行不同環(huán)節(jié)、不同層面的開(kāi)發(fā)工作。這也意味著基于大模型,會(huì)形成新的技術(shù)棧。
提到基于模型開(kāi)發(fā) AI 應(yīng)用,李彥宏表示「文心一言讓每一家公司離客戶(hù)更近,利用新的能力,做出更好的客戶(hù)體驗(yàn)」。服務(wù)客戶(hù),首先需要服務(wù)開(kāi)發(fā)者。當(dāng)學(xué)習(xí)框架與底層模型的訓(xùn)練適配,無(wú)疑能為更多開(kāi)發(fā)者基于通用模型繼續(xù)開(kāi)發(fā)應(yīng)用,提供更友好的環(huán)境。
演講中李彥宏坦言,目前文心一言的效果尚不完美。王海峰也表示,在對(duì)大模型的最終訓(xùn)練環(huán)節(jié)中,在人類(lèi)反饋的強(qiáng)化學(xué)習(xí)(RLHF)上做的還不夠充分。
但大模型的市場(chǎng)需求日益增長(zhǎng),國(guó)內(nèi)大模型的空白急需填補(bǔ),這是百度選擇在今天發(fā)布的原因之一。邀請(qǐng)測(cè)試會(huì)的最后一個(gè)環(huán)節(jié),百度正式宣布了向 C 端和 B 端開(kāi)放測(cè)試。首批用戶(hù)采用邀請(qǐng)制,可以通過(guò)邀請(qǐng)碼在「文心一言」官網(wǎng)進(jìn)行產(chǎn)品體驗(yàn) ;面對(duì)企業(yè)用戶(hù),百度智能云開(kāi)放 API 接口調(diào)用。
李彥宏還透露,近期,百度智能云將召開(kāi)發(fā)布會(huì)。屆時(shí),將圍繞文心一言的云服務(wù)和應(yīng)用產(chǎn)品做介紹。接入了大模型的智能,既能夠提供公有云服務(wù),也可以做私有化部署。
而在上個(gè)月的 Q4 財(cái)報(bào)電話會(huì)上,他便強(qiáng)調(diào)了大模型對(duì)于云服務(wù)的加持?!钢斑x擇云廠商更多看算力、存儲(chǔ)等基礎(chǔ)云服務(wù)。未來(lái),更多會(huì)看框架好不好、模型好不好,以及模型、框架、芯片、應(yīng)用之間的協(xié)同。這會(huì)根本性地改變云計(jì)算市場(chǎng)的游戲規(guī)則?!?/p>
李彥宏介紹「文心一言」|來(lái)源:百度
這也是百度智能云的新機(jī)會(huì)。在文心一言發(fā)布會(huì)上,李彥宏提出,大模型將會(huì)帶來(lái)新型的云計(jì)算。主流商業(yè)模式從將從 IaaS 變?yōu)?MaaS。所謂 Maas,是「模型即服務(wù)」。依托云設(shè)施,模型將其推理能力快速接入軟件公司,后者能夠做出更新的產(chǎn)品體驗(yàn)。
傳聞中投資 OpenAI 百億美金的微軟,也在做相同的布局。目前,GPT-4 的模型能力也已經(jīng)集成在微軟 Azure 中,并通過(guò)云服務(wù)的方式向外提供服務(wù),即為 Azure OpenAI 產(chǎn)品。微軟還表示,為了能夠支持大模型的持續(xù)升級(jí),針對(duì)大語(yǔ)言模型培訓(xùn),專(zhuān)門(mén)優(yōu)化了 Azure 的基礎(chǔ)設(shè)施。
李彥宏認(rèn)為,大模型將為 AI 產(chǎn)業(yè)帶來(lái)三大機(jī)會(huì),云服務(wù)是其中之一,另外兩個(gè)分別是「行業(yè)模型精調(diào)」、「基于大模型底座進(jìn)行應(yīng)用開(kāi)發(fā)」。
前者服務(wù)的是企業(yè)客戶(hù),應(yīng)用行業(yè) Knowhow,提供垂直領(lǐng)域解決方案;后者直接面向普通用戶(hù)開(kāi)發(fā)產(chǎn)品,在文本生成、圖像生成、音頻生成、視頻生成、數(shù)字人、3D 等場(chǎng)景,今天已經(jīng)涌現(xiàn)出很多創(chuàng)業(yè)明星公司,他們可能就是未來(lái)的新巨頭。
值得注意的是,要實(shí)現(xiàn)模型能力的大規(guī)模發(fā)放,還需要解決部署端的快速調(diào)用問(wèn)題。目前出現(xiàn)「智能涌現(xiàn)」的大模型,參數(shù)達(dá)到了一定量級(jí)之后,在多種任務(wù)的能力上,都具備了小模型所不具備的能力水平。并且這種表現(xiàn)是「突然出現(xiàn)」的。這使得在模型的綜合表現(xiàn)令人驚喜,也成為 ChatGPT 已經(jīng)具備了產(chǎn)品屬性的原因。
當(dāng)人們使用模型回答問(wèn)題、整合信息,或者創(chuàng)作能力生成文本草稿時(shí),便是在調(diào)用模型的實(shí)時(shí)計(jì)算推理能力。這與訓(xùn)練模型所需求的數(shù)據(jù)訓(xùn)練、參數(shù)調(diào)優(yōu)等能力相比,需要的是基礎(chǔ)設(shè)施支持上的軟硬件協(xié)同效率、服務(wù)穩(wěn)定性的能力。
如何實(shí)現(xiàn)靈活地調(diào)用模型能力,也將是構(gòu)建商業(yè)模式的關(guān)鍵。這里面可能涉及到很多具體挑戰(zhàn),比如對(duì)于數(shù)據(jù)隱私要求極高的醫(yī)療、金融等行業(yè),不適合將數(shù)據(jù)直接接入大模型。而領(lǐng)域的專(zhuān)業(yè)性要求,又需要基于通用能力,基于專(zhuān)業(yè)數(shù)據(jù)進(jìn)行精調(diào)。
大模型的訓(xùn)練成本極高。將大模型微調(diào)后,服務(wù)于相關(guān)企業(yè),如何既保留大模型的能力,又節(jié)約算力成本,并實(shí)現(xiàn)本地化部署、迭代,將是未來(lái)服務(wù)行業(yè)需要解決的問(wèn)題。
目前,百度積累了芯片、框架、模型、應(yīng)用的四層技術(shù)架構(gòu)。李彥宏表示,「在全球范圍內(nèi),在四層架構(gòu)的每一層都有領(lǐng)先產(chǎn)品的公司幾乎沒(méi)有,百度的優(yōu)勢(shì)非常獨(dú)特,相信大家會(huì)在后續(xù)文心的迭代速度上有明顯感受?!?/p>
文心一言的測(cè)試開(kāi)始,也意味著數(shù)據(jù)飛輪即將啟動(dòng)。隨著真實(shí)用戶(hù)反饋的建立,在 AI 上積累了十多年,百度的機(jī)會(huì)剛剛開(kāi)始。
]]>愛(ài)是如你所是,而非如我所愿。
愛(ài)是我一個(gè)人的事,與你無(wú)關(guān)。
這些解讀的愛(ài)都是有道理的。
所以,我們說(shuō)一個(gè)人有沒(méi)有愛(ài)的能力是很重要的。
可是這個(gè)世界上又有多少個(gè)真正有愛(ài)的能力的人呢?寥寥無(wú)幾。
大部分的人都是沒(méi)有愛(ài)的能力的,所以,索取,猜疑,計(jì)較。甚至逃避愛(ài),把自己封鎖起來(lái),穿上厚厚的鎧甲,來(lái)偽裝,我不需要被愛(ài)。其真正的緣由就是,我也沒(méi)有能力去愛(ài)。
是呀!因?yàn)闆](méi)有真正的得到過(guò)被愛(ài),所以也沒(méi)有力量,所以必然沒(méi)有能力去愛(ài)的。
那愛(ài)的源頭是在哪里呢?(答案是在嬰幼兒時(shí)期的媽媽的愛(ài)里,這個(gè)目前心理學(xué)已經(jīng)基本證實(shí)了)那如果源頭沒(méi)有得到過(guò)足夠多的真正的愛(ài),在將來(lái),我們也可以用自己愛(ài)自己的方式,或者后天的多種方式來(lái)獲得愛(ài),獲得力量,獲得愛(ài)的能力,這也需要修煉。
我想我也是那大部分的,沒(méi)有愛(ài)的能力的一波人,但在認(rèn)知上,我知道我要去向那個(gè)真正的愛(ài)的方向。
所以,我在努力學(xué)會(huì)去愛(ài)。
所以,我還在愛(ài)的修煉之路上。
]]>