月之暗面近期宣布,支持200萬漢字超長無損上下文的Kimi智能助手正在內(nèi)測。隨后,阿里、360集團(tuán)、百度等公司緊急“出手”,紛紛入局長文本大模型賽道,推動(dòng)人工智能領(lǐng)域投資熱情進(jìn)一步升溫。
機(jī)構(gòu)人士表示,相比海外大模型,國產(chǎn)模型在中文長文本理解方面具備比較優(yōu)勢,基礎(chǔ)模型能力提升有望推動(dòng)下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等領(lǐng)域?qū)⒊掷m(xù)受益。
取得技術(shù)突破
近期,AI大模型產(chǎn)品Kimi智能助手因能穩(wěn)定分析處理200萬漢字長文“一炮走紅”。Kimi智能助手是初創(chuàng)公司月之暗面于2023年10月發(fā)布的產(chǎn)品。該公司創(chuàng)立于2023年3月,由清華大學(xué)交叉信息學(xué)院楊植麟教授領(lǐng)銜。今年3月18日,月之暗面宣布,Kimi智能助手再次取得技術(shù)突破,支持200萬漢字上下文的Kimi智能助手已經(jīng)啟動(dòng)“內(nèi)測”。
隨之而來,360集團(tuán)、阿里、百度等頭部廠商紛紛宣布升級(jí)AI大模型技術(shù)。3月22日,阿里通義千問宣布,向所有人免費(fèi)開放1000萬字的長文檔處理功能。3月23日,360智腦宣布正式內(nèi)測500萬字長文本處理功能。該功能即將入駐360AI瀏覽器。同時(shí),360AI瀏覽器APP即將上線。另外,百度文心一言4月份將進(jìn)行版本升級(jí),屆時(shí)將開放長文本處理能力,文字范圍在200萬-500萬字。
“大模型升級(jí)文本長度,是市場需求的直接反映。”人工智能領(lǐng)域天使投資人郭濤向中國證券報(bào)記者表示,“長文本處理需求持續(xù)增加,如學(xué)術(shù)論文、法律文件、新聞報(bào)道等。而長文本處理能力的提升,能夠更好地模擬復(fù)雜的人類語言交流,包括理解長篇文獻(xiàn)、撰寫長篇文章等。”
賽智產(chǎn)業(yè)研究院院長趙剛告訴記者,提升長文本處理能力,可以解決當(dāng)前大語言模型應(yīng)用中的痛點(diǎn),使得大模型商業(yè)化應(yīng)用更加成熟,更容易被用戶接受。在新的用戶需求牽引下,未來長文本處理能力可能成為大模型的標(biāo)配。率先布局長文本訓(xùn)練和推理的大模型企業(yè),在未來的競爭中將占據(jù)有利地位。
拓展應(yīng)用領(lǐng)域
“從文本處理穩(wěn)定性方面看,Ki-mi比ChatGPT更勝一籌。使用ChatGPT分析長文本時(shí),很容易遇到報(bào)錯(cuò)的情況,而Kimi比較少見?!币晃唤?jīng)常使用AI大模型工具處理文本的留學(xué)生告訴中國證券報(bào)記者。
200萬到1000萬漢字,國產(chǎn)大模型中文文本處理能力飛速提升。據(jù)了解,目前海外主流AI大模型GPT-4 Turbo-128k公布的文本范圍約為10萬漢字,而Claude 3200k約為16萬漢字。
趙剛認(rèn)為,從實(shí)際應(yīng)用出發(fā),國內(nèi)大模型廠商闖出一條創(chuàng)新升級(jí)的新路線,很大程度上縮小了與海外Open AI等大模型企業(yè)的差距。
郭濤表示,長文本處理能力是衡量模型泛化能力的一項(xiàng)重要指標(biāo),其能夠更好地反映模型在處理未知或復(fù)雜數(shù)據(jù)時(shí)的表現(xiàn),反映出國產(chǎn)大模型企業(yè)在自然語言處理(NLP)領(lǐng)域的技術(shù)創(chuàng)新能力。
文本長度的突破會(huì)帶來哪些應(yīng)用前景?趙剛認(rèn)為,長文本處理能力主要應(yīng)用于知識(shí)密集的業(yè)務(wù)場景,比如生產(chǎn)活動(dòng)中的編制計(jì)劃、設(shè)計(jì)方案、廣告創(chuàng)意等;管理活動(dòng)中的文案撰寫、合同編制等;文化教育中的論文撰寫、小說撰寫、劇本編寫等應(yīng)用場景。
文本處理功能擴(kuò)容帶來的應(yīng)用創(chuàng)新已經(jīng)嶄露頭角。近日,華東師范大學(xué)王峰教授團(tuán)隊(duì)發(fā)布國內(nèi)第一部人機(jī)融合式長篇小說《天命使徒》,采用國內(nèi)大語言模型+提示詞工程+人工后期潤色,整部小說超過100萬字。據(jù)介紹,該團(tuán)隊(duì)將打造一個(gè)可供公眾使用的長篇小說創(chuàng)作平臺(tái),將好的創(chuàng)意與平臺(tái)的自動(dòng)寫作服務(wù)結(jié)合起來,讓人人皆可寫作長篇小說。團(tuán)隊(duì)的下一個(gè)目標(biāo)是將同等體量小說創(chuàng)作由一個(gè)半月縮短為兩至三周。
值得注意的是,業(yè)內(nèi)人士認(rèn)為,文本長度只是反映大模型能力的一個(gè)側(cè)面,并非評(píng)判模型訓(xùn)練能力的唯一標(biāo)準(zhǔn)。郭濤表示,模型的訓(xùn)練能力還包括對(duì)不同類型數(shù)據(jù)的處理能力、模型的穩(wěn)定性、可擴(kuò)展性等多個(gè)維度。
“在多模態(tài)、參數(shù)規(guī)模、通用性等方面,我們與Open AI等海外企業(yè)還有一定距離?!壁w剛坦言。
相關(guān)產(chǎn)業(yè)鏈?zhǔn)芤?/strong>
長文本處理能力對(duì)數(shù)據(jù)和算力提出了更高要求。郭濤告訴記者,首先,訓(xùn)練能夠處理長文本的模型,需要大量的高質(zhì)量長文本數(shù)據(jù)。這些數(shù)據(jù)需要具備多樣性和代表性,確保大模型能夠?qū)W習(xí)到廣泛的語言模式和知識(shí)。其次,長文本處理通常需要更復(fù)雜的模型結(jié)構(gòu),會(huì)直接增加模型訓(xùn)練的計(jì)算成本。更大的模型意味著更多的參數(shù)需要調(diào)整,需要更多算力以加速訓(xùn)練過程。
大模型升級(jí)對(duì)AI算力、數(shù)據(jù)賽道的催化作用已經(jīng)體現(xiàn)在二級(jí)市場。Wind數(shù)據(jù)顯示,近20日內(nèi),AI算力指數(shù)上漲11.56%,數(shù)據(jù)要素概念指數(shù)上漲11.94%,IDC(算力租賃)概念指數(shù)上漲13.41%。
算力方面,科大訊飛3月23日在投資者互動(dòng)平臺(tái)上表示,科大訊飛算力能夠滿足未來一段時(shí)間AI算法模型訓(xùn)練和推理的需求。景嘉微3月22日表示,公司景宏系列高性能智算模塊及整機(jī)產(chǎn)品可面向AI訓(xùn)練、AI推理和科學(xué)計(jì)算等應(yīng)用領(lǐng)域。
數(shù)據(jù)方面,海天瑞聲3月22日在投資者互動(dòng)平臺(tái)上表示,公司致力于為AI產(chǎn)業(yè)鏈各類機(jī)構(gòu)提供算法模型開發(fā)訓(xùn)練所需的專業(yè)數(shù)據(jù)集。例如,常規(guī)的結(jié)構(gòu)化數(shù)據(jù)分割、信息提取整合、文本摘要等。同時(shí),公司可提供大模型強(qiáng)化學(xué)習(xí)相關(guān)數(shù)據(jù)處理服務(wù)。例如,對(duì)prompt的改寫、分類以及其回復(fù)內(nèi)容續(xù)寫改寫等。不過,公司過往并未向月之暗面提供過相關(guān)訓(xùn)練數(shù)據(jù)。
華西證券認(rèn)為,相比海外大模型,國產(chǎn)模型在中文長文本理解方面具備比較優(yōu)勢,能夠有效提升使用者工作效率?;A(chǔ)模型能力的提升有望推進(jìn)下游應(yīng)用快速發(fā)展。AI模型、語料庫、算力租賃及運(yùn)維等板塊將繼續(xù)受益。
民生證券表示,國產(chǎn)大模型再度迎來競爭升級(jí),以Kimi為代表的國內(nèi)大模型用戶數(shù)量激增,AI算力需求或是今年最確定的投資主線之一。
相關(guān)稿件