繼微軟、谷歌之后,臉書(Facebook)母公司Meta(Nasdaq:META)也加入AI軍備競賽。
當?shù)貢r間2月24日,Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA,從參數(shù)規(guī)模來看,Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型,并用20種語言進行訓練。
Meta首席執(zhí)行官馬克·扎克伯格表示,LLaMA模型旨在幫助研究人員推進工作,在生成文本、對話、總結(jié)書面材料、證明數(shù)學定理或預測蛋白質(zhì)結(jié)構(gòu)等更復雜的任務(wù)方面有很大的前景。
怎么理解人工智能大型語言模型的參數(shù)?
據(jù)悉,AIGC(利用人工智能技術(shù)來生成內(nèi)容)形成的學習能力在一定程度上取決于參數(shù)的規(guī)模。Open AI推出的ChatGPT是通過其AI大模型GPT-3的基礎(chǔ)上通過指令微調(diào)后得到的,參數(shù)量達1750億,谷歌推出的Bard使用的是輕量級LaMDA模型,相比標準版本,輕量化版本模型所需要的運算能力較小,能面向更多使用者開放,使其參與體驗,有報道指出LaMDA模型參數(shù)量在1370億。百度文心大模型參數(shù)量達到2600億,阿里則表示,從過往實踐來看,其具備支撐超萬億參數(shù)大模型研發(fā)的技術(shù)實力。