2月28日 消息:在OpenAI推出大型語言模型ChatGPT后，競爭對手紛紛迎頭趕上。谷歌有 Bard，微軟有新必應(yīng)。現(xiàn)在，Meta也上線了一個(gè)新模型LLaMA。目前，該模型只對研究人員開放。

據(jù)了解，LLaMA是 Large Language Model Meta AI 的首字母縮寫詞，比現(xiàn)有的模型更小，因?yàn)樗菫闊o法訪問大量基礎(chǔ)設(shè)施的研究社區(qū)構(gòu)建的。LLaMA 有多種尺寸，從70億個(gè)參數(shù)到650億個(gè)參數(shù)不等。

Meta方面稱，盡管 LLaMA-13B 的尺寸較小，而且少了1620億個(gè)參數(shù)，但“在大多數(shù)基準(zhǔn)測試中”表現(xiàn)優(yōu)于 OpenAI 的GPT-3。

據(jù)報(bào)道，最大的模型 LLaMA-65B 與 DeepMind 的Chinchilla70B和PaLM-540B等模型可相提并論。

LLaMA 是一個(gè)基礎(chǔ)模型:它在大量未標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，這使得研究人員更容易針對特定任務(wù)微調(diào)模型。由于模型更小，因此更容易針對用例進(jìn)行再訓(xùn)練。

LLaMA不僅僅是使用英語文本構(gòu)建的。Meta使用20種使用拉丁語或西里爾語腳本的語言訓(xùn)練其模型。然而，大多數(shù)訓(xùn)練數(shù)據(jù)都是英語，因此模型性能更好。

Meta 的研究人員聲稱，由于模型的大小，對當(dāng)前大型語言模型的訪問受到限制。

Meta 認(rèn)為“這種受限訪問限制了研究人員理解這些大型語言模型如何工作以及為何工作的能力，阻礙了提高其穩(wěn)健性和解決已知問題（例如偏見、侮辱和產(chǎn)生錯(cuò)誤信息的可能性）的努力”。

除了使模型更小之外，Meta 還試圖讓 LLaMA 更易于訪問，包括在非商業(yè)許可下發(fā)布它。

對各種 LLaMA 模型的訪問權(quán)限只會(huì)根據(jù)具體情況授予學(xué)術(shù)研究人員，例如隸屬于政府、民間組織和學(xué)術(shù)界的研究人員。

與 ChatGPT 一樣，LLaMA 與其他語言模型一樣存在生成有偏見或不準(zhǔn)確的信息。Meta 的 LLaMA 聲明承認(rèn)了這一點(diǎn)，并表示通過共享模型，研究人員可以“更輕松地測試新方法來限制或消除大型語言模型中的這些問題。”

Meta在去年5月曾推出一款面向研究人員的名為OPT-175B的大型語言模型，去年年底還發(fā)布過另一款模型Galactica，但后者被發(fā)現(xiàn)經(jīng)常分享有偏見或不準(zhǔn)確的信息，在48小時(shí)內(nèi)被迅速下架。