2 個月前，Meta 推出了免費可商用且开源的大模型 Llama2。Llama2 在某些基准測試中表現優異，甚至領先於其他主流大模型，一時間在社區中被廣泛關注和採用，出現了大量基於 Llama2 進行調教的新版本。然而，2 個月後，大模型的發展速度已經讓 Llama2 幾乎跌出了第一梯隊。近日，來自阿聯酋的由3.5萬億token訓練而成的Falcon 180B，迅速了登頂Hugging Face排行榜，其性能直逼 GPT-4。
Llama2 的光環已經消退，Meta 需要新的更先進的大模型來獲取聚光燈。
Meta 的目標是其新的 AI 模型比兩個月前發布的 Llama 2 模型強大數倍，希望明年推出。
這個計劃中的 AI 系統（其細節仍可能發生變化）將幫助其他公司構建可生成復雜文本、分析和其他輸出的服務。 這是 Meta 首席執行官馬克·扎克伯格 (Mark Zuckerberg) 今年年初成立的一個小組的工作成果，旨在加速所謂的生成式人工智能工具的开發，這些工具可以產生類似人類的表情。 一些知情人士表示，Meta 預計於 2024 年初开始訓練這個新模型。
這個新模型的計劃此前從未被報道過，這是扎克伯格在 Meta 落後於競爭對手後將其確立爲人工智能領域主要力量的努力的一部分。 今年該領域的競爭急劇加劇，從最佳商業模式到如何監管技術等各個方面都產生了不同的看法。
該公司目前正在建設該工作所需的數據中心，並購买更多 H100，這是最先進的 Nvidia 芯片用於此類 AI 訓練。 一些知情人士表示，雖然 Meta 與微軟合作，在微軟的雲計算平台 Azure 上提供 Llama 2，但它計劃在自己的基礎設施上訓練新模型。
扎克伯格正在推動新模型像 Meta 早期的人工智能產品一樣开源，因此可以免費供公司構建 AI 驅動的工具。
扎克伯格將與一群頂尖科技高管一起參加周三由參議院多數黨領袖查克·舒默（紐約州民主黨人）組織的峰會，討論如何處理人工智能。 OpenAI 首席執行官 Sam Altman 和谷歌首席執行官 Sundar Pichai 也將出席。
Meta 新模型能夠縮小與 OpenAI 的差距？未必
Meta 希望它的功能與 OpenAI 在 3 月份推出的 GPT-4 大致相同，但 GPT-4 已經推出了數月。 此外，據最近的報道，DeepMind 聯合創始人和 Inflection AI CEO Mustafa Suleyman 在採訪時透露，OpenAI 正祕密訓練 GPT-5。一旦 GPT-5 率先推出，那么 Meta 與競爭對手的差距甚至可能擴大。
與 Meta 執行的免費开源不同，OpenAI 正在努力實現更多營收，最近推出了 ChatGPT 企業版，意圖未來一年營收超 10 億美元，而且 Meta 還在瘋狂砸錢。
Meta 的新模型甚至還面臨谷歌的大模型 Gemini 的競爭。Gemini 是谷歌正在構建的一種先進的大型語言模型。《華爾街日報》表示，Meta新模型可能會晚於 Gemini。
生成式 AI 領域競爭激烈，其中兩個因素至關重要：人才和芯片。Meta 在今年面臨着大量 AI 人才流失問題，很多 AI 人才被搶走或獨立創業。
OpenAI 也在暗度陳倉，雖然在 4 月份表示，它不會訓練 GPT-5，並且“一段時間內不會”，但最近卻被曝出正在祕密訓練。蘋果公司每天向自己的“Ajax”人工智能模型投入數百萬美元，它顯然認爲該模型比 GPT-4 更強大，甚至比肩 GPT-5。 谷歌和微軟都在各自的生產力工具中擴大 AI 的使用，谷歌希望在谷歌助手中使用生成式 AI。 亞馬遜還在其整個組織內开展生成式 AI 計劃，該計劃可能會產生由聊天機器人驅動的 Alexa。
總之，生成式 AI 領域的強大對手實在太多，每一步領先優勢都會無比艱難。
Meta 的免費开源策略能行得通嗎？
开源方式有一定的優勢，尤其在競爭對手都閉源且收費的時候。 扎克伯格一直倡導开源 AI模型，其模型因其較低的成本和適應性而廣受歡迎。
一些法律專家表示，Meta 所追求的开源模式也存在潛在的缺點。 其中包括使用可能受版權保護的信息的風險增加，以及更廣泛地訪問工具，該工具的增強功能可用於生成和傳播虛假信息或其他不良行爲。
Meta 的律師在審查公司計劃時提出了其中一些擔憂。
當對更多數據進行訓練時，大型語言模型通常會變得更強大。 Meta 在 7 月份宣布的 Llama 2 模型的最強大版本接受了 700 億個參數的訓練。 OpenAI 尚未透露 GPT-4 的大小，但估計大約是該大小的 20 倍，參數爲 1.5 萬億個。 一些人工智能專家表示，可能還有其他方法可以實現 GPT-4 的功能，而不必達到其規模。
參考資料：
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。