（CWW）近日，商湯科技、上海AI實驗室聯合香港中文大學、復旦大學及上海交通大學發布千億級參數大語言模型“書生·浦語”（InternLM）。

(相關資料圖)

“書生·浦語”具有1040億參數，是在包含1.6萬億token的多語種高質量數據集上訓練而成。

全面評測結果顯示，“書生·浦語”不僅在知識掌握、閱讀理解、數學推理、多語翻譯等多個測試任務上表現優秀，而且具備很強的綜合能力，因而在綜合性考試中表現突出，在多項中文考試中取得超越ChatGPT的成績，其中就包括中國高考各個科目的數據集（GaoKao）。

“書生·浦語”聯合團隊選取了20余項評測對其進行檢驗，其中包含全球最具影響力的四個綜合性考試評測集：

由伯克利加州大學等高校構建的多任務考試評測集MMLU；

微軟研究院推出的學科考試評測集AGIEval（含中國高考、司法考試及美國SAT、LSAT、GRE和GMAT等）；

由上海交通大學、清華大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集C-Eval；

以及由復旦大學研究團隊構建的高考題目評測集Gaokao；

實驗室聯合團隊對“書生·浦語”、GLM-130B、LLaMA-65B、ChatGPT和 GPT-4進行了全面測試，針對上述四個評測集的成績對比如下（滿分100分）。

“書生·浦語”不僅顯著超越了GLM-130B和LLaMA-65B等學術開源模型，還在AGIEval、C-Eval，以及Gaokao等多個綜合性考試中領先于ChatGPT；在以美國考試為主的MMLU上實現和ChatGPT持平。這些綜合性考試的成績反映出“書生·浦語”扎實的知識掌握程度和優秀的綜合能力。

雖然 “書生·浦語”在考試評測上取得優秀成績，但在測評中也可以看到，大語言模型仍然存在不少能力局限性?！皶て终Z” 受限于2K的語境窗口長度（GPT-4的語境窗口長度為32K），在長文理解、復雜推理、撰寫代碼以及數理邏輯演繹等方面還存在明顯局限。另外，在實際對話中，大語言模型還普遍存在幻覺、概念混淆等問題。這些局限使得大語言模型在開放場景中的使用還有很長的路要走。