一级欧美视频_黑巨人与欧美精品一区_精品国产美女_欧洲一区在线电影_清纯唯美日韩_免费在线黄网_波多野结衣一区二区三区_伊人色综合一区二区三区影院视频_一区二区三区日本_av中文在线资源库

王小川的大模型，首次公開亮相。

2023 年 6 月 15 日，被稱為「中國 ChatGPT 夢之隊」的百川智能公司，推出了 70 億參數量的中英文預訓練大模型—— baichuan-7B。

(資料圖片僅供參考)

baichuan-7B 不僅在 C-Eval、AGIEval 和 Gaokao 中文權威評測榜單上，以顯著優勢全面超過了 ChatGLM-6B 等其他大模型，并且在 MMLU 英文權威評測榜單上，大幅領先 LLaMA-7B。

目前 baichuan-7B 大模型已在 Hugging Face、Github 以及 Model Scope 平臺發布。

多個最具影響力中文評估基準 7B 最佳

為了驗證模型的各項能力，baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三個最具影響力的中文評估基準進行了綜合評估，并且均獲得了優異成績。

在中文 C-EVAL 的評測中，baichuan-7B 的綜合評分達到了 42.8 分，超過了 ChatGLM-6B 的 38.9 分，甚至比某些參數規模更大的模型還要出色。

C-EVAL 評測截圖，時間為 2023-06-15

C-Eval 評測基準由上海交通大學、清華大學以及愛丁堡大學聯合創建，是面向中文語言模型的綜合考試評測集，覆蓋了 52 個來自不同行業領域的學科。

在 AGIEval 的評測里，baichuan-7B 綜合評分達到 34.4 分，遠超 LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等其他開源模型。

AGIEval 評測基準由微軟研究院發起，旨在全面評估基礎模型在人類認知和問題解決相關任務上的能力，包含了中國的高考、司法考試，以及美國的 SAT、LSAT、GRE 和 GMAT 等 20 個公開且嚴謹的官方入學和職業資格考試。

在 GAOKAO 評測中，baichuan-7B 的綜合評分達到了 36.2 分，顯著領先于同參數規模的各種其他預訓練模型。

GAOKAO 評測基準是復旦大學研究團隊創建的評測框架，以中國高考題目作為數據集，用于測試大模型在中文語言理解和邏輯推理能力方面的表現。

MMLU 英文評估基準表現大幅領先 LLaMA-7B

baichuan-7B 不僅在中文方面表現優異，在英文上表現同樣亮眼。在 MMLU 的評測中 baichuan-7B 綜合評分高達 42.5 分，大幅領先英文開源預訓練模型 LLaMA-7B 的 34.2 分以及中文開源模型 ChatGLM-6B 的 36.9 分。

MMLU 由加州大學伯克利分校等知名高校共同打造，集合了科學、工程、數學、人文、社會科學等領域的 57 個科目，主要目標是對模型的英文跨學科專業能力進行深入測試。其內容廣泛，從初級水平一直涵蓋到高級專業水平。

萬億優質數據、4K 上下文窗口、高效穩定訓練造就領先 7B 預訓練模型

訓練語料對大模型的訓練結果至關重要。在構建預訓練語料庫方面，百川智能以高質量中文語料為基礎，同時融合了優質的英文數據。在數據質量方面，通過質量模型對數據進行打分，對原始數據集進行篇章級和句子級的精確篩選；在內容多樣性方面，利用自研超大規模局部敏感哈希聚類系統和語義聚類系統，對數據進行了多層次多粒度的聚類，最終構建了包含 1.2 萬億 token 的兼顧質量和多樣性的預訓練數據。相較于其他同參數規模的開源中文預訓練模型，數據量提高了超過 50%。

在萬億優質中英文數據的基礎上，為了更好地提升訓練效率，baichuan-7B 深度整合了模型算子來加快計算流程，并針對任務負載和集群配置，自適應優化了模型并行策略以及重計算策略。通過高效的訓練過程調度通信，baichuan-7B 成功地實現了計算與通信的高效重疊，進而達到了超線性的訓練加速，在千卡集群上訓練吞吐達到 180+Tflops 的業界領先水平。

同時，已有的開源模型窗口長度在 2K 以內，對于一些長文本建模任務，如需要引入外部知識做搜索增強的場景，更長的處理長度有助于模型在訓練與推理階段捕獲越多的上下文信息，2K 的處理長度存在比較大的制約。baichuan-7B 基于高效的 attention 算子優化實現了萬級別超長動態窗口的擴張能力，本次開源的預訓練模型開放了 4K 上下文窗口，使模型應用場景更加廣泛。

此外，baichuan-7B 還對模型訓練流程進行了深度優化，采用了更科學且穩定的訓練流程和超參數選擇，使得 baichuan-7B 模型的收斂速度大大提升。與同等參數規模的模型相比，baichuan-7B 在困惑度（PPL）和訓練損失（training loss）等關鍵性能指標上表現更加優秀。

免費可商用，清華北大率先使用助力研究

秉持開源精神，baichuan-7B 代碼采用 Apache-2.0 協議，模型權重采用了免費商用協議，只需進行簡單登記即可免費商用。

baichuan-7B 此次開源的內容十分豐富，包含了推理代碼、INT4 量化實現、微調代碼，以及預訓練模型的權重。其中，微調代碼方便用戶對模型進行調整和優化；推理代碼與 INT4 量化實現則有助于開發者低成本地進行模型的部署和應用；預訓練模型權重開源后，用戶則可以直接使用預訓練模型進行各種實驗研究。

據了解，北京大學和清華大學兩所頂尖大學已率先使用 baichuan-7B 模型推進相關研究工作，并計劃在未來與百川智能深入合作，共同推動 baichuan-7B 模型的應用和發展。

清華大學互聯網司法研究院院長、計算機系教授劉奕群認為，baichuan-7B 模型在中文上的效果表現十分出色，它免費商用的開源方式展現出開放的態度，不僅貢獻社區，也推動技術發展。團隊計劃基于 baichuan-7B 模型開展司法人工智能領域的相關研究。

北京大學人工智能研究院助理教授楊耀東認為，baichuan-7B 模型的開源將對于中文基礎語言模型的生態建設及學術研究產生重要推動作用，同時他也表示將持續關注相關領域探索，并且在中文大語言模型的安全和對齊上進行進一步深入研究。

百川智能 CEO 王小川表示：「本次開源模型的發布是百川智能成立 2 個月后的第一個里程碑，對百川智能而言是一個良好的開局。baichuan-7B 模型，不僅能為中國的 AGI 事業添磚加瓦，也為世界大模型開源社區貢獻了新的力量。」

開源地址：

Hugging Face：https://huggingface.co/baichuan-inc/baichuan-7B

Github：https://github.com/baichuan-inc/baichuan-7B

Model Scope：https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary