王小川的百川智能發(fā)布開(kāi)源中英文大模型，清華北大率先使用

6月15日消息，王小川新創(chuàng )業(yè)公司百川智能，推出70億參數量的中英文預訓練大模型——baichuan-7B。

目前這款大模型已在Hugging Face、Github以及Model Scope平臺發(fā)布。

公司CEO王小川表示：“本次開(kāi)源模型的發(fā)布是百川智能成立2個(gè)月后的第一個(gè)里程碑，對百川智能而言是一個(gè)良好的開(kāi)局。baichuan-7B模型，不僅能為中國的AGI事業(yè)添磚加瓦，也為世界大模型開(kāi)源社區貢獻了新的力量?！?/p>

據了解，baichuan-7B在C-Eval、AGIEval和Gaokao三個(gè)中文評估基準進(jìn)行了綜合評估。

百川智能發(fā)布開(kāi)源中英文大模型，清華北大率先使用

在中文C-EVAL的評測中，baichuan-7B的綜合評分達到了42.8分，超過(guò)了ChatGLM-6B的38.9分。

百川智能發(fā)布開(kāi)源中英文大模型，清華北大率先使用

C-Eval評測基準由上海交通大學(xué)、清華大學(xué)以及愛(ài)丁堡大學(xué)聯(lián)合創(chuàng )建，是面向中文語(yǔ)言模型的綜合考試評測集，覆蓋了52個(gè)來(lái)自不同行業(yè)領(lǐng)域的學(xué)科。

在A(yíng)GIEval的評測里，baichuan-7B綜合評分達到34.4分，超過(guò)LLaMa-7B、Falcon-7B、Bloom-7B以及ChatGLM-6B等其他開(kāi)源模型。

AGIEval評測基準由微軟研究院發(fā)起，旨在全面評估基礎模型在人類(lèi)認知和問(wèn)題解決相關(guān)任務(wù)上的能力，包含了中國的高考、司法考試，以及美國的SAT、LSAT、GRE和GMAT等20個(gè)公開(kāi)且嚴謹的官方入學(xué)和職業(yè)資格考試。

在GAOKAO評測中，baichuan-7B的綜合評分達到了36.2分，領(lǐng)先于同參數規模的各種其他預訓練模型。

GAOKAO評測基準是復旦大學(xué)研究團隊創(chuàng )建的評測框架，以中國高考題目作為數據集，用于測試大模型在中文語(yǔ)言理解和邏輯推理能力方面的表現。

此外baichuan-7B在英文上表現同樣亮眼。在MMLU的評測中baichuan-7B綜合評分高達42.5分，領(lǐng)先英文開(kāi)源預訓練模型LLaMA-7B的34.2分以及中文開(kāi)源模型ChatGLM-6B的36.9分。

百川智能發(fā)布開(kāi)源中英文大模型，清華北大率先使用

MMLU由加州大學(xué)伯克利分校等知名高校共同打造，集合了科學(xué)、工程、數學(xué)、人文、社會(huì )科學(xué)等領(lǐng)域的57個(gè)科目，主要目標是對模型的英文跨學(xué)科專(zhuān)業(yè)能力進(jìn)行深入測試。其內容廣泛，從初級水平一直涵蓋到高級專(zhuān)業(yè)水平。

百川智能介紹稱(chēng)，訓練語(yǔ)料對大模型的訓練結果至關(guān)重要。在構建預訓練語(yǔ)料庫方面，公司以高質(zhì)量中文語(yǔ)料為基礎，同時(shí)融合了優(yōu)質(zhì)的英文數據。在數據質(zhì)量方面，通過(guò)質(zhì)量模型對數據進(jìn)行打分，對原始數據集進(jìn)行篇章級和句子級的精確篩選；在內容多樣性方面，利用自研超大規模局部敏感哈希聚類(lèi)系統和語(yǔ)義聚類(lèi)系統，對數據進(jìn)行了多層次多粒度的聚類(lèi)，最終構建了包含1.2萬(wàn)億token的兼顧質(zhì)量和多樣性的預訓練數據。相較于其他同參數規模的開(kāi)源中文預訓練模型，數據量提高了超過(guò)50%。

在萬(wàn)億優(yōu)質(zhì)中英文數據的基礎上，為了更好地提升訓練效率，baichuan-7B深度整合了模型算子來(lái)加快計算流程，并針對任務(wù)負載和集群配置，自適應優(yōu)化了模型并行策略以及重計算策略。通過(guò)高效的訓練過(guò)程調度通信，baichuan-7B成功地實(shí)現了計算與通信的高效重疊，進(jìn)而達到了超線(xiàn)性的訓練加速，在千卡集群上訓練吞吐達到180+Tflops的水平。

同時(shí)，已有的開(kāi)源模型窗口長(cháng)度在2K以?xún)?，對于一些長(cháng)文本建模任務(wù)，如需要引入外部知識做搜索增強的場(chǎng)景，更長(cháng)的處理長(cháng)度有助于模型在訓練與推理階段捕獲越多的上下文信息，2K的處理長(cháng)度存在比較大的制約。baichuan-7B基于高效的attention算子優(yōu)化實(shí)現了萬(wàn)級別超長(cháng)動(dòng)態(tài)窗口的擴張能力，本次開(kāi)源的預訓練模型開(kāi)放了4K上下文窗口，使模型應用場(chǎng)景更加廣泛。

此外，baichuan-7B還對模型訓練流程進(jìn)行了深度優(yōu)化，采用了更科學(xué)且穩定的訓練流程和超參數選擇，使得baichuan-7B模型的收斂速度大大提升。與同等參數規模的模型相比，baichuan-7B在困惑度（PPL）和訓練損失（training loss）等關(guān)鍵性能指標上表現更加優(yōu)秀。

百川智能稱(chēng)，baichuan-7B代碼采用Apache-2.0協(xié)議，模型權重采用了免費商用協(xié)議，只需進(jìn)行簡(jiǎn)單登記即可免費商用。

baichuan-7B此次開(kāi)源的內容包含了推理代碼、INT4量化實(shí)現、微調代碼，以及預訓練模型的權重。其中，微調代碼方便用戶(hù)對模型進(jìn)行調整和優(yōu)化；推理代碼與INT4量化實(shí)現則有助于開(kāi)發(fā)者低成本地進(jìn)行模型的部署和應用；預訓練模型權重開(kāi)源后，用戶(hù)則可以直接使用預訓練模型進(jìn)行各種實(shí)驗研究。

據了解，北京大學(xué)和清華大學(xué)兩所頂尖大學(xué)已率先使用baichuan-7B模型推進(jìn)相關(guān)研究工作，并計劃在未來(lái)與百川智能深入合作，共同推動(dòng)baichuan-7B模型的應用和發(fā)展。