悟道

2021年6月，北(běi)京智源研究院（BAAI）科木推出了悟道1.0的後續版本悟道2.0，作爲中(zhōn多船g)國第一(yī)個超大(dà)規模智能模兒綠型系統。悟道是一(yī)個語言模型，旨在得慢在人類層面的思維上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA購日。經過4.9TB的圖像和文本訓練，并在9城作個基準上超過了最先進（SOTA）水平，悟道比任何同行都更接近于實現通坐西用人工(gōng)智能（AGI）和人類水平的思維。

悟道接受了4.9 TB高質量英文和中(zhōng)舞些文圖像和文本的訓練：

• 1.2TB中(zhōng)文文本數據
• 2.5TB中(zhōng)文圖形數據
• 1.2TB英文文本數據

悟道是基于開(kāi)源的 MoE 系統 FastMoE 進行訓上吃練的。MoE是一(yī)種機器學習技術，其工(gōng)作原理如下(家舊xià)：

将預測建模任務劃分(fēn)爲子任務，針對服你每個子任務訓練專家（學習者）模型，開(kā現裡i)發門控模型，該門控模型基于要預測的輸入來學習咨詢哪個專家，海我并組合預測。FastMoE使悟道能夠并行咨詢不同的專家模型，并切換到預測結果最花上好的模型。例如，如果輸入是英文文本，悟道将使業個用預測模型，該模型可以在英文文本中(zhōng)生(s熱師hēng)成回應。