(資料圖片)

站長之家(ChinaZ.com) 4月13日消息:微軟日前宣布開源 Deep Speed Chat，（https://github.com/microsoft/DeepSpeed）可幫助用戶輕松訓(xùn)練類 ChatGPT 等大語言模型。

據(jù)介紹，Deep Speed Chat 基于微軟 Deep Speed 深度學(xué)習(xí)優(yōu)化庫開發(fā)，具備訓(xùn)練、強化推理等功能，使用 RLHF（人工反饋機制的強化學(xué)習(xí)）技術(shù)，可將訓(xùn)練速度提升 15 倍以上，并大幅降低成本。例如，一個 130 億參數(shù)的類 ChatGPT 模型，只需 1.25 小時就能完成訓(xùn)練。

Deep Speed Chat 是一款能夠解決訓(xùn)練類 ChatGPT 模型的資源和算法難題的技術(shù)，它能夠輕松、高效的訓(xùn)練數(shù)千億參數(shù)的最先進(jìn)的類 ChatGPT 模型。使用 Deep Speed Chat，用戶只需一個腳本即可實現(xiàn)多個訓(xùn)練步驟，包括使用 Huggingface 預(yù)訓(xùn)練的模型、使用 DeepSpeed-RLHF 系統(tǒng)運行 InstructGPT 訓(xùn)練的所有三個步驟，生成屬于自己的類 ChatGPT 模型。

此外，Deep Speed Chat 還提供了一個易于使用的推理 API，用于在模型訓(xùn)練后測試對話性能。Deep Speed Chat 具有強化推理、RLHF 模塊、RLHF 系統(tǒng)三大核心功能，能夠支持訓(xùn)練擁有數(shù)千億參數(shù)的模型，并在多節(jié)點多 GPU 系統(tǒng)上展現(xiàn)出卓越的擴展性。

Deep Speed Chat 在成本、效率、擴展性等方面非常優(yōu)秀，在 Azure 云上只需花費不到 300 美元和 600 美元即可完成對 OPT-13B 模型和 OPT-30B 模型的訓(xùn)練。

微軟此次開源 Deep Speed Chat 對整個 ChatGPT 生態(tài)發(fā)展起到了至關(guān)重要的推動作用，簡單來說，用戶通過 Deep Speed Chat 能以最短的時間、最高效的成本訓(xùn)練類 ChatGPT 大語言模型，這標(biāo)志著一個人手一個 ChatGPT 的時代要來了。

（舉報）