DeepSeek-R1 訓(xùn)練方法相關(guān)論文已于 2025 年 9 月 17 日正式發(fā)表在《自然》雜志，并登上當(dāng)期封面。該研究由 DeepSeek-AI 團隊完成，通訊作者為梁文鋒。論文核心內(nèi)容如下：

（一）純強化學(xué)習(xí)激發(fā)推理能力

DeepSeek-R1 采用“純強化學(xué)習(xí)”訓(xùn)練流程，無需大量人工標(biāo)注的推理示范，僅通過“答題正確→獎勵、錯誤→懲罰”的試錯機制，讓模型自主學(xué)習(xí)并逐步生成可解釋的推理步驟。

（二） 多階段 pipeline

DeepSeek-R1-Zero：完全去掉監(jiān)督微調(diào)冷啟動，僅用群組相對策略優(yōu)化（GRPO）+ 規(guī)則獎勵，在數(shù)學(xué)、代碼等任務(wù)上實現(xiàn)自我進化。

DeepSeek-R1：在 Zero 基礎(chǔ)上引入少量高質(zhì)量冷啟動數(shù)據(jù)與拒絕采樣，再進行第二輪強化學(xué)習(xí)，兼顧通用場景的有用性與無害性

（三） 性能表現(xiàn)

在數(shù)學(xué)基準(zhǔn)測試中，DeepSeek-R1-Zero 得分 77.9%，DeepSeek-R1 進一步提升至 79.8%；在編程競賽及研究生級 STEM 題目上同樣優(yōu)于傳統(tǒng)大模型。

（四） 學(xué)術(shù)與行業(yè)意義

成為首個經(jīng)過《自然》同行評審的主流大語言模型，填補了主流模型缺乏獨立學(xué)術(shù)審查的空白

（五） 開源與影響

模型已在 Hugging Face 開源，下載量超 1090 萬次；Nature 評論認為其開放模式有助于建立公眾信任，推動 AI 行業(yè)從“技術(shù)競賽”走向“科學(xué)紀律”。

總結(jié)

DeepSeek-R1 通過強化學(xué)習(xí)自主習(xí)得推理策略的研究方法、嚴格的同行評審流程以及全面開源的舉措，為提升大模型推理能力與可信性提供了新的范式。

【高?？蒲斜貍洹緿eepSeek使用指南全匯總，為科研人助力

掃碼無套路免費領(lǐng)取-掃碼立即發(fā)送云盤鏈接