9月18日，首次DeepSeek再次引發(fā)轟動(dòng)。蒸餾質(zhì)疑由DeepSeek團隊共同完成、首次梁文鋒擔任通訊作者的蒸餾質(zhì)疑DeepSeek-R1研究論文，登上了國際權威期刊《Nature》的首次封面。

　　今年1月，DeepSeek曾在arxiv公布了初版預印本論文，首次相較而言，蒸餾質(zhì)疑此次發(fā)布在《Nature》的首次版本補充了更多模型細節，減少了描述中的蒸餾質(zhì)疑擬人化說(shuō)明。在補充材料中，首次DeepSeek提到了R1模型的蒸餾質(zhì)疑訓練成本僅29.4萬(wàn)美元，以及回應了模型發(fā)布之初關(guān)于蒸餾OpenAI的首次質(zhì)疑。

　　今年1月，蒸餾質(zhì)疑有報道提到，首次OpenAI研究人員認為，DeepSeek可能使用了OpenAI模型的輸出來(lái)訓練R1，這種方法可以在使用較少資源的情況下加速模型能力提升。

　　在論文的補充資料部分，DeepSeek回應了關(guān)于DeepSeek-V3-Base訓練數據來(lái)源的問(wèn)題?！癉eepSeek-V3-Base的訓練數據僅來(lái)自普通網(wǎng)頁(yè)和電子書(shū)，不包含任何合成數據。在預訓練冷卻階段，我們沒(méi)有故意加入OpenAI生成的合成數據，此階段使用的所有數據都是通過(guò)網(wǎng)頁(yè)抓取的?！盌eepSeek表示。

　　不過(guò)，DeepSeek也說(shuō)明，已觀(guān)察到一些網(wǎng)頁(yè)包含大量OpenAI模型生成的答案，這可能導致基礎模型間接受益于其他強大模型的知識。此外，預訓練數據集包含大量數學(xué)和編程相關(guān)內容，表明DeepSeek-V3-Base已經(jīng)接觸到大量有推理痕跡的數據。這種廣泛的接觸使模型能夠生成較為合理的解決方案，強化學(xué)習可以從中識別并優(yōu)化輸出質(zhì)量。DeepSeek表示，已在預訓練中針對數據污染進(jìn)行了處理。

　　哥倫布市俄亥俄州立大學(xué)的AI研究員Huan Sun表示，這一反駁“與我們在任何出版物中看到的內容同樣具有說(shuō)服力”。Hugging Face的機器學(xué)習工程師、同時(shí)也是論文審稿人之一的Lewis Tunstall補充說(shuō)，盡管他不能100%確定R1未基于OpenAI示例進(jìn)行訓練，但其他實(shí)驗室的復制嘗試表明，DeepSeek的推理方案可能足夠優(yōu)秀而無(wú)須這樣做?！拔艺J為現有證據已相當明確地表明，僅使用純強化學(xué)習即可獲得極高性能?！彼硎?。

　　DeepSeek也在補充資料部分提到DeepSeek-R1的訓練成本。在DeepSeek-R1的研究過(guò)程中，團隊使用 A100 GPU 完成了較小規模模型（30B參數）的實(shí)驗，隨后團隊將訓練擴展至 660B參數的R1-Zero和R1模型。

　　具體而言，DeepSeek-R1-Zero訓練使用了64×8張H800GPU，耗時(shí)約198小時(shí)。DeepSeek-R1訓練同樣使用了64×8張H800 GPU，耗時(shí)約4天（約80小時(shí)）。此外，構建SFT數據集消耗了約5000小時(shí)的GPU運算。

　　DeepSeek表示，假設H800的租賃價(jià)格為每小時(shí)2美元，DeepSeek-R1-Zero訓練成本20.2萬(wàn)美元，SFT數據集創(chuàng )建花費1萬(wàn)美元，DeepSeek-R1訓練成本8.2萬(wàn)美元，這三項的總成本為29.4萬(wàn)美元。折合成人民幣，這些成本約200萬(wàn)元。

　　R1基于DeepSeek-V3模型訓練，不過(guò)，即便加上訓練V3模型所花費的約600 萬(wàn)美元訓練成本，總金額仍遠低于競爭對手的模型所花費的數千萬(wàn)美元。

　　DeepSeek-R1已經(jīng)成為了全球最受歡迎的開(kāi)源推理模型，Hugging Face下載量超1090萬(wàn)次。到目前為止，DeepSeek-R1也是全球首個(gè)經(jīng)過(guò)同行評審的主流大語(yǔ)言模型。

　　Lewis Tunstall表示，“這是一個(gè)非常受歡迎的先例，如果沒(méi)有公開(kāi)分享這一流程大部分內容的規范，就很難評估這些系統是否存在風(fēng)險?！碑斍?AI 行業(yè)不乏刷榜的傳聞，基準測試可被操控，而經(jīng)過(guò)獨立的同行評審顯然也能打消疑慮。

　　具體到此次發(fā)布論文內容，其題目是《DeepSeek-R1： Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，主要公開(kāi)了僅靠強化學(xué)習，就能激發(fā)大模型推理能力的重要研究成果。

　　、

　　以往的研究主要依賴(lài)大量監督數據來(lái)提升模型性能。DeepSeek的開(kāi)發(fā)團隊則開(kāi)辟了一種全新的思路，即使不用監督微調（SFT）作為冷啟動(dòng)，通過(guò)大規模強化學(xué)習也能顯著(zhù)提升模型的推理能力。如果再加上少量的冷啟動(dòng)數據，效果會(huì )更好。

　　在強化學(xué)習中，模型正確解答數學(xué)問(wèn)題時(shí)會(huì )獲得高分獎勵，答錯則會(huì )受到懲罰。因此模型學(xué)會(huì )了推理，逐步解決問(wèn)題并揭示這些步驟，從而更有可能得出正確答案。這使得 DeepSeek-R1 能夠自我驗證和自我反思，在給出新問(wèn)題的答案之前檢查其性能，從而提高其在編程和研究生水平科學(xué)問(wèn)題上的表現。

　　DeepSeek在模型訓練中，采用了群組相對策略?xún)?yōu)化（GRPO）來(lái)降低訓練成本，設計獎勵機制決定著(zhù)強化學(xué)習優(yōu)化的方向，同時(shí)團隊設計了簡(jiǎn)單模板來(lái)引導基礎模型，要求模型先給出推理過(guò)程，再提供最終答案。

　　為了使更高效的小模型具備 DeepSeek-R1 那樣的推理能力，開(kāi)發(fā)團隊還直接使用 DeepSeek-R1 整理的 80 萬(wàn)個(gè)樣本對 Qwen 和 Llama 等開(kāi)源模型進(jìn)行了微調。研究結果表明，這種簡(jiǎn)單的蒸餾方法顯著(zhù)增強了小模型的推理能力。

責任編輯：張玉

(責任編輯：焦點(diǎn))