日前，DeepSeek團(tuán)隊(duì)宣布將在“2月27日至3月3日”陸續(xù)開(kāi)源5個(gè)代碼庫(kù)，這與中國(guó)聯(lián)通一直秉持的開(kāi)源普惠理念不謀而合。繼中國(guó)聯(lián)通于1月開(kāi)源元景“自適應(yīng)慢思考”思維鏈大模型后，又針對(duì)DeepSeek系列模型進(jìn)行了“自適應(yīng)慢思考”優(yōu)化升級(jí)，現(xiàn)已開(kāi)源，開(kāi)源地址詳見(jiàn)文末。這也是目前業(yè)界首個(gè)對(duì)DeepSeek系列思維鏈模型做“自適應(yīng)慢思考”優(yōu)化升級(jí)的工作。
DeepSeek官宣開(kāi)源周
“以我為主，為我所用”的開(kāi)放創(chuàng)新
元景思維鏈大模型具備多學(xué)科、多場(chǎng)景通用推理能力，且能在確保慢思考能力不打折的情況下，做到針對(duì)不同任務(wù)和難度的自適應(yīng)慢思考，大幅降低了資源消耗，實(shí)現(xiàn)了大模型“慢思考”能力高性?xún)r(jià)比落地應(yīng)用。
元景思維鏈大模型接入DeepSeek-R1并非簡(jiǎn)單的“拿來(lái)主義”，而是“從其善，優(yōu)其不善”，對(duì)DeepSeek-R1版本進(jìn)行了調(diào)整，最大程度規(guī)避了其面對(duì)簡(jiǎn)單問(wèn)題“過(guò)度思考”的現(xiàn)象，使模型具備了“自適應(yīng)”能力。即在面向難度較高問(wèn)題時(shí)使用慢思考模式生成長(zhǎng)思維鏈，面向簡(jiǎn)單問(wèn)題時(shí)則傾向于生成簡(jiǎn)潔的思維鏈，迅速準(zhǔn)確的輸出相關(guān)答案。這樣避免了答案的冗余、資源的浪費(fèi)以及減少用戶(hù)等待時(shí)間，提升用戶(hù)體驗(yàn)。
調(diào)整步驟完整分享
難度自適應(yīng)微調(diào)：為實(shí)現(xiàn)模型推理的難度自適應(yīng)，中國(guó)聯(lián)通利用DeepSeek-R1滿(mǎn)血版模型采樣生成數(shù)據(jù)，通過(guò)復(fù)雜度量化模塊構(gòu)造長(zhǎng)度偏好數(shù)據(jù)集，對(duì)于簡(jiǎn)單問(wèn)題從采樣答案中挑選長(zhǎng)度較短的答案，對(duì)困難問(wèn)題挑選長(zhǎng)度較長(zhǎng)的答案，使得答案長(zhǎng)度與當(dāng)前問(wèn)題復(fù)雜度相匹配。在此基礎(chǔ)上對(duì)DeepSeek-R1進(jìn)行微調(diào)，使得微調(diào)后的模型具備對(duì)不同難度題目的自適應(yīng)慢思考能力。具體改造流程如下圖所示。
自適應(yīng)慢思考的DeepSeek-R1滿(mǎn)血版模型訓(xùn)練流程圖
二次蒸餾：針對(duì)DeepSeek-R1的系列蒸餾模型，由于其使用的蒸餾數(shù)據(jù)來(lái)自訓(xùn)練滿(mǎn)血版R1時(shí)使用的訓(xùn)練數(shù)據(jù)，而非由性能更好的R1滿(mǎn)血版自身生成的數(shù)據(jù)，這會(huì)導(dǎo)致得到的蒸餾模型未能充分學(xué)習(xí)R1滿(mǎn)血版的能力，蒸餾效果大打折扣。為解決這個(gè)問(wèn)題，中國(guó)聯(lián)通使用了二次蒸餾的策略，即利用DeepSeek-R1滿(mǎn)血版將已積累的高質(zhì)量數(shù)據(jù)轉(zhuǎn)化為包括深度思考過(guò)程的長(zhǎng)思維鏈格式數(shù)據(jù)，在DeepSeek-R1蒸餾系列模型基礎(chǔ)上再進(jìn)行一次微調(diào)，使模型具備更強(qiáng)的推理能力。
難度自適應(yīng)強(qiáng)化學(xué)習(xí)：在對(duì)模型進(jìn)行二次蒸餾后，中國(guó)聯(lián)通進(jìn)一步借鑒DeepSeek-R1的構(gòu)建思路，在GRPO算法基礎(chǔ)上提出了一種難度自適應(yīng)強(qiáng)化學(xué)習(xí)算法DA-GRPO（Difficulty Adaptive GRPO），對(duì)二次蒸餾模型進(jìn)行難度自適應(yīng)的強(qiáng)化學(xué)習(xí)訓(xùn)練，進(jìn)一步提升其推理效果。除了使用傳統(tǒng)的基于規(guī)則的正確性獎(jiǎng)勵(lì)、格式獎(jiǎng)勵(lì)、語(yǔ)言一致性獎(jiǎng)勵(lì)外，DA-GRPO還基于每個(gè)問(wèn)題的復(fù)雜程度和生成答案的長(zhǎng)度對(duì)獎(jiǎng)勵(lì)得分進(jìn)行校準(zhǔn)。具體而言，如果模型對(duì)一個(gè)簡(jiǎn)單問(wèn)題輸出較長(zhǎng)的答案，則對(duì)獎(jiǎng)勵(lì)分?jǐn)?shù)進(jìn)行相應(yīng)的懲罰。同時(shí)，若模型對(duì)困難的問(wèn)題輸出較長(zhǎng)的答案，則給予其更高的獎(jiǎng)勵(lì)分?jǐn)?shù)，以鼓勵(lì)其進(jìn)行更充分的思考。這樣，通過(guò)提高樣本答案獎(jiǎng)勵(lì)得分的區(qū)分度，使模型具備根據(jù)問(wèn)題難度輸出相應(yīng)長(zhǎng)度答案的能力，在保證推理準(zhǔn)確率的前提下顯著減少了答案冗余和資源消耗，從而實(shí)現(xiàn)對(duì)不同難度問(wèn)題的自適應(yīng)慢思考。
自適應(yīng)慢思考的DeepSeek-R1蒸餾版模型訓(xùn)練流程圖
推理計(jì)算量節(jié)省約30%！實(shí)測(cè)效果對(duì)比一覽
中國(guó)聯(lián)通以DeepSeek-R1-distill-32B模型為例，對(duì)上述方法的效果進(jìn)行了驗(yàn)證。通過(guò)在數(shù)學(xué)任務(wù)測(cè)評(píng)集（MATH500）上對(duì)比以及具體實(shí)驗(yàn)可以看到，經(jīng)過(guò)難度自適應(yīng)改造后的模型在不同難度等級(jí)問(wèn)題上生成的回答長(zhǎng)度較原版均明顯下降，并且對(duì)于最高難度（Level 5）輸出的回答長(zhǎng)度降幅最大，體現(xiàn)了模型對(duì)不同難度等級(jí)問(wèn)題具備自適應(yīng)慢思考能力。經(jīng)過(guò)測(cè)評(píng)，這種創(chuàng)新的自適應(yīng)慢思考方法，平均可節(jié)省約30%的推理計(jì)算量，冗余輸出大幅減少，用戶(hù)體驗(yàn)得到有效提升。
回答長(zhǎng)度對(duì)比：原版DeepSeek-R1-distill-32B（淺藍(lán)）vs自適應(yīng)版（深藍(lán)）
除了通過(guò)對(duì)DeepSeek-R1模型進(jìn)行自適應(yīng)慢思考優(yōu)化升級(jí)外，中國(guó)聯(lián)通還在緊鑼密鼓推進(jìn)對(duì)DeepSeek-R1系列模型的能力邊界量化和安全價(jià)值觀增強(qiáng)等相關(guān)工作的探索。未來(lái)，中國(guó)聯(lián)通將持續(xù)與以DeepSeek為代表的先進(jìn)開(kāi)源模型深度融合，不斷升級(jí)元景基礎(chǔ)模型能力和MaaS平臺(tái)功能，貫徹開(kāi)源普惠理念，推進(jìn)算力普惠、模型普惠、應(yīng)用普惠，以先進(jìn)數(shù)智水平賦能社會(huì)千行百業(yè)。
目前，自適應(yīng)慢思考版的DeepSeek-R1-distill-32B已在GitHub、魔搭、始智等社區(qū)全面開(kāi)源，地址如下：
GitHub：https://github.com/UnicomAI/Unichat-DeepSeek-R1-distill-32B
魔搭：https://www.modelscope.cn/UnicomAI/Unichat-DeepSeek-R1-distill-32B
始智：https://wisemodel.cn/models/UnicomLLM/Unichat-DeepSeek-R1-distill-32B
