近期，中國移動實現智算萬卡池在長周期訓練場景下持續(xù)穩(wěn)定運行，訓練穩(wěn)定性達到行業(yè)領先水平，有效解決了超大規(guī)模算力集群調度、高可靠通信保障、故障智能診斷與快速自愈等業(yè)界難題。
隨著人工智能技術的爆發(fā)式發(fā)展，大模型參數規(guī)模從百億級向萬億級躍升，對智算基礎設施的算力密度、穩(wěn)定性和協同效率提出了前所未有的挑戰(zhàn)。針對萬卡級規(guī)模協同訓練場景，全球普遍面臨智算集群穩(wěn)定性瓶頸問題。中國移動依托哈爾濱數據中心智算集群，主導研發(fā)全調度以太網（GSE）技術體系，打造慢卡慢網絡風險識別、斷點續(xù)訓、AI運維智能體等新技術，攻克了超大規(guī)模智算基礎設施運行的關鍵技術瓶頸。在協同管理機制上，中國移動以“五個一”卓越運維體系為指導，通過多輪流程優(yōu)化攻堅，將故障處理流程大幅壓縮，實現客戶需求“一點響應”的端到端閉環(huán)。
中國移動“五個一”智算運維體系
在關鍵技術突破層面，團隊重點攻關三大核心難題。一是創(chuàng)新慢卡慢網絡風險識別技術，實現典型場景故障全部感知、提升診斷準確率；二是研發(fā)斷點續(xù)訓機制，實現故障節(jié)點自動隔離后訓練狀態(tài)的分鐘級回滾，硬件故障導致的斷訓量下降50%；三是引入AI運維智能體，通過多層架構日志分析系統(tǒng)實現分鐘級故障定界，覆蓋25類軟硬件故障解決方案，將故障處理時長從數天級降至分鐘級。訓練任務使用一萬余張NPU板卡，全程保持集群可用率、服務可用率達到三個九的超高穩(wěn)定性，其中NPU故障占比、光鏈路故障率大幅降低，充分驗證了技術方案的有效性。
NPU端口異常導致性能劣化場景案例展示
在卓越運維能力方面，中國移動在黑龍江、廣東打造了智算運維樣板間，首創(chuàng)訓推一體的智算統(tǒng)一運維體系，率先構建了覆蓋應用、模型、算力全棧的智能運維能力，業(yè)界領先探索應用-模型-算力的最佳實踐與黃金運維指標體系，依托AI技術實現分鐘級智算業(yè)務故障智能處置修復和能效算效雙優(yōu)，支撐黨政、金融、教育等十大行業(yè)優(yōu)勢卡位，賦能智能制造、生態(tài)保護、智慧政務、隱私保護等社會關鍵領域，支撐外部客戶數百場智算樣板間參觀展示、近百次頂層規(guī)劃和解決方案設計，創(chuàng)造超10億元直接經濟效益。
中國移動智算運維樣板間正式發(fā)布
中國移動這一系列突破遠超技術層面，從行業(yè)維度看，智算萬卡池長穩(wěn)訓練時長的大幅度提升，標志著我國在超大規(guī)模智算集群管控領域已具備領先水平，兩大智算運維樣板間也必將充分發(fā)揮產業(yè)示范和標桿作用，不僅在國內形成示范，更為全球超大規(guī)模智算集群的訓練與運維提供了中國方案和中國標準；從經濟價值看，長穩(wěn)運行能力直接將大模型訓練周期縮短近三分之一，資源利用率近100%，為AI技術工業(yè)化量產奠定基礎；從社會價值看，穩(wěn)定的智算底座可支撐自動駕駛、生物醫(yī)藥、新材料研發(fā)等前沿領域的突破，加速科技創(chuàng)新與產業(yè)升級，成為推動新質生產力發(fā)展和經濟社會數智化轉型的核心引擎。
未來，中國移動將持續(xù)引領智算先鋒產業(yè)，大力推動算力基礎設施從“通算為主”向“云智算”轉變，支撐多樣化、個性化、極致化計算需求，構筑新一代智能算力服務體系，從支撐大模型研發(fā)到賦能實體經濟，以領先的智算基礎設施為我國人工智能產業(yè)加速升級提供堅實可靠的算力底座，為中國數字經濟高質量發(fā)展注入澎湃動能。
