DeepSeek、Ascend向け計算・通信ソフトを公開　Huaweiと128基構成も最適化

カーネル記述から複数チップの通信まで

AIチップを使うには、演算器に合ったカーネルを書き、行列計算やチップ間通信を動かすソフトが要る。今回の公開は、その開発レイヤーをAscend向けに広げるものだ。

DeepEP-Ascendは、混合エキスパート（MoE）モデルでトークンを担当エキスパートへ送り、結果を戻すall-to-all通信を担う。実装はAscend CとHuaweiのHCCL/HCOMM、UBMEM、URMAを使い、DeepJITで実行時にコンパイルする。APIをNVIDIA版に合わせても、Ascendで動かすにはCANNやBisheng、torch_npuなど対応ソフトが必要だ。

128基のスーパーノードは別途報道

Reutersは、DeepSeekが公式WeChatでHuaweiの全面的な支援に触れ、両社がAscend 950を128基使うスーパーノード案で計算と通信を最適化したと報じた。128基という数以外に、チップの型番、メモリー容量、接続方式、測定条件は公表資料から確認できない。

Huaweiが別に発表したAtlas 950 SuperPoDは、最大8192基のAscend 950DTを搭載し、フル構成は160のキャビネットで組む計画だ。そのうち128は計算用、32は通信用のキャビネットである。DeepSeekとHuaweiの128基構成でいう「128」はチップ数で、Atlas 950の発表にある「128」は計算キャビネット数を指す。

公開ベンチマークの条件に注意

DeepEP-AscendのREADMEには、Ascend 950DT上の通信速度が掲載されている。測定環境はCANN 9.2.0と、DeepSeekに提供された手動構成のPoC用HDKだ。DeepSeekはこのHDKを一般配布しておらず、READMEも将来公開予定の市販HDKで測った値とは区別している。したがって、掲載値はプロジェクト作者による試験結果で、第三者が再現した比較ベンチマークではない。

DeepEPのAscendバックエンドには、未実装や実験段階の機能も残る。READMEによると、reduce-scatterやall-reduceは開発中で、pipeline parallelismやEngram向け機能は実験的だ。独立した性能比較も今回確認できなかった。現時点で確認できるのはAscend向けソフトとその対応範囲で、NVIDIA環境との性能同等性や全面的な置き換えは示されていない。

DeepSeekのV4モデルカードは、主要モデルの学習に使ったチップ構成やAscendの利用比率を明らかにしていない。Ascend向けライブラリの公開は、DeepSeekが自社モデルをAscendでどの規模まで学習したかを示すものではない。