手机开源！美团 LongCat-2.0 电影全方在在网卡卡割り当てCODES | 美团・テクノロジーチーム
本周，美团万亿パラメータ大型モデルLongCat-2.0正式开源！
ハグフェイス |ギットハブ |モデルスコープ
業界リーダーとして、LongCat-2.0弅开傀安全確保的万丿パラメータモデル帯域幅が限られている国内のコンピューティング チップについては、モデル アーキテクチャと展開に適したチップに関して徹底的な協調最適化を実行し、ストレージ カード上の 1 億のモデル パラメータも安定して安定しています。 私たちは、オープンソースモデルの機能と完全なオープン性での結果の最適化を通じて、リアルエージェントコーディングタスクの安定したパフォーマンスに依存し、ディスク寿命をより多くのストレージ容量に国内の計算力を提供し、国内の計算力の環境に優しい長期的な価値をリリースしたいと考えています。
美しい LongCat-2.0 合計パラメータ 1.6T、平均アクティベーション 〜48B、実際のエージェント コーディング タスク用に、アーキテクチャ上でその上に構築される埋め込み。
帯域幅、帯域幅、相互運用性に関する複数の制限に直面しているが、LongCat-2.0 と国産チップの特性を組み合わせることで、モデル、チップ フィッティング、3 方向への展開、1 つのブレークスルーから、モデルの 10 億パラメータのフローが実現されました。
-
モデルレイヤー： 注意 計算モードを吸収することにより、インデクサーと MLA プロローグの並列処理、および KVP 切分 KV キャッシュが効果的に ScMoE の圧力を軽減します。
-
チップ互換層： スーパー カーネルを通じて、起動オープニングのボリュームを減らし、プリフェッチを重み付けし、I/O 遅延を以前の計算で隠しました。同時に、高速ディスクスペースに基づくKVキャッシュの層ごとの完成がTP-up/SP規模で完了し、限られた帯域幅の条件下でハードウェア使用率が最大化されます。
-
多層的な戦略展開： この制約付きデコードは、Expert-Parallel Load Balancing による多重ステップおよび MTP などの動的最適化特性でのプログラミングに適しており、国内のアルゴリズム上で安全なサービスを実現するための PD 分割を使用します。
LongCat-2.0 は、複雑な大規模モデル タスクを実行するための国産チップの成熟した能力を検証しており、オープンソースを通じて業界に再現可能なテクノロジー パスを提供し、実際のシナリオでのストレージ計算能力の応用価値を促進することを期待しています。
LongCat-2.0 は LongCat-Flash の全体的な設計に従っており、長期的なコンテキスト、コード タスク、およびインテリジェント シーンにおいて LongCat-2.0 を中心に 3 つの重要な最適化を行っています。
インテリジェント タスクにおける長い入力シナリオ向けに、LongCat-2.0 では LongCat のアテンション メカニズム (LSA) を導入しています。これにより、フロー センシング、クロスレベル インデックス作成、およびレイヤー レベルのインデックス作成を通じて、百万レベルの長いコンテキストのトレーニングと推論が高速化されます。
LongCat-2.0 新しいパラメータ拡張パスとして MoE の専門家によって N グラム埋め込みが導入されました。MoE の普及率では、N グラム埋め込みの 97% が埋め込まれており、パラメータ収益と構造的安定性が両立しています。
トレーニング段階の後、LongCat-2.0 はマルチ教師によるオンライン ストリーミングを採用し、エキスパートをそれぞれエージェント、推論、インタラクションの 3 つのカテゴリに分類し、自律的実行、自己適応推論、セキュリティなどに焦点を当てます。
LongCat-2.0 のオープンソースは、かつては技術の道を切り開き、またかつては環境への招待でもありました。
このオープンソースは、BF16、FP8、INT8 などの多精度バージョンを同時に提供し、さまざまな演算プラットフォームの導入ニーズを完全にカバーします。同時に、オープンソース コミュニティを深く受け入れ、国内の算術に高度に最適化された推論の結果も同時にオープンソース化します。これは、最新の演算が手元にない場合でも、既存のハードウェアに基づいて LongCat-2.0 を安定して実行できることを意味します。
このオープンボックスを通じて、旧カードも含めてより多くの国産カードを活用し、1000億機種のスムーズな導入が可能となり、実際の生産性シナリオでより大きな価値を引き出せることを期待しております。
技術ブログ: https://longcat.ai/blog/longcat-2.0/
モデルの重み:
推論コード:
プラットフォームAPI:
