Nemotron 3 Ultra

評価

Nemotron 3 UltraはNvidiaのオープンファミリーの最上位モデルだ。Mambaとトランスフォーマーを組み合わせたハイブリッドのスパースモデルで、パラメータ数5,500億、うちアクティブ550億、ウィンドウは100万トークン。Nvidiaはベースとポストトレーニング済みのチェックポイント、量子化版、そしてその背後にあるデータセットを公開しており、この規模でそうするラボは少ない。Nvidiaハードウェア上で長時間動くエージェント向けに作られており、汎用推論ではオープンモデルの中で首位ではなく中位に位置する。

特に優れている点

• ウェイト・チェックポイント・トレーニングデータセットをすべて公開
• スループット重視のハイブリッド設計で100万トークンのコンテキスト
• ライセンスで商用利用が認められている

先に知っておくべきこと

• 中国の主要オープンモデルとの推論比較では中位
• フルサイズで動かすにはマルチGPUサーバーが必要