Nemotron 3 Ultra

การวิเคราะห์

Nemotron 3 Ultra คือตัวสูงสุดของตระกูล open ของ Nvidia: sparse model แบบ hybrid ระหว่าง Mamba และ transformer ขนาด 550 พันล้านพารามิเตอร์ที่เปิดใช้งาน 55 พันล้าน พร้อม context window หนึ่งล้าน token Nvidia เผยแพร่ทั้ง checkpoints แบบ base และแบบ post-trained เวอร์ชัน quantised และชุดข้อมูลเบื้องหลัง ซึ่งมีไม่กี่แล็บในระดับนี้ที่ทำ มันสร้างมาสำหรับ agent ที่ทำงานต่อเนื่องยาวนานบนฮาร์ดแวร์ Nvidia และด้านการใช้เหตุผลทั่วไปมันอยู่กลางกลุ่ม open models ไม่ใช่หัวแถว

จุดเด่น

• เผยแพร่ทั้งน้ำหนัก checkpoints และชุดข้อมูลฝึก
• บริบทหนึ่งล้าน token บนการออกแบบ hybrid ที่สร้างมาเพื่อ throughput
• สัญญาอนุญาตอนุญาตการใช้งานเชิงพาณิชย์

ควรรู้ก่อน

• กลาง ๆ ด้านการใช้เหตุผลเมื่อเทียบกับ open models จีนชั้นนำ
• ต้องใช้เซิร์ฟเวอร์หลาย GPU เพื่อรันขนาดเต็ม