Muse Glimmer 30B

การวิเคราะห์

Muse Glimmer คือ open release ตัวแรกของ Meta ภายใต้ชื่อ Muse และสัญญาอนุญาตคือประเด็นข่าว: Apache 2.0 โดยไม่มีเกณฑ์จำนวนผู้ใช้แบบที่มากับ Llama มันคือ dense model ขนาดราวสามสิบพันล้านพารามิเตอร์ที่อ่านได้ทั้งรูปภาพและข้อความ และใส่ใน GPU หน่วยความจำสูงตัวเดียวได้ คะแนนด้านการเขียนโค้ดและคณิตศาสตร์แข็งแกร่งสำหรับขนาดของมัน แม้ดัชนีอิสระจะจัดมันไว้ต่ำกว่า sparse open models ขนาดใหญ่อยู่มาก สำหรับ assistant ที่โฮสต์เองและนำไปใช้ได้ทุกที่ มันคือ base ที่สมเหตุสมผล

จุดเด่น

• Apache 2.0 โดยไม่มีเงื่อนไขใด ๆ แบบสัญญาอนุญาตของ Llama
• ใส่ใน GPU หน่วยความจำสูงตัวเดียวได้
• คะแนนการเขียนโค้ดแข็งแกร่งสำหรับขนาดของมัน

ควรรู้ก่อน

• ตามหลัง sparse open models ขนาดใหญ่อยู่มากในการใช้เหตุผลที่ยาก
• บริบท 131,000 token ซึ่งสั้นเมื่อเทียบกับกลุ่มที่มีหนึ่งล้าน token