Liquid LFM 2

Die Einschätzung

Liquid baut auf einer völlig anderen Architektur auf, und der Gewinn ist Dekodiergeschwindigkeit auf Hardware ohne GPU: etwa doppelt so schnell wie ein vergleichbarer Transformer auf einer CPU. Für einen On-Device-Assistenten, ein eingebettetes Produkt oder alles, was ohne Netzwerk funktionieren muss, ist das das Entscheidende. Es sind Kleinmodelle mit der Wissensgrenze, die Kleinmodelle nun einmal haben, und die Architektur ist den meisten Tooling-Systemen fremd.

Wo es glänzt

• Etwa doppelte CPU-Dekodiergeschwindigkeit gegenüber vergleichbaren Transformern
• Läuft wirklich offline auf Telefon-Hardware
• Kleiner Speicherbedarf, sodass es in eine App passt

Vorher wissenswert

• Kleinmodelle mit entsprechend niedrigem Leistungsniveau
• Nicht-Transformer-Architektur, die die meisten Tooling-Systeme nicht erwarten