Liquid LFM 2

La reseña

Liquid construye sobre una arquitectura completamente diferente, y el beneficio es la velocidad de decodificación en hardware sin GPU: aproximadamente el doble de lo que un transformer comparable logra en una CPU. Para un asistente en dispositivo, un producto embebido, o cualquier cosa que tenga que funcionar sin conexión de red, eso lo es todo. Son modelos pequeños con el techo de conocimiento que tienen los modelos pequeños, y la arquitectura es desconocida para la mayoría de las herramientas.

Dónde destaca

• Aproximadamente el doble de velocidad de decodificación en CPU que los transformers comparables
• Funciona genuinamente sin conexión en hardware de clase teléfono
• Huella de memoria pequeña, por lo que cabe dentro de una aplicación

Conviene saber antes

• Modelos pequeños, con un techo de capacidad correspondientemente bajo
• Arquitectura no basada en transformers que la mayoría de las herramientas no esperan