SLM
De Wiki de TI Responsable
Un SLM (small language model, modelo de lenguaje pequeño) es un modelo de lenguaje de tamaño reducido, a menudo especializado en un ámbito o una tarea.
Ventajas
- Menor coste de inferencia (FR), de uno o dos órdenes de magnitud frente a un modelo grande (FR);
- Ejecución local posible, incluso en una estación de trabajo: los datos no salen del sistema de información;
- Menor latencia;
- Menor huella tanto durante el entrenamiento como durante el uso.
En una tarea delimitada, como clasificar solicitudes, extraer campos o reformular según una plantilla, un SLM correctamente ajustado suele alcanzar el nivel de un modelo grande de uso general.
Es una aplicación concreta de la IA frugal: elegir el modelo más pequeño que satisface la necesidad.
