NOVEDADES + GUÍA PRÁCTICA
LFM2.5-24B-A2B: Un modelo de razonamiento optimizado para agentes locales
Se ha presentado LFM2.5-24B-A2B, un modelo de razonamiento enfocado en la ejecución de agentes en dispositivos propios con un consumo de recursos eficiente.
Qué cambia
El nuevo modelo LFM2.5-24B-A2B cuenta con una arquitectura de 24.000 millones de parámetros totales, de los cuales solo 2.000 millones están activos por token. Incorpora una ventana de contexto ampliada a 131K tokens y un tokenizador duplicado a 128K para mejorar la representación de caracteres no latinos. A diferencia de versiones anteriores, este desarrollo se centra en el razonamiento explícito antes de ofrecer una respuesta y en la ejecución de llamadas a herramientas.
Por qué importa
Este diseño permite un rendimiento rápido en hardware local y servidores, alcanzando altas velocidades de decodificación en dispositivos como Apple M5 Max y procesadores Ryzen AI, así como en GPUs NVIDIA. Su rendimiento compite con modelos de mayor tamaño en tareas de uso de herramientas y seguimiento de instrucciones, facilitando la integración en entornos de agentes de forma local y privada.
Mini tutorial
Los modelos LFM2.5-24B-A2B y LFM2.5-24B-A2B-Base están disponibles con pesos abiertos en la plataforma Hugging Face.
- Instalar la versión más reciente de la biblioteca transformers compatible con transformers>=5.0.0 utilizando pip.
- Cargar el modelo y el tokenizador desde el repositorio 'LiquidAI/LFM2.5-24B-A2B' en Hugging Face empleando la biblioteca transformers.
- Configurar el backend de servidor local compatible según la herramienta seleccionada (como llama.cpp, MLX, vLLM, SGLang o LM Studio).
- Conectar el arnés de agentes deseado (por ejemplo, Hermes Agent) apuntando a la URL base del servidor local configurado.
Qué deberías obtener
Carga y ejecución local del modelo LFM2.5-24B-A2B mediante la biblioteca transformers o su despliegue en un backend compatible con OpenAI.
Antes de empezar
Los modelos más grandes conservan ventaja en tareas intensivas en conocimiento y programación avanzada, por lo que se recomienda combinarlos con recuperación de datos o búsqueda web para esas cargas de trabajo.