← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

LFM2.5-24B-A2B: Un modelo de razonamiento optimizado para agentes locales

Se ha presentado LFM2.5-24B-A2B, un modelo de razonamiento enfocado en la ejecución de agentes en dispositivos propios con un consumo de recursos eficiente.

· 1 min · Redacción Punto y Polémica

Qué cambia

El nuevo modelo LFM2.5-24B-A2B cuenta con una arquitectura de 24.000 millones de parámetros totales, de los cuales solo 2.000 millones están activos por token. Incorpora una ventana de contexto ampliada a 131K tokens y un tokenizador duplicado a 128K para mejorar la representación de caracteres no latinos. A diferencia de versiones anteriores, este desarrollo se centra en el razonamiento explícito antes de ofrecer una respuesta y en la ejecución de llamadas a herramientas.

Por qué importa

Este diseño permite un rendimiento rápido en hardware local y servidores, alcanzando altas velocidades de decodificación en dispositivos como Apple M5 Max y procesadores Ryzen AI, así como en GPUs NVIDIA. Su rendimiento compite con modelos de mayor tamaño en tareas de uso de herramientas y seguimiento de instrucciones, facilitando la integración en entornos de agentes de forma local y privada.

Pruébalo paso a paso

Mini tutorial

Los modelos LFM2.5-24B-A2B y LFM2.5-24B-A2B-Base están disponibles con pesos abiertos en la plataforma Hugging Face.

  1. Instalar la versión más reciente de la biblioteca transformers compatible con transformers>=5.0.0 utilizando pip.
  2. Cargar el modelo y el tokenizador desde el repositorio 'LiquidAI/LFM2.5-24B-A2B' en Hugging Face empleando la biblioteca transformers.
  3. Configurar el backend de servidor local compatible según la herramienta seleccionada (como llama.cpp, MLX, vLLM, SGLang o LM Studio).
  4. Conectar el arnés de agentes deseado (por ejemplo, Hermes Agent) apuntando a la URL base del servidor local configurado.

Qué deberías obtener

Carga y ejecución local del modelo LFM2.5-24B-A2B mediante la biblioteca transformers o su despliegue en un backend compatible con OpenAI.

Antes de empezar

Los modelos más grandes conservan ventaja en tareas intensivas en conocimiento y programación avanzada, por lo que se recomienda combinarlos con recuperación de datos o búsqueda web para esas cargas de trabajo.

Fuentes y documentación