← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

Granite Switch 4.1 integra chat, decisiones y voz en un único endpoint

La reciente actualización de los modelos Granite Switch 4.1 permite alternar de forma eficiente entre peticiones de chat, voz y decisiones especializadas utilizando el almacenamiento en caché de los adaptadores LoRA activados.

· 1 min · Redacción Punto y Polémica

Qué cambia

Los nuevos modelos Granite Switch 4.1, disponibles en versiones de 8B y 30B parámetros, vienen configurados de serie con adaptadores predefinidos que incluyen capacidades de toma de decisiones generales, un adaptador Guardian para tareas de seguridad y el codificador de voz Granite-Speech-5.0-Turbo-CTC.

Gracias al uso de adaptadores LoRA activados de manera eficiente en caché (Activated LoRAs) y contribuciones recientes para acelerar la inferencia en vLLM, el sistema reutiliza el búfer KV del modelo base para realizar distintas tareas a gran velocidad sin requerir más memoria VRAM adicional en la GPU.

Qué importa

Esta arquitectura modular permite que una sola infraestructura gestione flujos de trabajo complejos, como la transcripción de audio, la generación de resúmenes y el filtrado de contenidos dañinos en tiempo real desde un único endpoint.

Además, la flexibilidad del sistema permite que la comunidad combine adaptadores propios o de terceros desde las bibliotecas de Granite para adaptarlos a necesidades específicas, optimizando el rendimiento frente a modelos generalistas tradicionales.

Guía de exploración

Qué puedes hacer con esta novedad

Los modelos y recursos están disponibles en la plataforma de Hugging Face a través de las colecciones oficiales de ibm-granite y su repositorio en GitHub.

  1. Explorar la interfaz del espacio interactivo 'Speech-to-Decisions HF space' para probar la transcripción de audio, resúmenes y filtros de contenido.
  2. Comparar los adaptadores de 'granitelib' frente a otros modelos de decisión mediante el espacio 'Compare granitelib adapters'.
  3. Consultar las tarjetas de los modelos Granite-Switch-4.1-8B y -30B en Hugging Face para revisar especificaciones técnicas y requerimientos de hardware.
  4. Revisar el catálogo de adaptadores y la documentación en el repositorio de GitHub de Granite Switch.

Qué deberías obtener

Visualización del funcionamiento de los adaptadores, pruebas de rendimiento comparativas y acceso a los componentes de chat, voz y decisiones desde espacios interactivos.

Antes de empezar

Los detalles exactos de despliegue dependen de la compatibilidad con vLLM, llama.cpp y los complementos documentados en el repositorio oficial.

Fuentes y documentación