NOVEDADES + GUÍA PRÁCTICA
Granite Switch 4.1 integra chat, decisiones y voz en un único endpoint
La reciente actualización de los modelos Granite Switch 4.1 permite alternar de forma eficiente entre peticiones de chat, voz y decisiones especializadas utilizando el almacenamiento en caché de los adaptadores LoRA activados.
Qué cambia
Los nuevos modelos Granite Switch 4.1, disponibles en versiones de 8B y 30B parámetros, vienen configurados de serie con adaptadores predefinidos que incluyen capacidades de toma de decisiones generales, un adaptador Guardian para tareas de seguridad y el codificador de voz Granite-Speech-5.0-Turbo-CTC.
Gracias al uso de adaptadores LoRA activados de manera eficiente en caché (Activated LoRAs) y contribuciones recientes para acelerar la inferencia en vLLM, el sistema reutiliza el búfer KV del modelo base para realizar distintas tareas a gran velocidad sin requerir más memoria VRAM adicional en la GPU.
Qué importa
Esta arquitectura modular permite que una sola infraestructura gestione flujos de trabajo complejos, como la transcripción de audio, la generación de resúmenes y el filtrado de contenidos dañinos en tiempo real desde un único endpoint.
Además, la flexibilidad del sistema permite que la comunidad combine adaptadores propios o de terceros desde las bibliotecas de Granite para adaptarlos a necesidades específicas, optimizando el rendimiento frente a modelos generalistas tradicionales.
Qué puedes hacer con esta novedad
Los modelos y recursos están disponibles en la plataforma de Hugging Face a través de las colecciones oficiales de ibm-granite y su repositorio en GitHub.
- Explorar la interfaz del espacio interactivo 'Speech-to-Decisions HF space' para probar la transcripción de audio, resúmenes y filtros de contenido.
- Comparar los adaptadores de 'granitelib' frente a otros modelos de decisión mediante el espacio 'Compare granitelib adapters'.
- Consultar las tarjetas de los modelos Granite-Switch-4.1-8B y -30B en Hugging Face para revisar especificaciones técnicas y requerimientos de hardware.
- Revisar el catálogo de adaptadores y la documentación en el repositorio de GitHub de Granite Switch.
Qué deberías obtener
Visualización del funcionamiento de los adaptadores, pruebas de rendimiento comparativas y acceso a los componentes de chat, voz y decisiones desde espacios interactivos.
Antes de empezar
Los detalles exactos de despliegue dependen de la compatibilidad con vLLM, llama.cpp y los complementos documentados en el repositorio oficial.