← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

TorchNeuron: Integración nativa de PyTorch en AWS Trainium

Hugging Face ha presentado TorchNeuron, un nuevo backend nativo para PyTorch en AWS Trainium que permite ejecutar y entrenar modelos directamente utilizando las bibliotecas estándar de la plataforma sin requerir código personalizado o compilaciones complejas.

· 1 min · Redacción Punto y Polémica

Qué cambia con TorchNeuron

Hasta ahora, la experiencia en AWS Trainium e Inferentia dependía de la biblioteca optimum-neuron y del paquete torch-neuronx, basados en PyTorch XLA. Esto obligaba a trabajar con tensores perezosos, formas estáticas y recompilaciones frecuentes ante rupturas de grafos.

TorchNeuron introduce un backend nativo que expone a Neuron como un dispositivo estándar de PyTorch. Permite ejecución ágil (eager mode), torch.compile y primitivas distribuidas nativas como FSDP y DTensor. Las bibliotecas de Hugging Face como Transformers, Diffusers y TRL se comunican directamente con el hardware sin intermediarios.

Por qué importa para desarrolladores

La compatibilidad nativa incrementa de forma notable el soporte de arquitecturas. Según los datos difundidos, el 89 % de los 100 modelos de generación de texto más usados funcionan de serie con TorchNeuron, en comparación con el 46 % de versiones anteriores de optimum-neuron.

Asimismo, los scripts de entrenamiento y ajuste fino con TRL o la generación de texto con Diffusers pueden ejecutarse empleando clases y configuraciones idénticas a las de cualquier otro acelerador de hardware, facilitando compartir los puntos de control directamente en Hugging Face Hub.

Pruébalo paso a paso

Mini tutorial

Disponible en fase de beta pública desde el 20 de octubre de 2026 mediante instalación con pip install torch-neuronx.

  1. Instalar el paquete necesario ejecutando pip install torch-neuronx.
  2. Configurar el argumento device_map='neuron' en los scripts de Transformers para trasladar los modelos a los dispositivos Neuron.
  3. Desactivar la carga asincrónica de pesos estableciendo la variable de entorno HF_DEACTIVATE_ASYNC_LOAD=1 antes de iniciar procesos de entrenamiento.
  4. Lanzar el entrenamiento o la inferencia mediante torchrun especificando las dimensiones de paralelismo de tensores (TP) y FSDP acordes a la infraestructura.

Qué deberías obtener

Ejecución de tareas de generación de texto o ajuste fino de modelos sobre instancias de AWS Trainium utilizando la interfaz nativa de PyTorch y Hugging Face.

Antes de empezar

La carga asincrónica de pesos integrada en Transformers no es compatible con Neuron por el momento, por lo que debe desactivarse mediante la variable HF_DEACTIVATE_ASYNC_LOAD=1.

Fuentes y documentación