← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

ToyBlocks: El nuevo entorno de simulación de AllenAI y Hugging Face para el aprendizaje robótico

Con el objetivo de resolver la falta de entornos controlados y reproducibles en la investigación robótica, AllenAI y Hugging Face han introducido ToyBlocks, el primer entorno dentro de la iniciativa FoundationWorlds que combina física realista, generación automática de tareas y evaluación de modelos de razonamiento y acción.

· 2 min · Redacción Punto y Polémica

Qué cambia

ToyBlocks se presenta como un entorno simulado de ámbito reducido centrado en un brazo robótico y bloques sobre una mesa, integrado dentro de los ecosistemas de simulación de Nvidia (Isaac Lab). A diferencia de los métodos tradicionales que dependen de costosas y lentas teleoperaciones humanas, este marco genera automáticamente demostraciones de tareas y habilidades de corta duración (como empujar, voltear o apilar bloques sin necesidad de levantarlos) ejecutando cientos de planes en paralelo en una sola GPU.

El sistema permite además conectar modelos avanzados de lenguaje y visión, como Molmo 2 o sistemas basados en el Model Context Protocol (MCP) como Claude, para que actúen sobre el entorno mediante comandos de lenguaje natural u observaciones de cámara. Asimismo, la iniciativa incluye la publicación de modelos específicos (como Molmo2-4B-tb y maniflow-tb) y conjuntos de datos en Hugging Face para facilitar la investigación abierta.

Por qué importa

En la investigación en robótica, comprender por qué falla un modelo o cómo se generaliza ante nuevas condiciones suele ser complejo debido a la opacidad de los datos del mundo real. ToyBlocks soluciona este inconveniente acotando el dominio: al mantener una simulación controlada con física realista, los científicos pueden variar las condiciones de entrenamiento (como la posición, la altura de la mesa o las letras impresas en los bloques), aislar fallos de planificación de alto nivel frente a problemas de ejecución de bajo nivel, y estudiar cómo los agentes de IA resuelven tareas complejas o determinan si un objetivo es inviable.

Guía de exploración

Qué puedes hacer con esta novedad

Los recursos, modelos, datasets y la documentación oficial están disponibles públicamente en Hugging Face y en el repositorio de GitHub de AllenAI.

  1. Visitar la colección oficial de ToyBlocks en Hugging Face para examinar los recursos disponibles.
  2. Consultar la documentación oficial en el sitio de AllenAI para revisar la guía de usuario y el diseño del marco FoundationWorlds.
  3. Revisar los repositorios de código en GitHub de AllenAI para conocer la estructura del proyecto y los componentes de simulación.
  4. Explorar el conjunto de datos allenai/toyblocks-data en la plataforma de Hugging Face para analizar las grabaciones de demostración generadas.
  5. Examinar los modelos abiertos asociados, como Molmo 2 y ManiFlow adaptados para ToyBlocks.

Qué deberías obtener

Exploración de los repositorios, documentación y modelos asociados a ToyBlocks para analizar su arquitectura y opciones de simulación.

Antes de empezar

No se detallan instrucciones paso a paso para la instalación local del software ni requisitos específicos de hardware más allá del uso de una unidad de procesamiento gráfico (GPU) para la ejecución en paralelo.

Fuentes y documentación