← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

ThinkingBox evalúa la consistencia de los agentes de IA frente a bases de datos reales

Un estudio reciente publicado a través de Hugging Face y desarrollado por el equipo de Microsoft Copilot Studio demuestra que una llamada de herramienta exitosa no garantiza un resultado correcto en bases de datos. Para solucionar esto, introducen ThinkingBox, una herramienta orientada a calificar el estado real que dejan los agentes tras múltiples ejecuciones repetidas.

· 1 min · Redacción Punto y Polémica

Qué cambia

ThinkingBox evalúa a los agentes de IA analizando los registros y efectos secundarios concretos que dejan en un entorno aislado de base de datos, en lugar de confiar únicamente en las respuestas textuales o en una sola ejecución exitosa. La herramienta somete 507 flujos de trabajo empresariales a pruebas repetidas de veinte intentos cada uno, exponiendo las discrepancias entre lo que el modelo afirma haber hecho y el estado final del backend.

Por qué importa

Los resultados de las evaluaciones muestran que la consistencia es un desafío mayor que la capacidad general de los modelos. Aunque muchos sistemas alcanzan altas puntuaciones en un único intento (pass@1), la gran mayoría experimenta caídas drásticas de rendimiento al repetir la tarea de forma consecutiva. La herramienta permite a los desarrolladores medir con precisión el coste por tarea dependable y entender qué modelos mantienen un comportamiento fiable a largo plazo.

Pruébalo paso a paso

Mini tutorial

Requisitos respaldados: Linux o WSL, Python 3.11+, uv y Docker, además de un punto de acceso a modelos compatibles.

  1. Clonar el repositorio oficial de OpenEnv y sincronizar el entorno utilizando uv.
  2. Descargar la versión fijada de los datos del banco de pruebas en el repositorio de thinkingbox-data.
  3. Instalar la herramienta de línea de comandos de ThinkingBox con uv tool install.
  4. Iniciar el contenedor de Typesense 30.1 requerido por el sistema de almacenamiento.
  5. Arrancar los servidores MCP y el servidor OpenEnv mediante la configuración especificada para evaluar episodios reales.

Qué deberías obtener

Ejecución de un entorno de pruebas aislado y evaluación de un caso práctico mediante OpenEnv y ThinkingBox.

Antes de empezar

Requiere dependencias locales específicas (Docker, Typesense 30.1) y un punto de acceso a un modelo configurado de forma adecuada.

Fuentes y documentación