← Inteligencia artificial

NOVEDADES + GUÍA PRÁCTICA

NVIDIA y AI4Bharat lanzan preentrenamiento masivo para lenguas índicas con 2.8 billones de tokens y canalización abierta

La escasez de datos en lenguas de la India ha frenado históricamente el desarrollo tecnológico frente al inglés. Para mitigar esta brecha, NVIDIA y el laboratorio AI4Bharat del IIT Madras han presentado un corpus masivo y herramientas abiertas de traducción y evaluación.

· 2 min · Redacción Punto y Polémica

Qué cambia

NVIDIA, en conjunto con el IIT Madras y el centro AI4Bharat, introdujo 'Nemotron-pretraining-Indic-v1', un corpus que abarca aproximadamente 2.8 billones de tokens distribuidos en 22 lenguas indias. La iniciativa incluye datos en escritura nativa y textos romanizados, sumando 34 configuraciones lingüísticas.

Para construir este conjunto de datos, las organizaciones implementaron una canalización GPU acelerada mediante NeMo Data Designer. Esta infraestructura traduce documentos en inglés, evalúa la calidad con criterios inspirados en métricas multidimensionales (MQM), realiza correcciones automáticas y preserva elementos complejos como ecuaciones, código y tablas.

Por qué importa

El acceso limitado a recursos textuales de alta calidad en lenguas regionales ha retrasado el avance de la inteligencia artificial multilingüe en el sur de Asia. Al liberar tanto el corpus como la receta de generación y las directrices de evaluación, los desarrolladores disponen de un marco auditable para adaptar fuentes de datos y entrenar modelos con mayor precisión técnica.

Además, la integración de este entrenamiento previo continuado (CPT) en el modelo Nemotron 3.5 Super VL demostró mejoras en benchmarks de conocimiento, razonamiento, matemáticas y resolución de problemas, evidenciando el impacto positivo de mezclar datos sintéticos y naturales.

Guía de exploración

Qué puedes hacer con esta novedad

Los recursos se encuentran disponibles en la plataforma Hugging Face y en los repositorios oficiales de código abierto de NVIDIA y AI4Bharat, requiriendo la revisión previa de licencias y tarjetas de datos para su uso en experimentación.

  1. Explorar las configuraciones lingüísticas y de escritura en la documentación del corpus 'Nemotron-pretraining-Indic-v1' en Hugging Face para identificar los subconjuntos requeridos.
  2. Utilizar la biblioteca de Datasets de Hugging Face para consultar las particiones disponibles mediante funciones de transmisión (streaming) y examinar registros individuales de manera preliminar.
  3. Revisar el código y la documentación del complemento 'Nemotron Bharat' para NeMo Data Designer en el repositorio oficial de GitHub con el fin de comprender los flujos de traducción y evaluación.
  4. Consultar los informes técnicos complementarios y las directrices de evaluación de Indic-LLM-Eval-Suite para analizar las métricas de rendimiento y calidad en tareas multilingües.

Qué deberías obtener

Inspeccionar las particiones disponibles y transmitir una muestra del corpus de forma eficiente sin necesidad de descargar el conjunto completo.

Antes de empezar

La evaluación automatizada y las traducciones pueden contener errores residuales, por lo que se recomienda complementar con revisiones humanas y validar los resultados según el caso de uso específico.

Fuentes y documentación