En 30 segundos

El proyecto prepara unos 2,8 billones de tokens y una canalización de traducción, evaluación y reparación. La fuente sitúa la publicación del corpus como próxima.

Qué ha pasado

NVIDIA, IIT Madras y AI4Bharat han anunciado Nemotron-pretraining-Indic-v1: aproximadamente 2,8 billones de tokens para 22 lenguas de India. El artículo del 16 de octubre describe también la receta de generación y sus controles de calidad. Indica que el corpus se publicará próximamente.

Por qué importa

Los modelos necesitan material técnico y lingüístico que vaya más allá del inglés. El proyecto busca ampliar esos recursos mediante traducción y reparación de textos. Los datos sintéticos complementan los textos escritos originalmente en cada lengua; no sustituyen su conocimiento cultural.

A quién afecta

Equipos que construyen modelos multilingües y comunidades con pocos datos digitales.

Escrituras y trazabilidad

El anuncio incluye escritura nativa para las 22 lenguas y versiones romanizadas para doce. Los registros conservan el vínculo con documentos de partida. La canalización comprueba elementos como ecuaciones, tablas y código para limitar pérdidas durante la traducción.

Qué permanece por comprobar

El volumen depende del tokenizador empleado y no equivale a documentos únicos. La disponibilidad efectiva y las condiciones de cada conjunto deben verificarse al descargarlos. IARADIA ha leído el anuncio del equipo, sin entrenar modelos ni evaluar la calidad del corpus.

Fuentes y procedencia

Cómo verificamos y actualizamos este contenido