En 30 segundos
El proyecto prepara unos 2,8 billones de tokens y una canalización de traducción, evaluación y reparación. La fuente sitúa la publicación del corpus como próxima.
Qué ha pasado
NVIDIA, IIT Madras y AI4Bharat han anunciado Nemotron-pretraining-Indic-v1: aproximadamente 2,8 billones de tokens para 22 lenguas de India. El artículo del 16 de octubre describe también la receta de generación y sus controles de calidad. Indica que el corpus se publicará próximamente.
Por qué importa
Los modelos necesitan material técnico y lingüístico que vaya más allá del inglés. El proyecto busca ampliar esos recursos mediante traducción y reparación de textos. Los datos sintéticos complementan los textos escritos originalmente en cada lengua; no sustituyen su conocimiento cultural.
A quién afecta
Equipos que construyen modelos multilingües y comunidades con pocos datos digitales.
Escrituras y trazabilidad
El anuncio incluye escritura nativa para las 22 lenguas y versiones romanizadas para doce. Los registros conservan el vínculo con documentos de partida. La canalización comprueba elementos como ecuaciones, tablas y código para limitar pérdidas durante la traducción.
Qué permanece por comprobar
El volumen depende del tokenizador empleado y no equivale a documentos únicos. La disponibilidad efectiva y las condiciones de cada conjunto deben verificarse al descargarlos. IARADIA ha leído el anuncio del equipo, sin entrenar modelos ni evaluar la calidad del corpus.
Fuentes y procedencia
- Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline · Hugging Face / equipo del anuncio · Publicado 16/10/2026