Cómo elegir un modelo de IA con pruebas comparables

Antes de empezar

Nivel principiante. Necesitas Node.js, el programa que ejecuta JavaScript en tu ordenador, y un editor de texto. No necesitas cuenta ni clave.

Abre una terminal: una ventana donde escribes órdenes para tu ordenador. Sitúate en la carpeta del archivo.

Un modelo es un sistema entrenado para producir respuestas a partir de datos.

Una evaluación compara esas respuestas con un resultado esperado. Decide primero qué resultado necesitas.

1. Escribe una tarea concreta

Describe una sola tarea. Por ejemplo: clasificar mensajes como factura, consulta o reclamación.

Define qué errores puedes aceptar y cuáles necesitan revisión. Evita «quiero el mejor modelo».

Qué deberías ver: Una frase que permita decidir si una respuesta sirve. Por ejemplo: «La categoría coincide con la revisada previamente».

2. Guarda el ejemplo de comparación

Guarda el bloque en comparar.mjs. Cuenta cuántas respuestas coinciden con la categoría esperada.

expected significa «esperado» y actual significa «obtenido». Estos datos son inventados; no describen ningún modelo comercial.

// Casos sintéticos: no son resultados de ningún proveedor.
const cases = [
  { expected: "factura", actual: "factura" },
  { expected: "consulta", actual: "consulta" },
  { expected: "reclamacion", actual: "consulta" }
];
const accepted = cases.filter(row => row.actual === row.expected).length;
console.log("Casos aceptados: " + accepted + "/" + cases.length);

Casos aceptados: 2/3

Qué deberías ver: Un archivo comparar.mjs con tres casos. Comprueba que cada caso tiene una respuesta esperada y otra obtenida.

3. Ejecuta el recuento

Escribe node comparar.mjs en la terminal. El programa cuenta coincidencias sin llamar a ningún servicio.

Qué deberías ver: Casos aceptados: 2/3. El tercer caso devuelve consulta cuando se esperaba reclamacion.

4. Define tu comparación real

Anota los criterios para cada candidato. Conserva las mismas entradas y la misma regla para aceptar respuestas.

La latencia es el tiempo que esperas hasta recibir una respuesta útil. Mídela en tu aplicación.

Consulta las tarifas oficiales antes de estimar costes. Registra la fecha, el modelo y su configuración.

Qué deberías ver: Una tabla de casos y criterios aplicable a todos los candidatos. Los resultados reales quedan pendientes de ejecutar esas pruebas.

Errores comunes

Comparas entradas distintas: repite exactamente los mismos casos para cada candidato.

Solo pruebas casos fáciles: añade ejemplos ambiguos y errores frecuentes de tu tarea.

Confundes el ejercicio con una clasificación real: sustituye los datos inventados solo por respuestas que hayas obtenido y registrado.

Qué has aprendido

Puedes definir una tarea, contar aciertos y preparar una comparación repetible. La popularidad de un modelo no demuestra que resuelva tu tarea.

Siguiente paso

Continúa con tokens y contexto: cómo interpretar el uso de una api de ia.