Define una tarea y un resultado comprobable
Una primera prueba de IA necesita una pregunta concreta: qué trabajo quieres apoyar y cómo sabrás si el resultado sirve. Buscar una respuesta en procedimientos internos, clasificar una solicitud o extraer campos de un documento son tareas distintas. Elige una, un grupo de usuarios y una salida que alguien pueda revisar.
Describe el proceso actual y su dificultad: información dispersa, formatos variables o tiempo de lectura. Anota quién valida hoy el resultado y qué consecuencias tiene equivocarse. Un objetivo como «usar IA» no permite decidir cuándo la prueba está terminada.
Compara con una solución sencilla
| Situación | Alternativa que probar | Qué evaluar si se incorpora IA |
|---|---|---|
| Datos siempre con el mismo formato | Validación y extracción por reglas. | Si maneja variaciones que las reglas no cubren. |
| Documentación difícil de encontrar | Ordenar documentos y mejorar la búsqueda. | Si responde con referencias útiles y respeta permisos. |
| Solicitudes con categorías claras | Formulario con opciones y reglas de reparto. | Si clasifica textos libres sin perder casos ambiguos. |
| Respuestas repetidas a clientes | Plantillas revisadas y accesibles al equipo. | Si prepara borradores correctos que requieren menos corrección. |
Compara ambas opciones usando las mismas entradas y considerando el tiempo de revisión. Si ordenar documentos o mejorar un formulario resuelve el problema, puede ser el siguiente paso suficiente. Si la IA aporta utilidad, empieza preparando resultados para aprobación antes de permitir acciones externas.
Comprueba disponibilidad, sensibilidad y permisos
- Disponibilidad: ¿hay ejemplos reales y documentación vigente? ¿Quién responde de su calidad?
- Permisos: ¿cada usuario puede consultar toda la información o existen restricciones por equipo o cliente?
- Sensibilidad: ¿qué campos son necesarios? ¿Se pueden retirar datos personales, contratos o secretos de los ejemplos?
- Proveedor: ¿qué condiciones aplica al almacenamiento, retención y uso de las entradas? Revísalas para el servicio y contrato concretos.
- Trazabilidad: ¿se podrá comprobar de qué documento procede una respuesta y quién aprobó su uso?
- Actualización: ¿cómo se retira un documento obsoleto y quién verifica que deja de utilizarse?
Antes de conectar datos reales, acuerda qué información puede salir de tus sistemas y quién autoriza ese acceso. Una demostración con datos ficticios sirve para explorar la interfaz; no demuestra que el sistema sea adecuado para documentos sensibles ni para todos los permisos de la empresa.
Evalúa con ejemplos que representen el trabajo
La documentación de OpenAI sobre evaluación recomienda pruebas específicas de la tarea y ejemplos habituales, difíciles y adversos. Para tu prueba, prepara entradas representativas y una referencia revisada por quien conoce el proceso. Reserva ejemplos que no se hayan usado para ajustar el sistema, para comprobar su respuesta ante casos nuevos.
Fuente oficial: buenas prácticas de evaluación de OpenAI
- Define qué constituye una respuesta correcta: campos exactos, clasificación aceptada o respuesta respaldada por documentos.
- Incluye entradas incompletas, documentos contradictorios y preguntas sin respuesta en las fuentes. El sistema debe poder pedir revisión o indicar que no tiene información suficiente.
- Añade pruebas de permisos: una petición no debe permitir consultar documentos ajenos al usuario.
- Registra aciertos, omisiones, datos inventados y tiempo de corrección. Decide de antemano qué errores impiden utilizar el resultado.
- Repite la evaluación al cambiar documentos, instrucciones o proveedor. Mantén ejemplos de los fallos encontrados.
No decidas solo porque una respuesta suena convincente. Para extracción, compara cada campo con el documento; para consultas, verifica las referencias y que apoyan la respuesta. Separa la calidad de la salida del tiempo de espera y del esfuerzo que necesita su revisión.
Acuerda límites, coste y supervisión
Calcula el coste completo de la prueba: preparación de datos, desarrollo, consumo del proveedor, operación y revisión humana. Estima con el volumen que hayas observado y las condiciones actuales del servicio; no extrapoles una demostración breve al trabajo de toda la empresa.
- Limita usuarios, fuentes y acciones disponibles durante la prueba.
- Define quién aprueba respuestas o cambios y cómo se deriva una petición dudosa.
- Acordad un límite de consumo y qué sucede al alcanzarlo o si el proveedor falla.
- Conserva una forma de trabajar sin la IA y un responsable que pueda detenerla.
- Decide una fecha de revisión y criterios para continuar, ajustar o descartar el enfoque.
Si la corrección consume demasiado trabajo, aparecen errores críticos o no se pueden controlar los permisos, detén la ampliación y revisa el alcance. La supervisión debe formar parte del proceso real, con una persona y una decisión identificables.
Ejemplo ilustrativo: consultar procedimientos internos
Un equipo ficticio consulta instrucciones de preparación de pedidos repartidas en varios documentos. Este ejemplo es ilustrativo y no representa un cliente ni un resultado obtenido por LORSYS. Una prueba podría limitarse a procedimientos revisados, un equipo autorizado y respuestas con referencias para que una persona las compruebe.
La evaluación incluiría preguntas habituales, una instrucción obsoleta y una pregunta que los documentos no resuelven. También intentaría consultar un documento restringido. Se comprobaría la respuesta, su referencia y los permisos antes de valorar su utilidad. La prueba no enviaría instrucciones al almacén ni modificaría pedidos por su cuenta.
Si las fuentes se contradicen, el primer trabajo sería corregir la documentación. Si las referencias son correctas pero la revisión no facilita la tarea, se compararía con una búsqueda convencional. Continuar dependería de la evidencia de la prueba y de los criterios acordados.
Prepara un caso de uso para valorar
Describe una tarea, sus usuarios, la salida esperada y los errores que no puedes aceptar. Indica dónde están los datos, sus restricciones y quién revisaría los resultados. Para el primer contacto comparte el contexto y ejemplos anonimizados; los accesos y el tratamiento de datos se acuerdan después.