Empieza por una decisión o tarea verificable
“Usar IA” no es un caso de uso. Un buen punto de partida identifica quién realiza el trabajo, qué información utiliza, qué resultado produce y cómo se reconoce una respuesta aceptable.
La prioridad combina valor operativo, disponibilidad de datos, capacidad de integración y riesgo de una respuesta incorrecta.
Clasifica datos antes de conectarlos
Define qué información puede procesarse, quién puede solicitarla, qué proveedor participa y qué debe registrarse. Evita enviar contexto completo cuando una selección mínima es suficiente.
- Identidad del usuario y autorización aplicada en cada consulta.
- Separación entre datos públicos, internos, confidenciales y regulados.
- Minimización, enmascaramiento y periodos de conservación.
- Condiciones del proveedor sobre uso, residencia y retención.
El modelo es una pieza, no la arquitectura
Una solución puede incluir recuperación de conocimiento, herramientas, reglas deterministas, modelos especializados y validación posterior. Separar estas responsabilidades facilita evaluar y sustituir componentes.
La elección entre RAG, ajuste, clasificación o agentes debe responder al tipo de tarea y a la evidencia disponible.
Evalúa calidad y riesgo con casos representativos
Una demostración exitosa no predice el comportamiento operativo. Construye conjuntos de evaluación con casos frecuentes, límites, ambigüedad, datos incompletos e intentos de uso indebido.
- Calidad de la respuesta y evidencia utilizada.
- Acceso indebido, fuga de contexto y resistencia a instrucciones adversas.
- Tiempo de respuesta, costo y estabilidad por versión.
- Frecuencia y calidad del escalamiento a una persona.
Opera cambios como parte del sistema
Modelos, prompts, fuentes y herramientas cambian. Versiona componentes, registra evaluaciones y monitorea desviaciones. Una actualización no debe llegar a producción sin comparar comportamiento.
Ejemplo: consultar procedimientos internos con RAG
Supón que un equipo necesita encontrar el procedimiento vigente para gestionar una devolución. Un sistema con recuperación aumentada por generación, o RAG, busca información en un conjunto de fuentes y la incorpora al contexto de la respuesta. Recuperar documentos no garantiza que la respuesta sea correcta.
El piloto debe distinguir procedimientos vigentes de versiones antiguas, citar el documento utilizado y reconocer cuándo falta información. Si una pregunta no puede responderse con las fuentes disponibles, la ruta esperada puede ser pedir un dato o derivar la consulta al responsable.
Los permisos se aplican antes de entregar contenido al modelo. Una instrucción que diga “no muestres información restringida” no sustituye la autorización de acceso. Incluye pruebas con usuarios de distintos roles y consultas que intenten recuperar documentos fuera de su alcance.
Antes de habilitar un piloto de IA empresarial
- Asigna un propietario a cada fuente y define cómo se actualiza o retira información.
- Prepara preguntas reales con respuestas aceptables revisadas por el equipo de operación.
- Separa los casos usados para ajustar el sistema de los que utilizarás para decidir su liberación.
- Prueba respuestas sin evidencia suficiente, documentos contradictorios y accesos no autorizados.
- Acota qué datos se envían al proveedor, qué se registra y quién puede consultar los registros.
- Define quién detiene el piloto, atiende incidentes y autoriza una nueva versión.
Revisa calidad, tiempo de respuesta y costo por tarea completada, incluyendo la revisión humana. Un piloto útil permite decidir si ampliar, ajustar o detener el caso de uso con evidencia.
Referencia técnica: Microsoft: preparación de fuentes y preguntas de evaluación para RAG.
Para elegir por dónde comenzar, consulta cómo priorizar proyectos de IA en tu empresa.