Contexto
En House Edge trabajé integrando capacidades de IA en aplicaciones de producción. Lo interesante nunca fue el modelo — fue convertir una capacidad de IA en una funcionalidad que se comporta bien dentro de un producto real, para usuarios reales, sin bajar el listón de ingeniería.
Desafío
Muchas “funcionalidades de IA” funcionan en un demo y se desmoronan en producción. Las llamadas a un LLM son no determinísticas, fallan y expiran, cuestan dinero por petición, y tocan datos reales de usuarios. Conectar una llamada de API a una UI es trivial; hacer esa llamada confiable, observable, testeable y mantenible es el trabajo.
Restricciones
Las funcionalidades debían mantenerse a los mismos estándares de producción que el resto de la plataforma — sin un listón aparte, más bajo, “porque es IA”. Eso significó tratar al LLM como lo que es: una dependencia externa no determinística con modos de fallo reales, latencia real y costo real por petición, en el camino de datos reales de usuarios.
Arquitectura
La integración vivía en la capa de aplicación: servicios que envuelven la Claude API, el Model Context Protocol (MCP) para integración de herramientas y contexto, y las superficies de frontend y backend necesarias para exponer funcionalidades impulsadas por LLM a los usuarios. Mantener la integración limpia y extensible era un objetivo de diseño en sí mismo — los modelos y los requisitos cambian, y una pieza frágil de un solo uso tendría que reconstruirse.
Implementación
La disciplina de producción fue la misma que para cualquier otra parte del sistema:
- Manejo de errores y fallbacks para una dependencia no determinística que puede fallar o expirar.
- Validación de entradas y salidas a ambos lados de la llamada al modelo.
- Logging y observabilidad, para que el comportamiento de la funcionalidad en producción sea inspeccionable.
- Un enfoque de testing que contempla la variabilidad en lugar de asumir respuestas determinísticas.
Trabajar junto a especialistas en IA implicó ser claro con el límite: ellos moldeaban el comportamiento del modelo; yo me aseguraba de que el software alrededor fuera de calidad de producción.
Lecciones
El principio que sostengo ahora: la IA tiene que integrarse como una capacidad del producto, no atornillarse como una novedad. Observabilidad, manejo de errores, seguridad, mantenibilidad y UX aplican a una funcionalidad de IA exactamente igual que a cualquier otra cosa. Y esta no fue mi primera exposición a la IA — había trabajado en proyectos de chatbots con IA años antes en Softwow — pero fue donde aprendí que la parte difícil y valiosa es la ingeniería alrededor del modelo, no la llamada al modelo.