Portkey AI es una pasarela LLM y una plataforma de observabilidad diseñadas para los equipos de ingeniería que construyen aplicaciones generativas en producción. La herramienta permite enrutar solicitudes a más de 1 600 modelos (OpenAI, Anthropic, Google, de código abierto) a través de una API unificada, con fallback, caché, reintentos y guardrails integrados. Portkey añade una capa de observabilidad enriquecida que rastrea cada solicitud (latencia, coste, calidad, errores) y proporciona a los equipos de ML y de producto la visibilidad indispensable para hacer fiables sus aplicaciones LLM en producción.
Qu'est-ce que Portkey AI ?
L'essentiel
Portkey AI es una plataforma SaaS que combina una pasarela LLM (gateway), observabilidad, guardrails, caché y gestión de prompts. La pasarela expone una API unificada compatible con OpenAI capaz de enrutar solicitudes a más de 1 600 modelos: OpenAI, Anthropic, Google Gemini, Mistral, Cohere, Meta Llama, Azure OpenAI, AWS Bedrock y numerosos modelos de código abierto. La observabilidad registra cada solicitud con sus metadatos (coste, latencia, tokens, modelo, usuario, metadatos personalizados) y proporciona dashboards enriquecidos para analizar el rendimiento, la calidad y los costes. Portkey se dirige principalmente a los equipos de ingeniería, ML y producto que construyen y operan aplicaciones LLM en producción. La plataforma ofrece una nube SaaS alojada en EE. UU. y la UE, así como una opción self-hosted para organizaciones sujetas a restricciones de soberanía o seguridad.
Fonctionnalités principales
Portkey AI estructura su oferta en torno a varios bloques funcionales. El Gateway es el corazón de la plataforma: expone una API unificada hacia más de 1 600 modelos con routing inteligente, fallback automático (si un modelo no está disponible, cambia a otro), balanceo de carga y reintentos configurables. El Cache permite almacenar respuestas LLM idénticas para reducir costes y mejorar la latencia. Los Guardrails aplican automáticamente reglas sobre las entradas y salidas: detección de PII, filtrado de contenido tóxico, validación de formato JSON, control de alucinaciones o reglas de negocio personalizadas. La Observabilidad registra cada solicitud con más de 40 metadatos (latencia, coste, tokens, usuario, versión del prompt, guardrails activados) y alimenta dashboards configurables. El Prompt Management centralise los prompts con control de versiones, pruebas A/B y despliegue progresivo. Portkey también ofrece un módulo de Evaluaciones para medir la calidad de las respuestas de los LLM, y un módulo de Agentes para orquestar flujos de trabajo de varias etapas. La plataforma se integra con LangChain, LlamaIndex, Hugging Face y numerosos frameworks de IA, y proporciona SDKs para Python, Node.js, Go y Java.
Cas d'usage
Portkey AI se utiliza para numerosos casos de uso. Las startups SaaS que integran una funcionalidad de IA generativa la utilizan para enrutar de forma inteligente entre varios proveedores según el coste o la calidad. Los equipos de ML de las empresas la utilizan para supervisar las aplicaciones LLM en producción e identificar las fuentes de degradación. Los equipos de producto dirigen los experimentos multimodelo a través de la gestión de prompts y las pruebas A/B. Los directores de TI (DSI) que buscan soberanía despliegan Portkey en modo self-hosted para mantener el control total de sus solicitudes. Las agencias de IA ofrecen a sus clientes una capa de observabilidad estandarizada sin tener que reinventar la rueda. Por último, los investigadores y científicos de datos aprovechan Portkey para comparar rápidamente varios modelos en sus conjuntos de datos. Todos estos usos comparten una lógica común: industrializar el uso de los LLM y mantener el control económico y cualitativo.
Avantages
El principal beneficio de Portkey es la resiliencia: gracias al enrutamiento multiproveedor y al fallback automático, una aplicación sigue estando disponible incluso si un proveedor se cae o se ralentiza. El segundo beneficio es el control de costes: una observabilidad detallada, la caché integrada y la posibilidad de enrutar al modelo más barato para cada solicitud pueden dividir la factura de LLM por dos o por tres. El tercer beneficio es la seguridad gracias a los guardrails que protegen contra la fuga de PII, la inyección de prompts y el contenido tóxico. El cuarto beneficio es la productividad de los equipos: la gestión de prompts y las evaluaciones aceleran las iteraciones. Por último, Portkey elimina el vendor lock-in y permite experimentar con nuevos modelos sin tener que volver a escribir el código de la aplicación.
Tarifs
Portkey AI ofrece una tarifa basada en el uso centrada en los logs registrados (recorded logs). El plan Free ofrece hasta 100 000 solicitudes al mes con acceso al Gateway y a la observabilidad básica. El plan Pro a 25 $/mes de tarifa plana ofrece solicitudes ilimitadas y más logs registrados, ideal para la mayoría de los equipos en producción. El plan Production pasa a un modelo basado en el uso de los logs, con descuentos por volumen. Por último, el plan Enterprise bajo presupuesto añade self-hosting, SSO, registro de auditoría, residencia de datos y un gestor de cuentas dedicado. Nota: si supera su cuota de logs, el Gateway sigue funcionando, pero las solicitudes ya no se registrarán en la observabilidad.
Conclusion
Portkey AI se consolida en 2026 como una de las referencias indispensables en los stacks de producción de IA generativa. Su combinación de pasarela LLM, observabilidad, guardrails y gestión de prompts la convierte en una herramienta especialmente valiosa para los equipos de ingeniería que desarrollan productos de IA serios. El control de costes, la resiliencia y la seguridad que aporta la plataforma suelen traducirse en un retorno de la inversión (ROI) muy rápido. Para proyectos puramente experimentales o de un solo modelo, la herramienta puede parecer sobredimensionada, pero para cualquier aplicación LLM en producción, Portkey es una inversión muy pertinente a tener en cuenta.