Las organizaciones se están volcando cada vez más hacia las capacidades de inteligencia artificial generativa para enriquecer la experiencia del cliente, optimizar sus operaciones y estimular la innovación. Sin embargo, el crecimiento sostenido de las cargas de trabajo de IA generativa plantea desafíos significativos en términos de rendimiento, fiabilidad y disponibilidad. Las empresas buscan soluciones que les permitan escalar sus cargas de trabajo de inferencia en múltiples regiones de AWS, garantizando así la consistencia en el rendimiento de sus aplicaciones.
Con el fin de abordar esta creciente necesidad, Amazon Bedrock ha introducido la inferencia cruzada entre regiones (CRIS, por sus siglas en inglés). Esta función facilita que las solicitudes de inferencia sean redirigidas automáticamente a través de diversas regiones, lo que permite a las aplicaciones adaptarse a picos de tráfico y maximizar su rendimiento sin que los desarrolladores deban anticipar fluctuaciones en la demanda. La CRIS funciona mediante la creación de «perfiles de inferencia», que especifican un modelo base y las regiones a las que se pueden dirigir las solicitudes.
Recientemente, se ha hecho pública la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Ahora, los usuarios pueden elegir entre un perfil de inferencia específico de una geografía o uno global. Este avance aporta una mayor flexibilidad a las organizaciones, ya que Amazon Bedrock selecciona de manera automática la región óptima para procesar cada solicitud de inferencia. La CRIS global también mejora la gestión de solicitudes hacia regiones comerciales de todo el mundo, optimizando recursos y mejorando el rendimiento del modelo, especialmente en momentos de alta demanda no planificada.
El sistema de inferencia cruzada global permite manejar picos de tráfico imprevistos utilizando recursos computacionales en distintas regiones. Este mecanismo inteligente de enrutamiento de solicitudes considera diversos factores, como la disponibilidad del modelo, la capacidad y la latencia, para enviar las solicitudes a la región más adecuada.
Además, gracias a la inferencia cruzada, herramientas como Amazon CloudWatch y AWS CloudTrail continúan registrando información únicamente en la región de origen. Esto simplifica el monitoreo y la gestión, permitiendo que las organizaciones mantengan una visión centralizada del rendimiento de sus aplicaciones. La seguridad de los datos se preserva, ya que la información transmitida durante el proceso de inferencia se cifra y se mantiene dentro de la red segura de AWS.
Para aprovechar la inferencia cruzada global con Claude Sonnet 4.5, los desarrolladores deben llevar a cabo algunos pasos clave, como especificar el ID del perfil de inferencia global al realizar llamadas API a Amazon Bedrock y configurar los permisos adecuados utilizando AWS Identity and Access Management.
Implementar esta capacidad no solo optimiza el rendimiento y la fiabilidad de las aplicaciones de IA, sino que también genera mejoras en la eficiencia de costos, con ahorros de aproximadamente el 10% en los precios de tokens de entrada y salida en comparación con la inferencia cruzada geográfica tradicional. De este modo, las empresas pueden maximizar el valor de su inversión en Amazon Bedrock y utilizar sus recursos de manera más eficiente, logrando un rendimiento superior sin incurrir en costos adicionales.
Con esta evolución en la inferencia cruzada global, las organizaciones que adopten esta capacidad podrán experimentar mejoras significativas en sus aplicaciones de IA, gestionando cargas de trabajo de gran volumen de manera más efectiva y enfrentando escenarios de recuperación ante desastres de forma innovadora.
