A medida que las organizaciones amplían su uso de la inteligencia artificial generativa, se presenta la necesidad de procesar grandes volúmenes de datos de una manera más rentable. En respuesta a esta demanda, Amazon Bedrock ha lanzado la inferencia por lotes, una solución que permite el procesamiento masivo de datos a un costo hasta un 50% inferior al de la inferencia en tiempo real. Esta herramienta resulta ideal para tareas como el análisis de datos históricos, la summarización de textos a gran escala y otras cargas de trabajo que no son sensibles al tiempo.
El lanzamiento de la inferencia por lotes viene acompañado de mejoras significativas en Amazon Bedrock, incluyendo un mayor soporte para modelos y optimizaciones que incrementan el rendimiento y la transparencia de costos. Entre los nuevos modelos disponibles se encuentran opciones de Claude Sonnet 4 de Anthropic y varios modelos de OpenAI. Estas incorporaciones, junto con mejoras de rendimiento, permiten una mayor eficacia en la ejecución de trabajos en lotes.
Los usuarios pueden administrar y monitorear sus trabajos de inferencia por lotes a través de Amazon CloudWatch, lo que elimina la necesidad de desarrollar soluciones de monitoreo personalizadas y asegura una visibilidad completa sobre el progreso de las tareas en sus cuentas de AWS. Los casos de uso recomendados para esta funcionalidad incluyen análisis de datos que pueden tolerar retrasos, enriquecimiento de bases de conocimiento y revisiones de cumplimiento normativo sobre contenido sensible.
Para iniciar un trabajo de inferencia por lotes, los usuarios tienen múltiples opciones: pueden hacerlo a través de la Consola de Administración de AWS, utilizando los SDKs de AWS o mediante la interfaz de línea de comandos (CLI). Este proceso es accesible y permite a los usuarios especificar los detalles necesarios para ejecutar el trabajo, como el modelo a utilizar y las ubicaciones de los datos de entrada y salida.
Además, Amazon Bedrock ahora proporciona métricas automáticamente en el espacio de nombres AWS/Bedrock/Batch, permitiendo a los usuarios monitorear el progreso de sus cargas de trabajo. Estas métricas ofrecen información clave sobre el estado de los trabajos, incluyendo el tamaño del backlog y el rendimiento general.
Con estas mejoras, Amazon Bedrock no solo optimiza la inferencia por lotes, sino que también dota a las organizaciones de herramientas para maximizar la eficiencia de sus cargas de trabajo de inteligencia artificial generativa, invitándolas a implementar estas innovaciones de manera efectiva.
