Amazon ha presentado la disponibilidad general de Amazon Bedrock Intelligent Prompt Routing, una herramienta innovadora que promete optimizar la eficiencia en la interacción con modelos de lenguaje. Esta funcionalidad, que había estado en fase de prueba desde diciembre, permite un enrutamiento inteligente de las solicitudes entre distintos modelos dentro de la misma familia, mejorando tanto los costos como la calidad de las respuestas proporcionadas.
La tecnología detrás de Amazon Bedrock Intelligent Prompt Routing se basa en la predicción dinámica de la calidad de respuesta de diferentes modelos ante una solicitud específica. Esto permite dirigir cada petición al modelo más adecuado, optimizando la relación entre costo y calidad. Este avance representa un hito importante en la implementación de aplicaciones de inteligencia artificial generativa, facilitando a sus usuarios el enrutamiento automático y óptimo de grandes modelos de lenguaje.
Con el lanzamiento oficial, la herramienta ha incorporado importantes mejoras impulsadas por la retroalimentación de los usuarios y exhaustivas pruebas internas. Los usuarios tienen la opción de utilizar enrutadores de prompts predeterminados por Amazon Bedrock o crear configuraciones personalizadas que ajusten el rendimiento a sus necesidades específicas. Los enrutadores predeterminados simplifican su implementación, ofreciendo soluciones listas para usar que requieren una configuración mínima.
Además, Amazon ha ampliado la variedad de familias de modelos disponibles, incorporando opciones de Nova, Anthropic y Meta, con modelos destacados como Claude y Llama. En esta nueva fase, los usuarios también tienen la posibilidad de crear enrutadores personalizados, eligiendo los modelos que desean utilizar y su configuración de enrutamiento.
Un aspecto relevante de esta funcionalidad es la mejora en la latencia, ya que se ha conseguido reducir el tiempo de sobrecarga de los componentes en más del 20%, logrando un rendimiento de aproximadamente 85 milisegundos en el percentil 90. Esto se traduce en beneficios tangibles tanto en latencia como en costos, priorizando el uso de modelos menos costosos sin comprometer la precisión de las tareas.
Las pruebas internas han demostrado que el uso de Amazon Bedrock Intelligent Prompt Routing puede generar ahorros promedio del 60% en comparación con la utilización de modelos más caros. Sin embargo, se recomienda a los usuarios realizar pruebas en sus propios casos de uso para entender mejor los beneficios, dado que la efectividad puede variar según el tipo de tarea y los modelos seleccionados.
Para facilitar la adopción de esta herramienta, Amazon ha dispuesto una serie de recursos y guías accesibles a través de la consola de gestión de AWS, la interfaz de línea de comandos o la API. Esto tiene como objetivo animar a desarrolladores y empresas a sacar el máximo partido de esta innovadora herramienta en el campo de la inteligencia artificial generativa.
