Amazon ha anunciado la disponibilidad general de la función de «prompt caching» en Amazon Bedrock, una herramienta que promete mejorar significativamente la eficiencia en la generación de respuestas de modelos como Claude 3.5 Haiku y Claude 3.7 Sonnet. Esta innovadora capacidad permite reducir la latencia de respuesta hasta un 85% y disminuir los costos operativos en un 90% al almacenar en caché los «prompts» que se emplean con frecuencia en múltiples llamadas a la API.
La funcionalidad de «prompt caching» permite a los usuarios marcar secciones específicas de sus solicitudes, denominadas «prompt prefixes», para que sean almacenadas en caché. Esto quiere decir que, cuando se realiza una nueva solicitud que incluye un «prompt prefix» ya guardado, el modelo puede acceder a la memoria caché y evitar los trámites computacionales necesarios para procesar los tokens de entrada. Como resultado, se experimenta un tiempo de respuesta más ágil y un uso más eficiente del hardware, trasladando así los ahorros de costos directamente a los usuarios.
Este desarrollo optimiza la fase de procesamiento de tokens de entrada, una etapa crucial en el funcionamiento de los modelos de lenguaje de gran escala. Gracias a puntos de control de caché, los desarrolladores tienen la oportunidad de estructurar de forma más efectiva sus «prompts», lo que incrementa las posibilidades de coincidencias en la memoria caché y mejora el rendimiento general de las aplicaciones.
El uso de esta función es altamente recomendado para aquellas cargas de trabajo que involucran «prompts» de contexto largo y repetido, como los utilizados en aplicaciones de asistencia mediante chat, asistentes de programación o en flujos de trabajo que requieran una coherencia constante en el sistema. Para maximizar los beneficios del «prompt caching», se aconseja que el contenido se estructure de tal manera que la información estática —como instrucciones y ejemplos— se incluya al inicio, mientras que la información dinámica, que puede variar según el usuario, se reserve para el final de la solicitud.
Las métricas de rendimiento relacionadas con el uso de la memoria caché, incluyendo conteos de tokens leídos y escritos, son esenciales para optimizar la eficiencia y monitorear los ahorros generados por esta nueva funcionalidad. Estos datos estarán accesibles a través de la sección de respuesta API, facilitando a los desarrolladores la gestión de su estrategia de caché y mejorando la capacidad de respuesta de sus aplicaciones.
Si bien el «prompt caching» ofrece ventajas considerables, su efectividad puede disminuir en escenarios donde se utilicen «prompts» excesivamente largos y dinámicos. En tales casos, los desarrolladores tendrán que realizar una evaluación cuidadosa de la estructura de sus «prompts» para garantizar que se obtenga el máximo rendimiento posible.
Además, esta novedosa función puede emplearse junto con la inferencia interregional de Amazon Bedrock, optimizando así la selección de la región de AWS más adecuada para procesar las solicitudes, y asegurando una disponibilidad óptima de modelos y recursos, especialmente durante picos de alta demanda.
