Los modelos DeepSeek-R1 han sido lanzados recientemente en el Amazon Bedrock Marketplace y Amazon SageMaker JumpStart, junto con una versión sin servidor en Amazon Bedrock. Estos modelos se destacan por su capacidad de razonamiento extenso y profundo, con resultados significativos en pruebas matemáticas complejas como AIME-2024 y MATH-500, donde han demostrado un rendimiento competitivo frente a modelos avanzados como Claude Sonnet 3.5 de Anthropic, GPT-4 de OpenAI y O1.
Un hallazgo clave durante el proceso de entrenamiento fue que el modelo DeepSeek-R1-Zero mejora su eficacia en la resolución de tareas cuando se le otorga más tiempo para reflexionar, lo que a su vez incrementa su rendimiento. Sin embargo, un aspecto que a menudo se pasa por alto es la cantidad de «tokens de pensamiento» que se requieren durante la inferencia y el costo asociado a su generación, lo que puede limitar su capacidad de dar respuestas finales adecuadas.
Para abordar estas limitaciones, la optimización de prompts en Amazon Bedrock ha mostrado ser una solución efectiva para modelos de razonamiento como DeepSeek-R1. Por ejemplo, al enfrentarse a un sencillo problema matemático relacionado con un perro, se pudo observar que en ocasiones estos modelos no logran finalizar su razonamiento debido a restricciones en el límite máximo de tokens disponibles.
Incrementar el presupuesto de tokens de salida permite que el modelo capacite sus procesos de pensamiento durante más tiempo. Con una expansión del límite de tokens de 2,048 a 4,096, se logra un proceso de razonamiento más exhaustivo antes de emitir una respuesta. Esto subraya la importancia de optimizar el uso de tokens de pensamiento para garantizar respuestas correctas.
Los resultados de la optimización de prompts han sido prometedores, especialmente al aplicar esta técnica a un conjunto de preguntas desafiantes conocido como «Último Examen de la Humanidad» (HLE). Este conjunto de pruebas incluye preguntas que requieren un conocimiento profundo y son resistentes a respuestas simples que podrían obtenerse mediante búsquedas en internet.
Al aplicar la optimización de prompts, se logró reducir notablemente el número de tokens de pensamiento, manteniendo la precisión de las respuestas. En un caso que requería un nivel alto de comprensión física, la aplicación de la técnica resultó en una reducción del 35% en los tokens utilizados, sin sacrificar la respuesta correcta. Igualmente, al implementar esta estrategia en un conjunto de 400 preguntas del HLE, se observó un aumento en la precisión general del 8.75% al 11%, al mismo tiempo que se redujo el tiempo y costo de procesamiento de las respuestas.
Esta mejora en la eficiencia y efectividad sugiere que la optimización de prompts puede convertirse en una herramienta clave para la implementación de modelos de razonamiento en contextos productivos, donde la precisión y el uso eficiente de recursos computacionales son cruciales. A medida que la inteligencia artificial continúe evolucionando, técnicas como la optimización de prompts seguirán adquiriendo relevancia para aplicaciones prácticas.
