¿Está DeepSeek V4.1 Pro en pruebas? Qué revela el 64 % de LobeBench

DeepSeek V4.1 Pro vuelve a estar en el centro de la conversación después de que un evaluador independiente informara de un cambio notable en el rendimiento del V4 Pro actual sobre un conjunto privado de tareas para agentes. El avance interesa a los desarrolladores porque trata de completar una tarea difícil de forma repetida, no solo una vez.

Conviene distinguir qué se ha probado: la evaluación compara una experiencia observada en la web con una versión anterior de V4 Pro. No demuestra que DeepSeek haya desplegado V4.1 Pro ni que un despliegue haya causado la reciente interrupción del servicio.

¿Qué encontró la prueba de LobeBench?

Max For AI, desarrollador y mantenedor de LobeHub, publicó resultados de LobeBench Hard 50, un conjunto privado de 50 tareas complejas para agentes. Según el evaluador, las tareas miden capacidades como comprender un encargo, usar herramientas y seguir trabajando hasta terminarlo.

La diferencia en la medida de tres éxitos en tres intentos es de 16 puntos porcentuales, u ocho tareas. El evaluador también afirmó que el resultado actual quedó primero entre los modelos chinos de su comparación. Esa posición se limita a este conjunto privado y a los modelos evaluados; no es una clasificación universal.

Consulta nuestros DeepSeek Coding Plans y su disponibilidad actual.

¿Por qué importa superar los tres intentos?

Superar una tarea al menos una vez indica que el modelo puede encontrar una solución en alguna ocasión. Superarla en los tres intentos plantea una pregunta más exigente: ¿puede terminarla repetidamente bajo las condiciones de la prueba? Para un agente que debe llamar herramientas y completar varios pasos, la consistencia puede importar tanto como un único resultado brillante.

Las tasas de éxito al menos una vez fueron similares, mientras que los resultados de tres éxitos en tres intentos se separaron más. Esto apunta a una mayor consistencia en esta prueba. Sin embargo, tres ejecuciones y 50 tareas no eliminan el azar, y un conjunto privado es más difícil de examinar o reproducir. El resultado no demuestra por sí solo una mejora general en todas las tareas de programación o configuraciones de agentes.

¿Es DeepSeek V4.1 Pro el modelo evaluado?

La prueba no ha establecido la identidad del modelo. El evaluador describió el V4 Pro disponible en la web de DeepSeek y planteó la posibilidad de una prueba gradual de V4.1 Pro. Una puntuación más alta, un nombre conocido o un cambio en el estilo de respuesta no identifican el checkpoint ni descartan cambios en la configuración, el enrutamiento o el sistema de agente.

El anuncio de V4.1 Flash de septiembre mencionó un futuro lanzamiento de V4.1 Pro. Después, el registro de cambios de la API indicó que el servicio de V4 Pro continuaría después del 14 de septiembre, por lo que el plan inicial de enrutamiento del anuncio no debe tomarse como la configuración actual. Tampoco debe suponerse que la prueba web describe lo que recibe cada cliente de la API.

¿Indicaba la interrupción un lanzamiento?

El historial de estado de DeepSeek registra interrupciones parciales de la web y la API los días 3 y 7 de noviembre. El incidente del 7 afectó a la API V4 Pro, la API V4.1 Flash y otros servicios, y figura como resuelto tras 45 minutos. La cercanía entre una interrupción y el cambio de rendimiento comunicado no demuestra que uno causara el otro.

Algunas publicaciones en redes sociales también afirman que DeepSeek negó el rumor de la prueba gradual. No hemos verificado de forma independiente la supuesta declaración oficial original, así que esa afirmación tampoco está confirmada.

¿Cuándo se lanzará DeepSeek V4.1 Pro?

No hay una fecha de lanzamiento confirmada en los materiales oficiales revisados para esta actualización. Las previsiones de un lanzamiento la semana siguiente son especulaciones. El lanzamiento de V4 Pro-0813 el 13 de agosto aporta contexto, pero el tiempo transcurrido no establece un calendario para su sucesor.

¿Cómo pueden comprobar los desarrolladores si hay un cambio relevante?

1. Elige varias tareas representativas, incluidas algunas que antes fallaron, y mantén iguales los prompts, las herramientas, el framework del agente y los criterios de evaluación.
2. Ejecuta cada tarea varias veces. Registra si se completa al menos una vez y con qué frecuencia, además de los errores y el tiempo empleado.
3. Anota la fecha, el servicio o proveedor, el nombre mostrado, el ID de API cuando corresponda, la configuración y cualquier versión o huella devuelta. Un nombre estable no demuestra que el modelo subyacente sea el mismo.
4. Compara suficientes tareas y ejecuciones para comprobar si la mejora aparente persiste. Una muestra pequeña no prueba la identidad del modelo.

Para más contexto, consulta nuestro informe de octubre sobre las especulaciones de despliegue de V4.1 Pro y la cobertura del lanzamiento de V4 Pro-0813.