DeepSeek V4.1 Pro está em teste? O que mostra o resultado de 64% no LobeBench

O DeepSeek V4.1 Pro voltou a chamar atenção depois que um avaliador independente relatou uma mudança expressiva no desempenho do V4 Pro atual em um conjunto privado de tarefas para agentes. O ganho relatado interessa a desenvolvedores porque trata da capacidade de concluir a mesma tarefa difícil de forma consistente, e não apenas uma vez.

Há uma distinção importante: a avaliação compara a experiência observada no site com uma versão anterior do V4 Pro. Ela não prova que a DeepSeek implantou o V4.1 Pro nem que uma atualização do modelo causou a recente interrupção do serviço.

O que o teste LobeBench encontrou?

Max For AI, desenvolvedor e mantenedor do LobeHub, divulgou resultados do LobeBench Hard 50, um conjunto privado de 50 tarefas complexas para agentes. Segundo ele, as tarefas avaliam capacidades como entender uma solicitação, usar ferramentas e continuar trabalhando até concluí-la.

A diferença na medida de três sucessos em três tentativas é de 16 pontos percentuais, ou oito tarefas. O avaliador também afirmou que o resultado atual ficou em primeiro entre os modelos chineses de sua comparação. Essa posição se refere ao conjunto privado e aos modelos testados, não a uma classificação universal.

Veja nossos DeepSeek Coding Plans e a disponibilidade atual.

Por que passar nas três tentativas importa?

Concluir uma tarefa ao menos uma vez mostra que o modelo às vezes encontra um caminho viável. Passar nas três tentativas responde a uma pergunta mais exigente: ele consegue terminar repetidamente nas condições do teste? Para um agente que precisa chamar ferramentas e cumprir várias etapas, a consistência pode ser tão importante quanto um resultado impressionante isolado.

As taxas de sucesso ao menos uma vez ficaram próximas, enquanto os resultados de três sucessos em três tentativas se afastaram. Isso sugere maior consistência nesse teste. Ainda assim, três execuções e 50 tarefas não eliminam o acaso, e um conjunto privado é mais difícil de examinar ou reproduzir. O resultado, por si só, não prova uma melhora geral em todas as tarefas de programação ou configurações de agentes.

O modelo testado é o DeepSeek V4.1 Pro?

O teste não estabeleceu a identidade do modelo. O avaliador descreveu o V4 Pro disponível no site da DeepSeek e sugeriu a possibilidade de um teste gradual do V4.1 Pro. Uma pontuação maior, um nome conhecido ou uma mudança no estilo das respostas não identifica o checkpoint e não descarta alterações de configuração, roteamento ou do sistema de agente ao redor do modelo.

O anúncio do V4.1 Flash feito pela DeepSeek em setembro mencionou um futuro lançamento do V4.1 Pro. Depois, o registro de atualizações da API informou que o serviço da API V4 Pro continuaria após 14 de setembro. Por isso, o plano de roteamento original do anúncio não deve ser tratado como a configuração atual da API. O teste no site também não deve ser automaticamente aplicado a todos os clientes da API.

A interrupção indicou um lançamento?

O histórico de status da DeepSeek registra interrupções parciais do site e da API em 3 e 7 de novembro. O incidente do dia 7 afetou a API V4 Pro, a API V4.1 Flash e outros serviços e foi marcado como resolvido após 45 minutos. A proximidade entre a interrupção e a mudança de desempenho relatada não prova que uma tenha causado a outra.

Publicações em redes sociais também afirmam que a DeepSeek negou o boato do teste gradual. Não verificamos de forma independente a suposta declaração oficial original; portanto, essa afirmação também permanece sem confirmação.

Quando o DeepSeek V4.1 Pro será lançado?

Não há data de lançamento confirmada nos materiais oficiais consultados para esta atualização. Previsões de lançamento na semana seguinte são especulação. O lançamento do V4 Pro-0813 em 13 de agosto oferece contexto, mas o tempo decorrido não estabelece um calendário para seu sucessor.

Como desenvolvedores podem verificar se houve uma mudança relevante?

1. Escolha várias tarefas representativas, inclusive algumas que falharam antes, e mantenha iguais os prompts, as ferramentas, o framework do agente e os critérios de avaliação.
2. Execute cada tarefa várias vezes. Registre se ela foi concluída ao menos uma vez e com que frequência, além dos erros e do tempo de conclusão.
3. Registre a data, o serviço ou provedor, o nome exibido, o ID da API quando aplicável, as configurações e qualquer versão ou impressão digital retornada. Um nome de modelo estável não prova que o modelo subjacente permaneceu igual.
4. Compare resultados de tarefas e execuções suficientes para verificar se o ganho aparente persiste. Não use uma amostra pequena como prova da identidade do modelo.

Para mais contexto, leia nossa reportagem de outubro sobre a possível implantação do V4.1 Pro e nossa cobertura do lançamento do V4 Pro-0813.