Wird DeepSeek V4.1 Pro getestet? Was das 64-%-Ergebnis bei LobeBench zeigt

DeepSeek V4.1 Pro steht wieder im Gespräch, nachdem ein unabhängiger Tester eine deutliche Veränderung bei der Leistung des aktuellen V4 Pro in einem privaten Satz von Agentenaufgaben gemeldet hat. Für Entwickler ist der gemeldete Fortschritt interessant, weil es um die wiederholte zuverlässige Lösung einer schwierigen Aufgabe geht, nicht nur um einen einzelnen Erfolg.

Entscheidend ist, was verglichen wurde: eine beobachtete Nutzung auf der Website und eine ältere V4-Pro-Version. Der Test beweist weder, dass DeepSeek V4.1 Pro bereitgestellt hat, noch dass eine Modellumstellung den jüngsten Dienstausfall verursacht hat.

Was ergab der LobeBench-Test?

Max For AI, Entwickler und Maintainer von LobeHub, veröffentlichte Ergebnisse von LobeBench Hard 50, einem privaten Satz von 50 komplexen Agentenaufgaben. Laut Tester prüfen die Aufgaben unter anderem, ob ein Modell einen Auftrag versteht, Werkzeuge nutzt und die Arbeit bis zum Abschluss fortsetzt.

Bei drei Erfolgen in drei Versuchen entspricht das einem Plus von 16 Prozentpunkten oder acht Aufgaben. Der Tester erklärte außerdem, das aktuelle Ergebnis liege in seinem Vergleich unter chinesischen Modellen auf Platz eins. Diese Aussage bezieht sich auf den privaten Test und das getestete Teilnehmerfeld, nicht auf eine allgemeingültige Rangliste.

Entdecken Sie unsere DeepSeek Coding Plans und die aktuelle Verfügbarkeit.

Warum zählt das Bestehen aller drei Versuche?

Eine mindestens einmal gelöste Aufgabe zeigt, dass das Modell gelegentlich einen gangbaren Weg findet. Drei erfolgreiche Versuche stellen eine strengere Frage: Schließt es die Aufgabe unter den Testbedingungen wiederholt ab? Für einen Agenten, der Werkzeuge aufrufen und mehrere Schritte ausführen muss, kann Zuverlässigkeit ebenso wichtig sein wie ein einzelnes gutes Ergebnis.

Die gemeldeten Werte für mindestens einen Erfolg lagen nah beieinander, die Werte für drei Erfolge weiter auseinander. Das deutet auf mehr Zuverlässigkeit in diesem Test hin. Drei Durchläufe und 50 Aufgaben schließen Zufall jedoch nicht aus; ein privater Testsatz ist zudem schwerer unabhängig zu prüfen oder zu reproduzieren. Das Ergebnis allein belegt keine allgemeine Verbesserung bei allen Programmieraufgaben oder Agentenkonfigurationen.

Ist das getestete Modell DeepSeek V4.1 Pro?

Der Benchmark hat die Identität des Modells nicht geklärt. Der Tester beschrieb das aktuelle V4 Pro auf der DeepSeek-Website und vermutete einen möglichen schrittweisen Test von V4.1 Pro. Eine höhere Punktzahl, ein bekannter Anzeigename oder ein anderer Antwortstil identifizieren den Checkpoint nicht und schließen Änderungen an Konfiguration, Routing oder Agentensystem nicht aus.

DeepSeeks Ankündigung von V4.1 Flash im September erwähnte eine spätere Veröffentlichung von V4.1 Pro. Das API-Änderungsprotokoll erklärte anschließend, dass der V4-Pro-API-Dienst nach dem 14. September weiterlaufen würde. Der ursprüngliche Routingplan aus der Ankündigung ist daher nicht als aktuelle API-Konfiguration anzusehen. Auch lässt sich der Webtest nicht automatisch auf alle API-Kunden übertragen.

War der Ausfall ein Hinweis auf eine Veröffentlichung?

DeepSeeks Statusverlauf verzeichnet teilweise Ausfälle von Website und API am 3. und 7. November. Der Vorfall am 7. November betraf unter anderem die V4-Pro- und V4.1-Flash-APIs und wurde nach 45 Minuten als behoben geführt. Die zeitliche Nähe eines Ausfalls und einer gemeldeten Leistungsänderung beweist keinen ursächlichen Zusammenhang.

In sozialen Medien wird auch behauptet, DeepSeek habe das Gerücht über den schrittweisen Test dementiert. Die angebliche ursprüngliche offizielle Erklärung konnten wir nicht unabhängig überprüfen; auch diese Behauptung bleibt unbestätigt.

Wann erscheint DeepSeek V4.1 Pro?

In den für diesen Beitrag geprüften offiziellen Unterlagen gibt es keinen bestätigten Veröffentlichungstermin. Vorhersagen für die folgende Woche sind Spekulation. Die Veröffentlichung von V4 Pro-0813 am 13. August liefert Kontext, aus der verstrichenen Zeit lässt sich aber kein Termin für den Nachfolger ableiten.

Wie können Entwickler eine relevante Veränderung prüfen?

1. Wählen Sie mehrere repräsentative Aufgaben, darunter zuvor gescheiterte, und halten Sie Prompts, Werkzeuge, Agenten-Framework und Bewertungskriterien konstant.
2. Führen Sie jede Aufgabe mehrfach aus. Erfassen Sie, ob sie mindestens einmal gelingt und wie oft sie gelingt, sowie Fehler und Bearbeitungszeit.
3. Notieren Sie Datum, Dienst oder Anbieter, angezeigten Modellnamen, gegebenenfalls API-Modell-ID, Einstellungen und zurückgegebene Version oder Fingerabdruck. Ein unveränderter Name beweist kein unverändertes Modell.
4. Vergleichen Sie genügend Aufgaben und Durchläufe, um zu prüfen, ob ein scheinbarer Fortschritt bestehen bleibt. Eine kleine Stichprobe belegt nicht die Identität des Modells.

Weitere Hintergründe finden Sie in unserem Oktoberbericht über Spekulationen zur Einführung von V4.1 Pro und in unserem Beitrag zur Veröffentlichung von V4 Pro-0813.