DeepMind Doppelblind-Gemini-Eval 2026: Was der Enklaven-Pilot bedeutet
DeepMind hat Gemini 2.5 Flash Lite in einer versiegelten Enklave bewertet. Die Nachricht ist das Verfahren, nicht eine Ranglistenzeile.
Am 27. August 2026 erklärte Google DeepMind, Gemini 2.5 Flash Lite mit Singapore AISI, OpenMined, MLCommons und AVERI in einer versiegelten Enklave bewertet zu haben: das Labor sieht die Items nicht, die Tester sehen die Gewichte nicht.
Das ist kein weiterer Leaderboard-Drop. TechTimes und The New Stack, gestützt auf den technischen Bericht, behandeln die doppelblinde Evaluation als strukturelle Lösung einer Vertrauensblockade.
Warum Zero-Logging nie reichte
Leckt ein öffentlicher Benchmark in den Trainingskorpus, misst die Zahl Abruf. DeepMind zitiert frühere Arbeit mit Lecksignalen bei rund der Hälfte von 31 Modellen sowie Forschung von 2026, wonach Kontamination Scores aufbläht, besonders bei größeren Systemen.
Anbieter-APIs legen Prompts offen. Gewichtsteilung legt das Asset offen. Zero-Logging ist ein Versprechen. Der Singapore Consensus vom Juli 2026 nannte doppelblinde Infrastruktur – Evaluator sieht keine Parameter, Entwickler kennt die genauen Items nicht – als Prioritätslücke.
API-Evals
Prompts laufen durch den Stack des Anbieters, das Labor kann die Fragen sehen.
Gewichtübergabe
Evaluatoren gewinnen Reproduzierbarkeit; das Labor verliert Kontrolle über ein teures Artefakt.
Vertragliches Zero-Log
Selbst bei Gutgläubigkeit scheitert es an Caches, Fehlern oder einem späteren Trainingslauf.
Was in der Enklave passiert
-
1
Remote Attestation
Beide prüfen, dass der Gast die vereinbarte Software ist – nicht ein Build mit Exfiltrationspfad.
-
2
Verschlüsseltes Laden
DeepMind lädt Gewichte und Inferenzcode von Gemini 2.5 Flash Lite; Evaluatoren laden verdeckte Prompts und Scoring-Code. Gewichte liegen im verschlüsselten H100-GPU-Speicher, Prompts im Intel-TDX-Hostspeicher.
-
3
Nur begrenzte Ergebnisse
Der Evaluator erhält nur erlaubte Ausgaben. Der Gast wird zerstört. Der Bericht nennt den Krypto-Overhead unter etwa fünf Prozent.
Softwarekontrollen und Restvertrauen
Verschlüsselung reicht nicht, wenn der Gast nach Hause telefonieren kann. PySyft verlangt gemeinsames Review und sperrt sensible Ausgänge. Im Dezember 2024 lief ein H100-Pilot von OpenMined mit UK AISI und Anthropic gegen CAMEL-bio auf einem Open-Source-Proxy. Im März 2026 unterzeichnete das NIST-Zentrum für AI-Standards und Innovation eine Forschungskooperation mit OpenMined zu PySyft.
Vertrauen verschwindet nicht, es wandert: vom bilateralen Vertrag zu NVIDIA- und Intel-Chips und zu Google-Cloud-Diensten, die Attestierungsberichte signieren.
| Rolle | Üblicher Weg | Dieser Pilot |
|---|---|---|
| Modellseite | Sieht API-Prompts oder unterschreibt Zero-Log | Kann Items im Gast nicht lesen |
| Evaluator | Braucht Gewichte oder muss dem Labor glauben | Keine Gewichte; nur begrenzte Ergebnisse |
| Modellklasse | Prinzipiell jede Größe | Zuerst Systeme, die auf eine GPU passen |
MLCommons merkt an, dass versteckte Items keinen guten Benchmark machen. Zahlen stehen im Primärbericht; hier keine ungeprüften Ränge.
- Rechtliche Reibung
- DeepMinds Bericht nennt interorganisationale Verträge und gemeinsames Codereview als größere Skalierungshürden als die GPU-Rechnung.
- Multi-GPU-Lücke
- Verschlüsselte H100/B200-Fabrics für verteilte Inferenz sind in Arbeit, noch kein ausgeliefertes Eval-Werkzeug.
Wenn das Team ein Bild braucht
Nach dem Paper braucht die Gruppe meist eine gemeinsame Skizze: wer attestiert, wer liefert Silizium, welche Schicht bleibt Vertrauen. Keine extra Meeting-Suite. Kurzer Raum auf tidemeet oder Sitzungen ohne Konto und Raum erstellen.
# Ablauf
attestation → weights-in → prompts-in → bounded-resultsFragen
Macht das Benchmark-Scores vertrauenswürdig?
Nein. Es schließt einen Fehler: jede Seite muss das Geheimnis der anderen sehen. Benchmark-Qualität, Item-Hygiene danach und die größten Flaggschiffe liegen außerhalb dieses Ein-GPU-Piloten.
Was hat Gemini erreicht?
Öffentliche Texte betonen das Verfahren, keine Zahl. Den technischen Bericht von DeepMind und Partnern nutzen; ungeprüfte Ränge nicht als Ergebnis behandeln.
Können andere Labs das morgen kopieren?
Confidential Computing ist nicht Google-exklusiv. Verträge, gemeinsames Review und Attestierungs-Wurzeln hängen weiter an Cloud und Chipanbietern. Skalierung außerhalb von Google reibt mehr.
Warum eine temporäre Fläche?
Keine Produktkopplung an den Eval. Nur ein Diagramm der Vertrauensgrenze: temporäre Meeting-Tools erklärt, wann ein kurzer Browser-Raum reicht.