DeepMind 이중맹검 Gemini 평가란: 2026 엔클레이브 시험

DeepMind는 Gemini 2.5 Flash Lite를 봉인된 환경에서 평가했다. 뉴스는 점수가 아니라, 서로 비밀을 넘기지 않는 절차다.

2026년 8월 27일 Google DeepMind는 싱가포르 AISI, OpenMined, MLCommons, AVERI와 함께 봉인된 엔클레이브에서 Gemini 2.5 Flash Lite를 평가했다고 밝혔다. 랩은 문항을 보지 않고, 평가자는 가중치를 보지 않는다.

또 하나의 리더보드가 아니다. TechTimes와 The New Stack이 기술 보고서를 바탕으로 전하듯, 이중맹검 평가는 신뢰 교착을 구조로 푸는 시도다.

제로로그가 부족했던 이유

공개 벤치가 학습 코퍼스에 새면 점수는 검색이 된다. DeepMind가 인용한 분석은 31개 모델 중 약 절반에서 유출 징후를 봤고, 2026년 다른 연구는 오염이 점수를 부풀리며 큰 모델일수록 취약하다고 한다.

벤더 API는 프롬프트를 노출한다. 가중치 공유는 자산을 노출한다. 제로로그는 약속이다. 2026년 7월 싱가포르 합의는 평가자가 파라미터를 보지 않고 개발자가 정확한 문항을 모르게 하는 인프라를 우선 과제로 적었다.

엔클레이브 안에서 일어나는 일

1. 1

   원격 증명

   합의된 소프트웨어인지, 유출 경로가 없는지를 양측이 확인한다.

2. 2

   암호화 적재

   DeepMind가 Gemini 2.5 Flash Lite 가중치와 추론 코드를 넣고, 평가자가 비공개 문항과 채점 코드를 넣는다. 가중치는 H100 암호화 GPU 메모리, 문항은 Intel TDX 호스트 메모리에 있다.

3. 3

   허용된 결과만

   평가자는 허용된 출력만 받고 환경은 폐기된다. 보고서는 암호 계층 오버헤드를 약 5% 미만으로 적는다.

소프트웨어 통제와 남는 신뢰

게스트가 외부로 전화를 걸 수 있으면 암호화만으로는 부족하다. PySyft는 공동 코드 검토와 민감 송신 차단을 요구한다. 2024년 12월 OpenMined는 영국 AISI, Anthropic과 H100 엔클레이브에서 오픈소스 대리 모델을 CAMEL-bio에 대해 평가했다. 2026년 3월 NIST AI 표준·혁신 센터는 OpenMined와 PySyft 연구 협약을 맺었다.

신뢰는 사라지지 않고 이동한다. 양자 계약에서 NVIDIA·Intel 칩과, 증명 보고서에 서명하는 Google Cloud 서비스로.

MLCommons는 문항을 가린다고 벤치 설계가 좋아지지는 않는다고 적었다. 점수는 원보고에서 확인하고, 미검증 순위는 여기 반복하지 않는다.

법적 마찰

DeepMind 보고서는 조직 간 합의와 공동 코드 리뷰를 GPU 비용보다 큰 확장 장벽으로 적는다.

다중 GPU 공백

암호화된 H100/B200 연결은 연구 중이며 분산 추론용 완성 평가 도구는 아니다.

팀이 그림 한 장이 필요할 때

논문을 읽은 뒤에는 누가 증명하고, 누가 칩을 내고, 어디가 아직 신뢰인지 같은 그림이 필요하다. 다른 회의 스위트는 필요 없다. tidemeet에서 짧은 공간을 열거나 계정 없는 세션과 공간 만들기를 본다.

# 점검 순서
attestation → weights-in → prompts-in → bounded-results

질문