Google, 동형 암호화로 프라이빗 AI를 실용화 — HEIR 컴파일러와 프라이빗 AI 실전 가이드

Google이 동형 암호화(Homomorphic Encryption) 기술을 기반으로 한 프라이빗 AI 컴파일러 HEIR를 Private Computing Toolkit에 공개했다. 서버가 암호문을 복호화하지 않고도 AI 추론을 수행할 수 있어, 사용자 데이터와 모델 파라미터를 모두 보호하면서도 실제 서비스를 운용할 수 있는 길이 열린 것이다.

이번 공개는 단순한 오픈소스 릴리스가 아니다. Google은 HEIR를 통해 MLIR 기반 프라이빗 AI 컴파일러 생태계를 만들고, BoringSSL·OpenSSL 등 검증된 암호화 라이브러리에 CKKS·BFV/BGV 스킴을 통합하는 작업을 진행 중이다. 특히 클라이언트 단의 TEE(Trusted Execution Environment)와 결합하면, AI 모델 소유자는 자신의 가중치를 노출하지 않으면서 사용자 데이터를 분석할 수 있다.

동형 암호화란 무엇인가

동형 암호화(Homomorphic Encryption, HE)는 평문에 대한 연산을 암호문 위에서 수행하고, 그 결과를 복호화했을 때 평문 연산 결과와 동일한 값이 나오는 암호 기법이다. 가장 강력한 FHE(Fully Homomorphic Encryption)는 임의의 회로 깊이까지 연산을 지원하지만, 성능 오버헤드가 수만 배에 달해 실용화에 오랜 장벽이었다.

• CKKS 스킴: 근사 실수 연산에 최적화된 레벨드(levelled) HE. 머신러닝 추론의 행렬곱·활성함수 계산에 가장 널리 쓰인다.
• BFV/BGV 스킴: 정확한 정수 연산이 필요한 경우 사용. 단순 집계나 통계 연산에 강하다.
• TFHE: 게이트 단위 빠른 부트스트랩. 단일 비트 연산에 강하지만 회로 깊이가 깊어지면 비용이 급격히 증가한다.

Google의 HEIR은 이 세 가지 스킴을 MLIR 다이얼렉트로 추상화해, 한 번 작성한 코드를 CPU·GPU·TPU 어디서든 실행할 수 있게 한다.

HEIR 컴파일러 구조와 핵심 기능

HEIR는 MLIR(Multi-Level Intermediate Representation) 위에 구축된 도메인 특화 컴파일러다. Python·C++ 프론트엔드에서 PyTorch나 TensorFlow 모델을 입력받으면, 다음 단계를 거친다:

1. 고수준 추론 그래프를 MLIR linalg / tensor 다이얼렉트로 낮춘다.
2. FHE 친화적인 회로 변환(예: 게이트 단위 분해, 노이즈 예산 추정)을 적용한다.
3. 스킴별(CKKS, BFV, TFHE) 저수준 연산을 생성하고, BoringSSL/OpenSSL의 배경 라이브러리로 매핑한다.
4. 하드웨어 백엔드 타깃(LLVM CPU, GPU, TPU)에 맞는 최적화를 수행한다.

실제 HEIR 회로 정의의 축약 형태는 다음과 같다.

// HEIR 예시: CKKS 기반 행렬곱 (간소화)
func.func @matmul_ckks(%a: tensor<8x8x!fhe.ckks<14>>,
                       %b: tensor<8x8x!fhe.ckks<14>>) -> tensor<8x8x!fhe.ckks<14>> {
  %c0 = arith.constant dense<0.0> : tensor<8x8xf64>
  %init = fhe.from_tensor %c0 : tensor<8x8xf64> -> tensor<8x8!fhe.ckks<14>>
  %prod = linalg.matmul ins(%a, %b : tensor<8x8x!fhe.ckks<14>>,
                                      tensor<8x8x!fhe.ckks<14>>)
                          outs(%init : tensor<8x8x!fhe.ckks<14>>)
  return %prod : tensor<8x8!fhe.ckks<14>>
}

프라이빗 AI의 실용화 시나리오

동형 암호화 기반 프라이빗 AI는 단순한 학술 데모를 넘어 여러 산업에서 실제 사용 사례가 등장하고 있다.

• 의료 AI: 환자의 유전체·의료영상 데이터를 암호화한 채 외부 클라우드에서 진단 모델을 돌릴 수 있다. HIPAA 규제 하에서도 데이터 비식별화 없이 분석이 가능하다.
• 금융 사기 탐지: 여러 은행이 거래 데이터를 결합해 사기 패턴을 학습하되, 개별 거래 내역을 노출하지 않는 연합형 분석이 가능하다.
• 광고 추천: 사용자 행동 데이터를 암호화한 채로 광고주 모델에 보내면, 양쪽 모두의 영업 비밀을 지키면서 개인화된 추천을 만들 수 있다.

실제 적용 시 알아야 할 한계와 트레이드오프

FHE는 만능이 아니다. 실서비스 적용 전 다음 사항을 반드시 점검해야 한다.

• 연산 오버헤드: 동일한 평문 연산 대비 1000~10000배 느리다. 실시간 응답이 필요한 인터랙티브 서비스엔 아직 부족하다.
• 노이즈 예산 관리: CKKS는 곱셈 깊이가 깊어질수록 노이즈가 누적돼 정확도가 떨어진다. HEIR은 노이즈 추정 패스를 자동으로 수행하지만, 개발자가 직접 부트스트랩 깊이를 결정해야 한다.
• 키 관리: 서버는 클라이언트의 공개키로만 연산하므로, 키 회전·폐기 정책과 부팅 시 안전한 키 전달이 필수다.
• 활성함수 제약: 비선형 활성함수(ReLU, GELU 등)는 다항식으로 근사해야 하므로 정확도 손실이 발생한다.

개발자가 바로 시작하는 법

1. git clone https://github.com/google/heir 후 MLIR 빌드 가이드(README.md)를 따라 로컬 환경을 구성한다.
2. Python 바인딩(heir-py)으로 PyTorch 모델을 한 줄 변환한다: heir.compile(model, scheme="ckks").
3. CKKS 다항식 근사 도구(heir-opt --approx)로 ReLU·GELU를 5~7차 다항식으로 자동 근사한다.
4. 노이즈 예산 리포트를 확인하고, 깊이가 깊으면 부트스트랩 위치를 조정한다.
5. 엔드 투 엔드 벤치마크는 OpenFHE·Lattigo·SEAL 중 하나와 비교해 회귀 테스트를 만든다.

앞으로의 전망

Google의 HEIR 공개는 프라이빗 AI 영역에서 생태계 경쟁의 신호탄이다. Microsoft의 EVA, IBM의 HELayers, Zama의 Concrete-ML이 같은 방향으로 움직이고 있고, CKKS 하드웨어 가속(Intel HEXL, NVIDIA cuPQC)도 빠르게 발전하고 있다. 향후 1~2년 안에 특정 추론 모델 한정으로는 평문 대비 100배 이내의 오버헤드가 일반화될 가능성이 높다.

개발자 입장에서는 지금이 표준을 익히기 가장 좋은 시점이다. 동형 암호화의 이론적 배경, CKKS 노이즈 관리, HEIR 회로 최적화 — 이 세 축을 중심으로 작은 모델(예: MNIST 분류기)부터 직접 돌려보면, 향후 본업에서 프라이빗 AI가 필요한 순간 즉시 적용할 수 있다.

요약

• Google은 동형 암호화 기반 프라이빗 AI 컴파일러 HEIR를 Private Computing Toolkit에 추가했다.
• HEIR은 MLIR 위에서 CKKS·BFV·TFHE 스킴을 통합하며, FHE 회로 최적화를 자동화한다.
• 의료·금융·광고 산업에서 가중치와 사용자 데이터를 동시에 보호하는 연합형 분석이 가능해진다.
• 성능 오버헤드와 노이즈 예산 관리는 여전히 주요 트레이드오프지만, 표준 생태계가 빠르게 자리 잡고 있다.

그림 1. MLIR 기반 HEIR 컴파일러 파이프라인 개요 (Frontend → FHE 변환 → Backend)

그림 2. 암호문 상태에서 AI 추론이 진행되는 일반적 흐름. 평문 노출 없이 서버·클라이언트 양쪽의 데이터를 보호한다.

---

📰 원본 출처 · https://news.hada.io/topic?id=32522 (#N=32522)

이 글은 GeekNews(긱뉴스)에 게제된 글을 기반으로 작성되었습니다. 원본의 라이선스와 저작권은 원작자에게 있습니다.