격자 기반 PQC의 부상과 글로벌 표준 경쟁 — SMAUG-T와 HAETAE의 역할
2025.12.30
서론: 양자 시대의 도래와 전통 암호의 종말 — 정보보호의 패러다임 전환
현대 디지털 통신의 무결성과 기밀성을 책임지는 핵심 기술은 공개키 암호체계입니다. 이 체계는 오랫동안 'RSA(Rivest-Shamir-Adleman)'의 소인수분해 난제, 그리고 'ECC(Elliptic Curve Cryptography)'와 같은 이산로그 난제에 기반하여 안전성을 유지해 왔습니다. 그러나 양자 컴퓨터(Quantum Computer) 기술의 발전은 이 모든 기반을 흔들고 있습니다. 1994년 발표된 Shor 알고리즘은 충분히 강력한 양자 컴퓨터가 등장할 경우, 기존 공개키 암호를 짧은 시간 내에무력화할 수 있음을 이론적으로 증명했습니다.
이러한 위협은 단순히 미래의 일이 아닙니다. 공격자는 암호화된 기밀 데이터(예: 국가 안보 정보, 개인 의료 기록, 장기 계약서 등)를 양자 컴퓨터가 상용화되기 이전인 현재 시점에 미리 수집하고 저장하는 HNDL (Harvest Now, Decrypt Later) 전략을 사용할 수 있습니다. 이는 양자 컴퓨터가 상용화되는 시점에 이 데이터를 한꺼번에 복호화할 목적이며, 장기간 기밀성을 유지해야 하는 모든 정보에 치명적입니다. 따라서 양자 컴퓨터의 공격에도 안전성을 유지하는 '양자내성암호(PQC, Post-Quantum Cryptography)'로의 전환은 선택이 아닌 필수이며, 이는 금융, 통신, 국방 등 모든 산업 분야에서 시급하게 요구되는 정보보호의 패러다임 전환을 의미합니다.
PQC 후보군 경쟁과 격자기반 암호의 지배적 부상
PQC 후보군에는 격자기반 암호 외에도 코드 기반(Code-based), 다변수 기반(Multi-variate), 해시 기반(Hash-based), 아이소지니 기반(Isogeny-based) 등이 존재합니다. 이들 중 '격자기반암호(Lattice-based Cryptography)'가 표준화의 주류로 확고하게 자리 잡은 데는 명확한 이유가 있습니다.
- 견고한 안전성 증명: 격자 문제는 양자 및 고전 컴퓨터 모두에게 난해한 것으로 알려진 LWE(Learning With Errors) 및 'SIS(Short Integer Solution)'와 같은 문제에 기반합니다. 특히 LWE 문제는 보안 난이도를 명확히 계산할 수 있는 '환원 증명(Reduction Proof)'이 존재하여, 안전성에 대한 학술적 신뢰도가 매우 높습니다.
- 우수한 성능 및 실용성: 격자 암호는 비교적 작은 키 크기를 유지하면서도, 고속의 다항식 연산을 기반으로 하여 기존 RSA나 ECC에 버금가는 빠른 처리 속도를 제공합니다. 이는 통신 프로토콜(TLS/SSL)이나 대규모 서명 시스템에 즉시 적용 가능하게 하는 핵심 강점입니다. 반면, 코드 기반 암호는 안전하지만 키 크기가 메가바이트 단위로 매우 크고, 다변수 기반 암호는 빠르지만 안전성 증명이 덜 성숙했다는 단점을 가집니다.
격자기반 PQC의 글로벌 표준화 동향: NIST의 주도와 국제 공조
글로벌 PQC 표준화는 미국 국립표준기술연구원(NIST)의 주도로 2016년부터 시작되어 총 4차에 걸친 엄격한 경쟁 과정을 거쳤습니다. 이 과정은 수백 개의 후보 알고리즘을 대상으로 학계와 산업계의 광범위한 분석과 공격 시도를 통해 기술적 완성도를 높이는 전례 없는 노력이었습니다.
2024년과 2025년을 기점으로 NIST는 최종 표준 알고리즘을 발표하며 PQC 전환의 이정표를 세웠습니다. 최종 표준으로 선정된 알고리즘의 대다수는 격자기반입니다.
- 키 캡슐화 메커니즘 (KEM) 표준: CRYSTALS-Kyber (격자기반)
- 전자서명 표준: CRYSTALS-Dilithium (격자기반), Falcon (격자기반), SPHINCS+ (해시 기반)
이러한 NIST의 결정은 격자 암호가 향후 수십 년간 글로벌 암호 환경을 지배할 기술임을 공표한 것과 같습니다. 유럽연합의 'ENISA(European Union Agency for Cybersecurity)'는 PQC 전환 로드맵을 발표하고 있으며, 'ETSI(European Telecommunications Standards Institute)'는 PQC 관련 표준 개발을 진행하는 등, 전 세계가 NIST의 결과를 바탕으로 자체적인 표준화 작업과 적용을 가속화하고 있습니다. 이는 PQC 전환이 더 이상 연구 단계가 아니라, 실제 제품과 인프라에 통합되어야 하는 현실적인 과제가 되었음을 의미합니다.
한국형 PQC: SMAUG-T와 HAETAE의 탄생과 국가적 중요성
대한민국은 글로벌 표준화의 흐름 속에서 국가 정보보호 주권을 확보하고 국내 산업 경쟁력을 강화하기 위해 국가보안기술연구소(NSRI) 주관으로 KpqC(Korean Post-Quantum Cryptography Competition) 공모전을 추진했습니다. 이 과정을 통해 격자기반 KEM인 SMAUG-T와 격자기반 전자서명인 HAETAE가 핵심 PQC 알고리즘으로 최종 선정되었습니다.
이들 알고리즘은 단순히 글로벌 추세를 모방하는 것이 아니라, 국내 연구진의 기술력을 집약하여 최적화된 성능과 강화된 안전성을 목표로 개발되었습니다. 특히 SMAUG-T와 HAETAE는 표준화를 위해 필요한 기술적 완성도를 확보하는 데 중점을 두었습니다.
- SMAUG-T (KEM): LWE의 모듈 기반 변형인 Module-LWE/LWR 문제에 기반합니다. 이는 일반 LWE보다 키 길이를 효율적으로 줄이면서도 Kyber와 같은 NIST 표준과 유사한 보안 구조를 가집니다.
- HAETAE (DSA): NIST 표준인 Dilithium과 구조적으로 유사한 Fiat-Shamir with Aborts 방식을 채택합니다. 이 방식은 서명 생성 과정에 무작위성을 부여하여 서명의 위조 불가능성을 강력하게 보장하며, 높은 효율성을 제공합니다.
현재 SMAUG-T와 HAETAE는 KS(Korean Industrial Standard) 제정을 목표로 기술적 완성도를 높이는 작업이 진행 중입니다. 더 나아가, 최신 공격 기법(예: BKZ 알고리즘)에 대한 정밀한 안전성 분석을 통해 알고리즘의 파라미터가 'NIST 요구 보안 레벨(Level 1~5)'을 충족함을 입증하는 것이 핵심입니다. 이러한 입증 과정은 국내 PQC 기술의 신뢰성을 확보하고, 나아가 ISO/IEC 등 국제 표준화 기구에 대한 대응을 통해 국내 기술의 글로벌 확산을 위한 결정적인 발판을 마련합니다.
SMAUG-T와 HAETAE의 성공적인 표준화와 산업 적용은 대한민국의 사이버 공간을 양자 위협으로부터 보호하고, 차세대 암호 기술 시장에서의 입지를 확고히 하는 중대한 국가적 사업입니다.