GPT·클로드·제미나이 추론 과정 노출…AI API 보안 허점 발견

핵심 요약

오픈AI, 앤트로픽, 구글 등 주요 LLM 벤더의 API에서 암호화된 내부 추론 과정이 노출되고 API 키 및 비밀번호와 같은 민감정보가 유출될 수 있는 보안 허점이 발견되었습니다. 연구팀은 AI 모델이 내부 추론 내용을 보호하기 위해 사용하는 암호화된 데이터가 세션, 사용자, 일부 모델 간에 재사용될 수 있음을 확인했으며, 이는 암호화 기술 자체의 문제가 아닌 데이터 재사용 방식의 취약점으로 분석됩니다. 이로 인해 공격자는 LLM 에이전트 작업 로그에서 민감정보를 탈취할 수 있습니다(MITRE ATT&CK: T1528 – Steal Application Access Token). 국내 금융·공공·IT서비스 조직은 LLM API 활용 시 API 키 관리 및 데이터 처리 방식에 대한 보안 통제를 강화하고, AI 모델의 추론 과정에서 민감정보가 노출되지 않도록 철저한 점검과 개선이 필요하다는 시사점을 제공합니다.

💡 개선 권고안

• ✔기술적 조치LLM API 호출 시 사용되는 API 키 및 비밀번호와 같은 민감정보가 LLM 에이전트의 작업 로그나 내부 추론 과정에서 평문 또는 복원 가능한 형태로 노출되지 않도록 강력한 암호화 및 접근 통제 메커니즘을 적용해야 함을 권고함.
• ✔기술적 조치LLM API와 연동되는 시스템에서 민감정보를 처리할 경우, 입력 데이터에 대한 비식별화 또는 마스킹 처리를 선행하고, LLM의 추론 결과에 민감정보가 포함되지 않도록 출력 필터링 및 검증 로직을 강화할 것을 권고함.
• ✔관리적 조치LLM API 키의 생성, 저장, 사용, 폐기 등 전체 라이프사이클에 대한 보안 정책 및 절차를 수립하고, 최소 권한 원칙에 기반한 접근 통제 및 정기적인 키 갱신을 의무화할 것을 권고함.
• ✔관리적 조치외부 LLM API 도입 및 활용 시 공급망 위험 평가 절차를 강화하고, LLM 벤더의 보안 권고 사항 및 취약점 공지를 지속적으로 모니터링하여 즉각적인 대응 체계를 수립 및 시행할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문