중국, 오픈클로 AI 에이전트 사용 금지... ‘간접 프롬프트 주입’ 보안 비상

핵심 요약

중국 보안 당국은 웹페이지에 숨겨진 악성 지침을 통해 AI의 판단을 왜곡하고 기밀을 유출할 수 있는 '간접 프롬프트 주입(IDPI)' 공격 시나리오가 확인됨에 따라 오픈소스 AI 에이전트 '오픈클로(OpenClaw)'의 사용을 전격 금지했습니다. 이 사고는 AI 에이전트가 외부 웹 콘텐츠를 처리하는 과정에서 악성 프롬프트가 주입되어 민감한 정보를 실시간으로 추출하는 방식으로 발생했으며, 이는 AI 모델의 외부 데이터 처리 및 API 활용 시 발생하는 근본적인 보안 취약점을 드러냅니다. IT 감사인은 AI 에이전트 도입 및 운영 시 간접 프롬프트 주입과 같은 신종 공격 벡터에 대한 철저한 위험 평가와 통제 체계 구축 여부를 중점적으로 점검하고, AI 모델의 입력 데이터 검증 및 외부 API 연동 보안을 강화해야 함을 시사합니다.

💡 개선 권고안

• ✔기술적 조치AI 에이전트가 외부 데이터 소스(웹, API 등)와 연동될 때, 입력되는 모든 데이터를 철저히 검증하고 악성 프롬프트 주입을 탐지 및 차단하는 시스템을 구축해야 함을 권고함.
• ✔기술적 조치AI 모델이 시스템 프롬프트, 사용자 입력, 외부 데이터 간의 신뢰 계층(Trust Hierarchy)을 내재화하도록 학습시켜 간접 프롬프트 주입(Indirect Prompt Injection) 공격에 대한 방어 능력을 강화할 것을 권고함.
• ✔관리적 조치AI 에이전트 도입 및 운영에 앞서 간접 프롬프트 주입(IDPI)과 같은 신종 공격 벡터에 대한 철저한 위험 평가를 수행하고, 이에 대한 보안 통제 체계를 수립 및 시행할 것을 권고함.
• ✔관리적 조치오픈소스 AI 모델 또는 외부 AI API 도입 시 공급망 위험 평가를 의무화하고, 모델의 학습 데이터 출처, 저작권, 편향 위험 등을 포함한 종합적인 보안 검토 절차를 수립 및 시행할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문