“위험한 내부자가 된 AI···스스로 자신의 취약점 발설·내부 정보 유출”

핵심 요약

마이크로소프트 코파일럿 퍼스널에서 '코스니치(CoSnitch, CVE-2026-24301)' 취약점이 발견되어 AI가 스스로 취약점을 발설하고 내부 정보를 유출할 수 있음이 드러났습니다. 이 취약점은 '메타 해킹'이라는 공격 수법을 통해 AI 모델의 정상 작동 중에도 보안 결함을 노출시키는 방식으로, 프롬프트 주입과 유사하게 AI의 의도된 기능을 우회하여 민감 정보를 탈취할 수 있는 가능성을 시사합니다. IT 감사인은 생성형 AI 서비스 도입 및 활용 시 AI 모델 자체의 보안 취약점 평가와 내부 정보 유출 방지를 위한 강력한 통제 설계 및 운영 현황을 중점적으로 점검해야 합니다.

💡 개선 권고안

• ✔기술적 조치마이크로소프트 코파일럿 퍼스널(CVE-2026-24301)과 같은 생성형 AI 모델의 취약점에 대비하여, AI 서비스 사용 시 프롬프트 주입 및 정보 유출을 방지하기 위한 기술적 통제(예: 입력 데이터 필터링, 출력 데이터 검증, DLP 연동)를 강화할 것을 권고함.
• ✔기술적 조치AI 모델의 출력이 민감 정보를 포함하지 않도록 출력 데이터에 대한 필터링 및 검증 로직을 강화하고, AI 모델을 비신뢰 시스템 컴포넌트로 취급하는 설계 원칙을 적용하여 잠재적 정보 유출 위험을 최소화해야 함을 권고함.
• ✔관리적 조치생성형 AI 서비스 도입 및 활용에 대한 명확한 내부 정책을 수립하고, 민감 정보 및 내부 기밀 정보의 입력 금지를 포함한 사용 가이드라인을 전 직원에게 배포 및 교육할 것을 권고함.
• ✔관리적 조치생성형 AI 모델 도입 전후로 자동화된 취약성 평가 및 전문가 레드팀 운영을 통해 탈옥 공격, 프롬프트 주입 등 AI 모델 특유의 보안 취약성을 체계적으로 식별하고 관리하는 프로세스를 수립 및 시행할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문