과기정통부·KISA, AI 보안 위협 대응 매뉴얼·레드티밍 가이드 발간

핵심 요약

과학기술정보통신부와 한국인터넷진흥원(KISA)은 AI 서비스 확산에 따른 프롬프트 인젝션, 권한 오남용, 데이터 유출 등 새로운 보안 위협에 대응하기 위해 'AI 보안 위협 대응 매뉴얼'과 'AI 보안 레드티밍 가이드'를 발간했습니다. 이는 기존 정보보호 체계로 대응하기 어려운 AI 서비스의 취약점을 공격자 관점에서 검증하고 대응 체계를 마련하는 AI 레드티밍의 중요성을 강조합니다. 특히 프롬프트 인젝션은 Initial Access(TA0001) 또는 Impact(TA0007)와 연관될 수 있으며, 권한 오남용은 Privilege Escalation(TA0004) 또는 Lateral Movement(TA0008)로 이어질 수 있습니다. IT 감사인은 AI 서비스 도입 및 운영 시 이러한 새로운 위협에 대한 사전 검증 및 지속적인 모니터링 체계 구축 여부를 중점적으로 감사하여 데이터 손실 및 컴플라이언스 위반 리스크를 관리해야 합니다.

💡 개선 권고안

• ✔기술적 조치AI 모델의 개발, 학습, 평가, 배포 및 서비스 전 과정에 걸쳐 국정원 '생성형 AI 보안 가이드라인' 및 KISA의 'AI 보안 위협 대응 매뉴얼'을 준수하여 단계별 보안 위협 대응 방안을 적용해야 함을 권고함.
• ✔기술적 조치NIST AI 100-2 AML-DPT-02에 따라 AI 서비스에 대한 자동화 취약성 평가 도구를 도입하고, 'AI 보안 레드티밍 가이드'를 활용하여 전문가 레드팀을 통한 정기적인 모의 해킹 및 탈옥 공격 취약성 평가를 수행할 것을 권고함.
• ✔기술적 조치NIST AI 100-2 AML-DPT-07에 따라 AI 서비스의 사용자 활동(쿼리, 모델 응답 등)을 지속적으로 모니터링하고 로깅하는 체계를 구축하여 프롬프트 공격 시도 및 성공 사례를 탐지하고 신속히 대응할 수 있도록 SIEM/SOAR 연동을 강화할 것을 권고함.
• ✔관리적 조치AI 서비스 도입 및 운영 전 프롬프트 인젝션, 권한 오남용, 데이터 유출 등 AI 특유의 보안 위협에 대한 위험 평가를 의무화하고, 그 결과를 바탕으로 보안 대책을 수립 및 시행할 것을 권고함.
• ✔관리적 조치외부 AI API 또는 사전 훈련 모델 도입 시 AI 거버넌스(ISO/개인정보법) AIGOV-08에 의거하여 공급망 위험 평가를 수행하고, 모델의 학습 데이터 출처, 저작권, 편향 위험을 면밀히 검토하는 절차를 수립 및 시행할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문