[카드뉴스] “착한 AI가 갑자기 욕설을?”… 학습 데이터에 ‘독’ 푸는 데이터 포이즈닝 비상

핵심 요약

데이터 포이즈닝 공격은 AI 모델의 학습 데이터에 악성 데이터를 교묘하게 주입하여 저작권 침해, 차별, 가짜 뉴스 등 잘못된 결과물을 도출하게 만드는 새로운 보안 위협으로 부상했습니다. 이 공격은 AI의 기술적 결함보다는 내재된 편향성을 악용하여 겉보기에는 정상적이지만 실제로는 오염된 '좀비 AI'를 생성하며, 이는 소프트웨어 및 데이터 무결성 실패(OWASP A08:2021)와 직접적으로 관련됩니다. IT 감사인은 AI 시스템 도입 및 운영 시 학습 데이터의 무결성, 품질, 편향성 검증 절차와 적절한 접근 통제 및 데이터 정제 메커니즘의 존재 여부를 중점적으로 감사하여 기업의 신뢰도 저하 및 컴플라이언스 위반 리스크를 관리해야 합니다.

💡 개선 권고안

• ✔기술적 조치AI 학습 데이터 저장소 및 학습 환경에 대한 접근 통제를 최소 권한 원칙(Least Privilege)에 기반하여 강화하고, 데이터 무결성 검증 메커니즘을 도입하여 비인가 변경 및 오염 시도를 탐지 및 차단할 것을 권고함.
• ✔기술적 조치AI 모델 학습 파이프라인에 데이터 정제(Sanitization) 및 검증 단계를 포함하여, 오염된 샘플을 식별하고 제거하는 기술적 방어 조치(예: RONI, BagFlip 등)를 적용해야 함을 권고함.
• ✔관리적 조치AI 학습 데이터의 수집, 전처리, 저장, 활용 등 전 생애주기에 걸쳐 데이터 품질 및 무결성 관리 정책을 수립하고, 주기적인 데이터 감사 및 편향성 검증 절차를 시행할 것을 권고함.
• ✔관리적 조치AI 모델 개발 및 운영 담당자를 대상으로 데이터 포이즈닝 공격의 위험성과 대응 방안에 대한 보안 교육을 강화하고, 관련 보안 사고 발생 시 대응 절차를 명확히 수립 및 시행할 것을 권고함.
• ✔관리적 조치AI 시스템의 신뢰성 및 보안 강건성 확보를 위해 금융분야 AI 보안 가이드라인, NIST AI 100-2 등 관련 국내외 표준 및 가이드라인을 준수하는 AI 거버넌스 체계를 구축 및 강화할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문