에이전트형 AI 서비스의 신중한 도입

핵심 요약

미국 CISA와 호주 ACSC 등 국제 파트너들이 에이전트형 인공지능(AI) 시스템 도입에 대한 보안 지침을 발표했습니다. 이 지침은 에이전트형 AI 시스템이 외부 도구(Tool) 사용 및 코드 인터프리터 연동 과정에서 발생할 수 있는 에이전트 하이재킹(Agent Hijacking)과 같은 고유한 보안 문제 및 위험을 식별하고, 안전한 설계, 배포 및 운영을 위한 실행 가능한 단계를 제시합니다. IT 감사인은 조직이 에이전트형 AI 도입 시 기존 사이버 보안 프레임워크와 연계하여 AI 위험 관리를 수행하고 있는지, 그리고 관련 보안 통제가 적절히 설계 및 운영되고 있는지에 대한 감사 계획을 수립해야 함을 시사합니다.

💡 개선 권고안

• ✔기술적 조치에이전트형 AI 시스템이 외부 도구(Tool), 코드 인터프리터, 웹 브라우저 등과 연동될 경우, 해당 연동 지점에 대한 엄격한 접근 통제, 입력값 검증, 출력값 필터링 등 보안 취약점 점검 및 통제 강화 방안을 마련하고 적용해야 함을 권고함.
• ✔기술적 조치AI 시스템이 처리하는 비공개 데이터 및 민감 정보에 대해 데이터 분류 체계를 수립하고, 암호화, 접근 제어, 비식별화 등 적절한 보호 조치를 적용하며, 데이터 유출 방지(DLP) 솔루션과의 연동을 통해 데이터 흐름을 모니터링할 것을 권고함.
• ✔관리적 조치에이전트형 AI 시스템 도입 및 운영에 대한 전사적인 AI 거버넌스 체계를 수립하고, AI 위험 관리 정책을 기존 정보보호 및 개인정보보호 정책에 통합하여 일관된 보안 통제가 이루어지도록 할 것을 권고함.
• ✔관리적 조치CISA 등 신뢰할 수 있는 외부 기관에서 발표하는 AI 관련 보안 경고 및 권고 사항을 주기적으로 모니터링하고, 이를 내부 AI 시스템의 보안 강화 및 감사 계획 수립에 적극적으로 반영하는 절차를 수립 및 시행할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문