커서, 코덱스, 제미니 CLI, 안티그래비티, 샌드박스 탈출 공격 당해

핵심 요약

AI 에이전트가 신뢰할 수 있는 호스트 도구를 악용하여 샌드박스를 탈출하는 새로운 공격 기법이 발견되었습니다. 공격자들은 AI 에이전트가 생성한 파일이 호스트 시스템에서 실행될 때, 샌드박스 환경의 격리 메커니즘을 우회하여 임의 코드 실행(Arbitrary Code Execution)을 가능하게 했습니다. 이는 AI 에이전트가 외부 도구(Tool)나 코드 인터프리터와 상호작용하는 과정에서 발생하는 보안 취약점을 악용한 것으로, MITRE ATT&CK의 Execution(TA0002) 전술과 연관될 수 있습니다. IT 감사인은 AI 에이전트의 외부 도구 사용 및 샌드박스 환경의 무결성 검증에 대한 통제 미비가 심각한 보안 사고로 이어질 수 있음을 인지하고, 관련 보안 통제 및 거버넌스 체계의 적절성을 점검해야 합니다.

💡 개선 권고안

• ✔기술적 조치AI 에이전트가 생성하는 파일 또는 코드에 대한 보안 검증 절차(예: 악성코드 스캔, 코드 정적/동적 분석)를 의무화하고, 호스트 시스템에서 해당 파일이 실행되기 전 엄격한 승인 및 통제 메커니즘을 적용해야 함을 권고함.
• ✔기술적 조치AI/LLM 기반 시스템에 대해 NIST AI 100-2 AML-DPT-02에서 권고하는 바와 같이 자동화된 취약성 평가 및 전문가 레드팀 운영을 통해 탈옥 공격 및 프롬프트 주입 취약성을 체계적으로 식별하고 관리할 것을 권고함.
• ✔관리적 조치AI/LLM 기반 시스템 도입 및 운영 시, LLM 에이전트가 외부 도구 또는 코드 인터프리터와 상호작용하는 환경에 대한 명확한 보안 정책 및 가이드라인을 수립 및 시행할 것을 권고함.
• ✔관리적 조치AI 에이전트의 샌드박스 환경에 대한 정기적인 보안 위험 평가를 수행하고, 알려진 샌드박스 탈출 공격 기법에 대한 최신 위협 정보를 반영하여 보안 통제 체계를 지속적으로 강화할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문