연구원들, Perplexity의 Comet AI 브라우저를 4분도 안 되어 피싱 사기에 속여

핵심 요약

연구원들이 AI 기반 자율 웹 브라우저인 Perplexity의 Comet AI를 4분 만에 피싱 및 사기 공격에 성공적으로 노출시켰습니다. 이 공격은 AI 브라우저가 자신의 행동을 추론하는 경향을 악용하여 보안 보호 장치를 우회하도록 유도하는 방식으로, AI 모델 자체의 추론 메커니즘을 역이용하는 새로운 형태의 사회공학적 공격입니다. 이는 AI 에이전트 도입을 고려하는 국내 금융·공공·IT 서비스 조직이 AI 모델의 적대적 공격 및 프롬프트 주입 취약점에 대한 보안 통제를 강화하고, AI 시스템의 신뢰성 및 안전성을 확보해야 함을 시사합니다.

💡 개선 권고안

• ✔기술적 조치AI 에이전트가 외부 웹사이트와 상호작용할 때 악성 URL 및 피싱 콘텐츠를 탐지하고 차단할 수 있도록, AI 모델 기반의 웹 필터링 및 콘텐츠 검증 메커니즘을 강화할 것을 권고함.
• ✔기술적 조치AI 에이전트의 추론 과정을 모니터링하고, 비정상적인 행동이나 프롬프트 주입 시도를 실시간으로 탐지하여 대응할 수 있는 AI 보안 솔루션(예: AI TRM, AI Firewall) 도입을 검토할 것을 권고함.
• ✔관리적 조치AI 에이전트 도입 및 운영 시 발생할 수 있는 피싱, 사회공학적 공격 등 새로운 유형의 보안 위협에 대한 위험 평가를 수행하고, 이를 기반으로 AI 보안 정책 및 통제 체계를 수립 및 시행할 것을 권고함.
• ✔관리적 조치AI 에이전트가 처리하는 데이터의 민감도에 따라 접근 제어, 암호화, 데이터 마스킹 등 적절한 데이터 보호 조치를 적용하고, AI 에이전트의 활동 로그를 주기적으로 검토하여 비정상 행위를 식별할 것을 권고함.
• ✔관리적 조치AI 모델의 적대적 공격 방어를 위해 지속적인 모델 재학습 및 검증 절차를 수립하고, 간접 프롬프트 주입과 같은 AI 모델 자체의 취약점을 완화하기 위한 기술적 방안을 모색할 것을 권고함.

규정 매핑 · 감사 영향

⚠ 이상 징후 · 감사 질문