2020년에 자율형 사이버 에이전트 개발을 시작할 당시, 실제 환경에 적용되기까지는 수십 년이 걸릴 것으로 예상했습니다. 당시 이러한 시스템은 흥미롭지만, 단기적으로 활용하기보다는 장기적 가능성을 고려한 니치 개선에 가까운 기술로 여겨졌습니다.
그러나 모든 것이 바뀌었습니다.
생성형 AI(GenAI)는 하나의 사건이라기보다는, 오늘날까지도 지속되고 있는 기술 혁신의 연쇄 반응을 일으켰습니다. 그 결과 개발 일정이 축소되었으며, 그 속도는 점점 더 빨라지고 있습니다. 이는 단순히 목표를 앞당기는 차원이 아닙니다. GenAI가 주도하는 변화의 물결은 과거의 기준을 거침없이 무너뜨리며, 과거 우리가 경험한 속도를 훨씬 뛰어넘는 방식으로 가능성의 경계를 새롭게 정의하고 있습니다. 한때 장기 연구에 한정되었던 기능들이 이제는 놀라운 속도로 실제 환경에 통합되고 있습니다.
에이전틱 시스템이 기업의 워크플로와 의사결정 파이프라인은 물론 핵심 인프라에 이르기까지 다양한 영역에 이미 내장되고 있다는 사실은 물론 일반적이지는 않지만 놀랍지도 않습니다. 이제는 2020년이 아주 오랜 과거처럼 느껴집니다. 우리는 이제 에이전틱 AI의 도래를 준비하는 단계를 넘어 그 지속적이며 급속한 진화에 대응하는 단계에 이르렀기 때문입니다.
변화하는 목표를 위한 연구
제가 공동 저자로 참여한 워크숍 보고서 안전한 AI 에이전트 에코시스템 구축은 이러한 가속화의 의미를 명확히 파악하기 위한 여러 기관의 협력으로 완성되었습니다. 이 보고서는 RAND, Schmidt Sciences, 그리고 산업계, 학계, 정부 전반에 걸친 에이전틱 AI 분야의 주요 전문가와의 협력을 통해 작성되었습니다. 이 백서는 만능 해결책을 제시하지는 않습니다. 하지만 에이전틱 AI를 이해하고 접근하는 새로운 방식을 제안합니다.
이 보고서의 핵심은 AI 에이전트의 세 가지 필수 보안 요소를 제시하며, 이들 시스템이 진화함에 따라 기존의 가정이나 인프라에서 발생할 수 있는 취약점을 지적하는 것입니다. 단순히 현실을 인정하는 것을 넘어, 근본적인 사고 방식의 전환을 주장합니다. 에이전틱 시스템의 시대는 이미 도래했음을 인정해야 한다는 것입니다. 따라서 이러한 시스템을 보호하는 것은 먼 미래의 과제가 아닙니다. 오히려 긴급한 해결이 필요한 문제로서, 혁신의 끊임없는 속도와 시스템 확장의 규모, 초기 도입자에게 집중되는 불균형한 리스크, 공격 능력과 방어 목표 간의 극단적 비대칭 구조로 더욱 심화되고 있습니다.
AI 에이전트를 보호함에 있어 대두되는 문제 중 하나는, 이러한 시스템이 전통적인 소프트웨어와는 외관도, 동작하는 방식도 완전히 다르다는 점입니다. 이들은 동적으로 진화하며, 최소한의 감독 하에서 자율적으로 의사결정하는 능력이 발전하고 있습니다. 일부는 일정 관리나 이메일 분류와 같은 구체적 작업을 자동화하기 위해 설계되었고, 또 다른 일부는 고위험 환경에서 완전한 자율 행동을 향해 진화하고 있습니다. 어느 쪽이든, 전통적인 애플리케이션 보안을 위해 사용했던 기존의 프레임워크로는 충분하지 않습니다. 우리는 기존 취약점의 변형이 아니라, 근본적으로 새로운 보안 문제를 마주하고 있습니다. 공격 표면도 변화했습니다.
AI 에이전트 보안의 세 가지 핵심 요소
이러한 사고 방식의 전환에 따라 보안 환경은 세 가지 핵심 요소를 중심으로 재편되고 있습니다.
- 제3자의 침해로부터 AI 에이전트 보호: 외부 공격자가 AI 에이전트를 장악하거나 조작할 수 없도록 보호하는 방법.
- 에이전트 자체로부터 사용자 및 조직 보호: AI 에이전트의 정상 작동 또는 비정상적 오작동 여부에 관계없이 모든 상황에서 사용자나 조직에 위해를 가하지 않도록 보장하는 방법.
- 악의적 에이전트로부터 핵심 시스템 보호: 의도적으로 설계되고 배포되어 피해를 입히는 AI 에이전트로부터 필수 인프라와 시스템을 보호하는 방법.
이 카테고리는 고정된 것이 아니라, 능력과 위협 성숙도라는 스펙트럼의 연속선상에 위치합니다. 현재 에이전트를 도입한 대부분의 조직은 처음 두 가지 보안 문제를 마주하고 있지만, 악의적인 자율형 공격이라는 거대한 세 번째 위협이 점점 다가오고 있습니다. 국가들은 자율형 사이버 에이전트에 가장 먼저 투자한 주체 중 하나였습니다.1 그러나 곧 수많은 조직이 그에 합류하게 될 것입니다.
이처럼 강력하고 광범위한 자율형 위협의 새로운 시대를 헤쳐 나가기 위해서는 기존 방어 체계의 점진적 개선으로는 결코 충분하지 않습니다. 보안 분야에서 전문가 커뮤니티가 협력하고 혁신하는 방식 자체의 근본적인 변화가 필요합니다.
과거 AI 연구자와 사이버 보안 전문가는 리스크와 아키텍처에 있어 서로 다른 가정을 바탕으로 각자의 영역에서 병렬적으로 활동했습니다. 그러나 에이전틱 AI 보안이라는 복잡한 최전선에서는 어느 한쪽도 이처럼 거대한 과제를 단독으로 해결할 수 없습니다. 따라서 양측의 통합적 노력이 필요하며, 깊이 있는 지속적 협력이 무엇보다 중요합니다. 이 분야 전체에 적용 가능한 보편적 프로토콜이나 포괄적인 보안 모범 사례는 아직 완전히 성숙되지 못했지만, 에이전트를 효과적으로 보호하는 완성형 제품이 부족하다는 주장은 이제 더 이상 유효하지 않습니다. 이제 고도화된 배포형 솔루션이 등장해 중요한 에이전트 시스템에 특화된 보호 기능을 제공하고 있으며, 이는 실질적인 진전을 보여주고 있습니다. 이러한 변화는 적응형 다층 보안 전략의 시급성을 더욱 부각시킵니다. 모델의 출처 추적, 강력한 격리, 인간 중심의 복원력 있는 컨트롤 등 이 모든 요소도 에이전트 자체만큼이나 빠르게 진화해야 합니다.
실행 가능한 개입 방안
진화하는 강력한 제품 솔루션은 에이전틱 AI가 초래하는 즉각적 운영 리스크를 완화함에 있어 점점 더 중요한 역할을 하고 있습니다. 하지만 보다 포괄적이고 장기적인 보안을 달성하기 위해서는 산업 전반의 기초 역량을 강화하고 공통의 이해를 확보하기 위한 집중적인 투자가 필요합니다. 제품 혁신을 보완하는 몇 가지 주요 방향은 공동의 노력으로 도달 가능한 범위 안에 있으며, 집중적인 노력이 필요합니다.
예를 들어, “SBOM(Soft bill of materials)”을 모델로 하는 “ABOM(Agent bill of materials)”은 모델, 학습 데이터, 도구, 메모리 등 에이전트의 구성 요소에 대한 가시성을 제공하는 것을 목표로 합니다. 그러나 실질적인 구현 가능성은 아직 안개 속에 있습니다. 예를 들어, 모델 식별을 위한 공통 시스템이 부재하다는 점은 그러한 투명성을 확보함에 있어 큰 장벽이 되고 있습니다.
또한, 표준화된 사전 배포 테스트 베드는 에이전트가 프로덕션 환경에 투입되기 전에 확장 가능한 시나리오 기반 평가를 지원할 수 있습니다. MCP(Model Context Protocol), A2A(Agent-to-Agent)와 같은 통신 프로토콜도 등장하고 있지만, 초기 설계 단계부터 보안을 내재한 사례는 드문 상황입니다. 그리고 초기부터 보안 조치가 통합되었다 하더라도, 이 새로운 에이전트 시스템에는 “알려지지 않은 미지의 요소”가 존재하기 때문에 프로토콜의 엄격하고 지속적인 평가 없이는 무결성과 안전성을 유지하기 어렵습니다.
우리 보고서에서 다루고자 하는 접근 방식 중 하나는 학습, 성능 향상, 과거 실수의 반복 방지에 반드시 필요한 에이전트의 메모리가 주요 취약점으로서 악의적 조작의 표적이 될 수 있다는 핵심 과제를 해결하는 것입니다. 이 전략에는 “클론-온-런치(Clone-on-launch)” 또는 특정 작업에 특화된 에이전트 인스턴스의 활용이 포함되어 있습니다. 이 모델에서 특정 운영 과제나 단기 상호작용을 위해 설계된 에이전트는 활성 작업 메모리를 일시적 데이터로 처리합니다. 특정 작업이나 세션이 종료되면 각 인스턴스의 사용이 중단되며, 이후 새로운 작업은 신뢰할 수 있는 보안 베이스라인에서 초기화된 새로운 인스턴스가 담당합니다.
이러한 방식은 하나의 세션에서 발생할 수 있는 지속적 메모리 손상이나 은밀한 조작의 잔여 효과를 크게 줄이는 것을 목표로 합니다. 하지만, 이러한 시스템이 효과를 발휘하기 위해서는 에이전트의 핵심 기반 지식과 장기 학습 내용을 안전하게 보존하는 것을 넘어, 이들 데이터의 조작을 방지하고 임시 인스턴스가 안전하고 효과적으로 이를 참조할 수 있도록 설계해야 합니다. 이와 같은 방식으로 운영 상태를 관리하는 것은 모든 메모리 관련 위협의 포괄적인 해결책은 아니지만, 에이전트 보안과 강력한 격리의 진전을 위해 필요한 시스템 수준의 창의적 사고에 해당합니다.
공동의 노력을 위한 호소
결국, 에이전틱 AI의 보안은 단 하나의 기술 혁신으로 해결할 수 있는 문제가 아닙니다. 이를 위해서는 연구자, 정책 입안자, 실무자, 산업 리더들이 분야를 넘어 협력하는 지속적 다자간 노력이 필요합니다. 이러한 위협은 기술적인 문제이면서, 동시에 근본적인 구조의 문제이기도 합니다. 우리는 아직 완전히 이해하지 못한 시스템을 보호하고자 노력하고 있습니다. 하지만 지난 몇 년간 분명해진 사실이 하나 있습니다. 상황이 명확해질 때까지 기다린다면, 행동이 너무 늦어질 것이라는 점입니다.
에이전틱 AI의 진화는 우리 산업에서 기술의 광범위한 도입과 함께 중요한 안전 장치의 개발이 이루어지고 있음을 나타냅니다. 이러한 동시 진행이 반드시 위기를 뜻하는 것은 아니지만, 모두의 공동 책임이라는 분명한 신호임은 분명합니다. 이러한 노력이 성공하기 위해서는 투명성, 엄격한 기준, 신뢰할 수 있는 AI 에코시스템을 위한 통합적 비전을 바탕으로 필요한 기반을 함께 구축하겠다는 업계 전반의 확고한 의지가 필요합니다.
보고서 전문 읽기: 안전한 AI 에이전트 에코시스템 구축.
1Autonomous Cyber Defence Phase II, Centre for Emerging Technology and Security, 2024년 5월 3일.
