귀사의 AI 생태계는 안전한가요?

Palo Alto Networks의 Prisma AIRS로 모든 AI 투자 보호

무서운 속도로 기업에 큰 변화를 불어넣는 GenAI

생성형 AI(GenAI)는 우리가 일하고, 배우고, 소통하는 방식에 새로운 혁명을 일으키고 있습니다. 이러한 변화는 개인용 컴퓨터와 인터넷이 등장했을 때와 매우 유사하면서도 도입 속도가 훨씬 더 빠릅니다. 전 세계 기업들은 생산성을 높이고, 혁신을 촉진하며, 비용을 절감하고, 출시 속도를 앞당기고자 GenAI를 도입하고 있습니다. 현재 거의 절반(47%)1에 이르는 기업이 GenAI 애플리케이션을 구축하고 있으며, IT 선도 기업 중 93%2는 향후 2년 내에 자율형 AI 에이전트를 도입할 예정이라고 합니다.

이렇듯 경영진이 GenAI에 큰 기대를 거는 이유는 무엇일까요? 먼저, GenAI를 활용하면 생산성이 엄청나게 높아집니다. GenAI를 사용하지 않는 작업자에 비해 GenAI를 사용하는 작업자는 업무 성과를 약 40%3까지 향상할 수 있으며, AI 지원 소프트웨어 엔지니어는 코딩 속도를 2배4까지 높일 수 있습니다. 또 다른 주요 이점은 콘텐츠 생성 측면에 있습니다. 마케팅 분야에서는 사용자의 73%가 텍스트, 비디오, 이미지 등 다양한 유형의 콘텐츠를 생성하는 데 GenAI 도구를 활용합니다5. 기업들은 혁신을 촉진하고, 운영 효율성을 높이며, 경쟁 우위를 유지하기 위해 GenAI 애플리케이션을 받아들이고 있습니다.

GenAI 도입을 촉진하는 일반적인 요인

기존 보안을 뛰어넘는 독보적인 GenAI 리스크

AI 도입이 급증하면서 AI 시스템과 데이터 세트를 표적으로 삼는 사이버공격도 크게 늘어났습니다. 최근 보고서에 따르면 지난 한 해 동안 57%에 이르는 조직에서 AI 기반 공격이 증가한 것을 확인했습니다. 특히 Amazon은6 개월 만에 일일 인시던트 수가 1억 건에서 거의 10억 건에 육박하는 것으로 사이버 위협이 무섭게 급증하는 현실을 체감했습니다7. 이러한 급증 현상은 어느 정도 AI 확산으로 일어나는 것으로 여겨집니다.

기존 보안 시스템은 생성형 AI(GenAI) 환경을 보호하기에 미흡한 경우가 많습니다. GenAI가 야기하는 고유한 위험을 처리하도록 설계되지 않았기 때문입니다. 이러한 도구는 정적인 규칙과 알려진 위협 패턴을 활용하지만, GenAI는 정해진 시그니처를 따르지 않는 예측 불가능하고 매우 가변적인 출력을 생성합니다. 결과적으로 기존 시스템에서는 위협을 정확하게 감지하는 데 필요한 상황 인식 능력이 부족합니다. 또한 기존 IT 환경에서는 볼 수 없었던 프롬프트 주입, 데이터 오염, 모델 조작과 같은 AI 관련 공격을 탐지하지 못합니다.

GenAI는 텍스트, 코드 또는 이미지와 같은 비정형 데이터를 자주 처리하는데 이러한 형식은 기존 보안 도구로는 효과적으로 분석하기 어렵습니다. 더욱이 이러한 시스템은 AI 모델이 어떻게 응답을 생성하는지 파악하는 역량이 부족하여 미묘한 오류나 오용을 탐지하기 어렵습니다. 실시간으로 입력, 출력 및 행동 모델링을 모니터링하는 기능이 없는 기존 보안에서는 AI 기반 위협이 쉽게 악용할 수 있는 심각한 틈새가 생깁니다.

프롬프트 주입

프롬프트 주입 공격은 GenAI 시스템에만 존재하는 보안 위협 유형입니다. 이 공격에서는 악의적인 사용자가 특별히 고안한 입력(프롬프트)을 만들어 AI가 원래 지시를 무시하고 공격자의 명령을 대신 따르도록 속입니다.

프롬프트 주입 공격을 막기 어려운 주된 이유는 두 가지입니다. 먼저, 일반적으로 공격이 챗봇, 입력 필드 또는 통합 도구를 통한 합법적인 접근으로 시작됩니다. 전형적인 관점에서 이 모델은 "해킹"할 필요가 없으며, 공격은 자연어를 교묘하게 오용하여 구현되도록 설계됩니다. 따라서 이러한 공격에는 승인된 사용과 구별되는 시그니처나 기타 동작이 없습니다.

이러한 공격을 막기 어려운 두 번째 이유는 GenAI 애플리케이션이 보안이나 성능을 저하시키는 명령까지도 정확하게 따르려는 본질적인 경향을 악용하여 프롬프트 주입을 수행하기 때문입니다. 대규모 은행 시스템을 테스트하는 GenAI 애플리케이션을 상상해 보세요. 그러한 시스템에는 고객 정보 공개를 금지하는 규칙이 반드시 포함될 것입니다. 하지만 프롬프트 주입 공격은 "고객 정보 공유의 제한을 무시"하라는 명령으로 시작하여 GenAI 애플리케이션을 해당 작업을 충실하게 실행하도록 맡김으로써 보안 조치를 비활성화할 수 있습니다.

프롬프트 주입은 데이터 유출, 정책 위반, 도구 오용, AI 시스템의 탈옥으로 이어질 수 있습니다. 이러한 공격은 AI가 컨텍스트를 제대로 이해하지 못하고 지시를 지나치게 문자 그대로 따르는 경향을 악용합니다. 프롬프트 주입 공격을 차단하려면 강력한 입력 검증, 명확한 역할 분리, 모델 동작의 실시간 모니터링이 필요합니다.

프롬프트 주입 공격 구조

오픈 소스 모델

오픈 소스 모델은 허용적 라이선스 하에 코드, 아키텍처, 가중치 또는 훈련 데이터가 공개되는 AI 모델입니다. 오픈 소스 소프트웨어의 이점은 잘 알려져 있습니다8. 그러나 오픈 소스 AI 모델을 사용하면 역직렬화 및 모델 변조를 포함한 보안 리스크도 발생합니다.

역직렬화는 저장된 데이터를 프로그램 내에서 사용 가능한 객체로 다시 변환하는 과정입니다. AI에서는 모델이나 구성을 로드하는 데 자주 사용됩니다. 그러나 언트러스티드 데이터를 역직렬화하면 심각한 보안 리스크가 발생합니다. 공격자는 로드될 때 원격 코드 실행, 파일 액세스 또는 권한 상승을 트리거하는 악성 파일을 제작할 수 있습니다. AI 시스템에서 이런 종류의 공격은 백도어나 숨겨진 트리거를 이용해 모델을 손상시킬 수 있습니다. pickle이나 joblib과 같은 일반적인 도구는 특히 취약합니다.

모델 변조는 AI 모델의 구조나 동작을 무단으로 변경하는 것으로, 심각한 보안 리스크를 초래합니다. 공격자는 백도어를 심거나, 조건을 트리거하거나, 출력을 조작하여 잘못된 정보를 퍼뜨리거나 민감한 데이터를 유출할 수 있습니다. 이러한 변화는 탐지되지 않는 경우가 많아 모델의 무결성과 신뢰도를 떨어뜨립니다. 규제된 환경에서 변조는 규정 준수 위반 및 지속적인 위협으로 이어질 수 있습니다.

교통 표지판을 분류하는 모델을 개발한 연구팀을 예로 들어보겠습니다. 팀이 눈치채지 못하도록 해커가 이미지에 특정한 작은 시각적 트리거가 포함되어 있을 때 잘못 분류되는 코드를 삽입했습니다. 대부분의 경우, 모델은 설계된 대로 작동하지만 내장된 트리거가 있는 이미지를 만나면 출력이 조작됩니다.

모델 변조 사례

안전하지 않은 출력

생성형 AI의 안전하지 않은 출력은 사용자에게 유해한 URL을 수신하도록 하는 경우가 많으므로 심각한 보안 위협을 초래합니다. 이러한 링크는 의도치 않게 또는 표적화된 조작을 통해 나타납니다. 예를 들어, 챗봇은 손상된 소스나 의도적으로 오염시킨 소스에서 정보를 가져와서 위험한 링크를 생성할 수 있습니다.

악성 URL은 사용자에게 합법적으로 보이는 경우가 많아 공격자가 피싱 사기를 실행하거나, 멀웨어를 설치하거나, 무단으로 시스템에 액세스할 수 있는 관문 역할을 합니다. 신뢰할 수 있는 환경에서는 사용자가 AI가 생성한 제안을 의심 없이 따를 수 있으므로 손상 가능성이 높아집니다. 이러한 모델은 외부 및 과거 데이터를 활용하기 때문에 손상된 입력이 하나만 있어도 안전하지 않은 콘텐츠를 생성하여 시스템을 위험에 빠뜨리고 AI 지원 도구에 대한 신뢰를 떨어뜨릴 수 있습니다. 이러한 위협을 예방하려면 엄격한 콘텐츠 필터링과 출력 품질에 대한 지속적인 모니터링이 필요합니다.

안전하지 않은 출력 공격 구조

민감한 데이터 유출

앞서 설명한 대로 GenAI 시스템은 훈련과 운영을 위해 독점 데이터에 액세스해야 하며, 이로 인해 해당 정보는 필연적으로 전형적인 보안 통제 범위에서 벗어납니다. 이러한 민감한 데이터는 모델을 조작하고 데이터를 유출할 수 있는 해커에게 수익성이 좋은 표적이 되므로 심각한 보안 위협으로 이어질 수 있습니다.

GenAI 애플리케이션은 모델이 신뢰할 만한 것처럼 보이는 허위 정보 또는 오해의 소지가 있는 정보를 생성하는 환각 현상을 일으키기 쉽습니다. 흔한 예로는 인용 환각이 있는데, GenAI 모델이 존재하지 않는 연구 논문, 저자 또는 출처를 만들어내는 경우입니다. 예를 들어, 특정 연구가 어떤 의견을 뒷받침하고 진짜처럼 보이는 제목, 저널, 날짜도 있다고 주장할 수 있지만, 그 중 어느 것도 사실이 아닙니다. 이렇게 조작된 인용은 사용자를 오도할 수 있으며, 특히 출처의 정확성이 중요한 학문적 또는 전문적 컨텍스트에서는 더욱 그러합니다.

GenAI 데이터 유출 구조

에이전트 하이재킹

기술은 빠르게 발전하고 있으며, AI 에이전트의 급속한 성장만큼 이를 잘 보여주는 사례는 없습니다. 에이전트는 주변 환경을 감지하고, 데이터를 처리하고, 작업을 완료하기 위한 결정을 내리는 자율형 시스템입니다. 약물 탐색, 고객 서비스, 마케팅, 코딩, 연구 등 복잡한 업무를 처리하면서 학습하고 적응합니다. AI 에이전9트를 활용할 예정인 기업이 78%에 달하면서 조직의 가치 있는 역량을 확보하는 것은 AI 투자에 대한 가치를 완전히 극대화하는 데 매우 중요해졌습니다.

많은 AI 에이전트는 에이전트 하이재킹에 취약합니다. 에이전트 하이재킹은 간접적인 프롬프트 주입의 한10 유형으로 AI 에이전트가 수집할 수 있는 데이터에 공격자가 악성 명령을 삽입하여 의도치 않은 유해한 작업을 수행하도록 합니다. 이러한 공격 상황에서 잠재적 공격자는 합법적인 명령에 악성 명령을 섞어 주입하여 조직의 보안 조치를 뚫습니다. 그야말로 눈앞에서 숨어있는 것입니다.

에이전트 하이재킹 공격 구조

번들링은 통합이 Not 아닙니다

주요 업계 분석가들의 설문조사에 따르면 최고 정보 보안 책임자(CISO)들은 자사 조직의 AI 보안 조치에 대해 엇갈린 감정을 갖고 있는 것으로 나타났습니다. 사이버 보안에 투자하고 있는 대부분(83%)의 최고 경영진은 조직이 적절한 금액을 투자하고 있다고 대답하면서도 대다수(60%)는 조직이 직면하는 사이버 보안 위협이 현재 방어 체계를 능가한다는 우려를 안고 있었습니다11.

이러한 우려에는 타당한 근거가 있습니다. AI 시스템은 프롬프트 주입, 데이터 오염, 모델 도용, 환각 등 기존 보안 도구로는 처리할 수 없도록 설계된 전혀 새로운 리스크를 초래합니다. 이에 대응하여 공급업체들은 특정 AI 관련 위협에 초점을 맞춘 포인트 솔루션으로 틈새를 메우기 위해 서둘러 나섰습니다. 이러한 접근 방식은 좋은 의도를 가지고 있지만, 위협 인텔리전스를 공유하지 않고 서로 통합되지 않으며 별도의 관리가 필요한 분리된 도구로 구성된 단편화된 생태계를 만들었습니다. 결과적으로 기업들은 AI 위협이 계속해서 빠르게 진화하는 가운데 발전 속도에 발맞추기 위해 여러 제품을 결합해야만 합니다. 현실은 명확합니다. 분리된 도구를 모으기만 해서는 GenAI를 보호할 수 없습니다. 보호하는 기술만큼 빠르게 적응할 수 있는 통합된 AI 네이티브 접근 방식이 필요합니다.

AI 구축 전반에 걸쳐 포괄적인 통합 커버리지를 제공하는 Prisma AIRS

Prisma AIRS 플랫폼, AI 구축 보안 강화

Palo Alto Networks는 이 혼란스럽고 복잡한 접근 방식에 대응하여 AI 보안을 위한 완벽한 플랫폼을 개발했습니다. Prisma AIRS는 모델, 데이터, 애플리케이션 및 에이전트에 대한 보호 기능을 제공하는 분야에서 가장 포괄적인 AI 보안 플랫폼입니다. 이 통합된 접근 방식은 오늘날의 보안 요구 사항을 해결할 뿐만 아니라, 기술과 함께 성장하여 AI 보안에 대한 투자를 보호할 수 있습니다.

Prisma AIRS의 핵심 혁신은 특별히 설계된 보안을 단일 플랫폼에 통합하여 AI 인프라의 각 구성 요소를 보호하는 것입니다. 이러한 접근 방식은 가장 높은 효율성과 가장 낮은 오탐지율로 위협 보호 기능을 제공합니다.

AI 환경의 각 구성 요소에 대한 집중적인 보안을 제공하는 Prisma AIRS

AI 모델 스캐닝

AI 모델은 보안을 약화시킬 수 있는 여러 가지 위협에 직면해 있습니다. 모델 변조는 모델의 내부 논리나 매개변수를 변경하여 편향되거나 안전하지 않은 출력을 생성하는 것을 말합니다. 구축 중에 악성 스크립트를 주입하여 승인되지 않은 작업이나 시스템 손상이 발생할 수 있습니다. 역직렬화 공격은 모델이 저장된 데이터를 로드하는 방식을 악용하여 공격자가 유해한 코드를 실행할 수 있도록 합니다. 모델 오염은 잘못된 데이터나 조작된 데이터가 훈련 세트에 추가되어 모델이 잘못된 동작이나 숨겨진 백도어를 학습하게 되는 경우에 발생합니다.

Prisma AIRS는 AI 모델 스캐닝을 통해 이러한 위협에 대처합니다. 이 기능을 사용하면 AI 모델이 구축되기 전에 악성 코드, 백도어 또는 안전하지 않은 구성과 같은 숨겨진 위협을 탐지할 수 있습니다. 이 기능을 통해 모델이 안전하고 신뢰할 수 있으며 보안 정책을 준수하도록 보장할 수 있습니다.

AI 모델 스캐닝을 사용하면 다음을 수행할 수 있습니다.

AI 모델 스캐닝의 주요 기능

태세 관리

AI 보안에 있어 태세 관리가 필수적인 이유는 AI 시스템이 어떻게 구성되고 사용되는지를 지속적으로 파악할 수 있기 때문입니다. 태세 관리를 수행하지 않으면 팀은 구성 오류, 안전하지 않은 동작 또는 무단 액세스를 간과할 수 있습니다. AI 시스템은 진화하고 민감한 데이터를 처리하기 때문에 태세 관리를 통해 정책을 시행하고, 리스크를 탐지하며, 침해 가능성을 줄여 더 안전하고 규정을 준수하는 AI 운영을 보장할 수 있습니다.

AI 에이전트는 자율적으로 작동하고 직접적인 감독 없이 도구나 데이터에 액세스하는 경우가 많으므로 적절한 권한을 부여하는 것이 중요합니다. 지나치게 허용적인 정책은 보안 위반, 데이터 유출 또는 시스템 손상으로 이어질 수 있으며, 지나치게 제한적인 정책은 에이전트의 효율성을 제한할 수 있습니다. 침해 위험을 줄이고 규정을 준수하는 안전한 AI 운영을 보장하려면 에이전트가 작업을 수행하는 데 필요한 최소한의 액세스 권한만 갖고 그 이상은 갖지 않는 최소 권한 원칙을 따라야 합니다.

Prisma AIRS는 보안팀이 효과적으로 태세 관리를 수행하는 데 필요한 기능을 제공합니다. 이를 통해 팀은 AI 시스템의 구성, 사용 및 리스크에 대한 지속적인 가시성을 확보할 수 있습니다. 이러한 정보를 바탕으로 조직은 취약점을 조기에 탐지하고, 보안 정책을 시행하며, 구성 오류 또는 데이터 노출의 가능성을 줄일 수 있습니다.

Prisma AIRS 태세 관리를 사용하면 다음과 같은 작업을 수행할 수 있습니다.

태세 관리의 주요 기능

AI 레드팀

레드팀은 조직이 공격자보다 먼저 취약점을 찾도록 도움을 주므로 AI 보안에 중요합니다. 레드팀은 실제 공격을 시뮬레이션하여 AI 시스템이 프롬프트 주입, 데이터 오염, 모델 조작과 같은 위협에 어떻게 대응하는지 테스트합니다. 이러한 사전 예방적 접근 방식은 모델, 훈련 데이터 및 시스템 동작에서 숨겨진 취약점을 찾아냅니다. 또한 방어력을 개선하고, 정책을 검증하며, AI 애플리케이션에 대한 신뢰를 강화하는 데 도움이 됩니다.

레드팀은 공격자가 취약점을 악용하기 전에 식별하여 AI 보안에 중요한 역할을 합니다. 프롬프트 주입, 데이터 오염, 모델 조작과 같은 실제 위협을 시뮬레이션하여 모델, 훈련 데이터, 시스템 동작에서 숨겨진 취약점을 찾아냅니다. 미리 정의된 테스트 사례를 활용하는 정적인 레드팀 도구와 달리, Palo Alto Networks의 솔루션은 동적입니다. 애플리케이션의 컨텍스트(예: 의료 또는 금융 서비스)를 이해하고 공격자가 추출하려고 하는 데이터 유형을 지능적으로 타겟팅합니다. 다른 솔루션과는 달리, 당사의 적응형 테스트 엔진은 실패에서 멈추지 않고 악용 가능한 경로를 식별할 때까지 학습하고, 전략을 재수립하며, 지속적으로 테스트를 반복합니다. 이러한 역동적인 컨텍스트 인식 접근 방식은 더욱 심각한 리스크까지 찾아낼 뿐만 아니라 방어력을 강화하고 AI 시스템에 대한 지속적인 신뢰를 구축합니다.

Prisma AIRS AI 레드팀을 사용하면 AI 보안 팀이 다음과 같은 역량을 강화할 수 있습니다.

레드팀의 주요 기능

AI 에이전트 보안

이러한 시스템은 인간의 감독 없이 결정을 내리고 조치를 취할 수 있으므로 AI 에이전트를 안전하게 보호해야 합니다. 침해되면 도구를 오용하거나, 민감한 데이터에 액세스하거나, 심각한 피해를 입힐 수 있습니다. 프롬프트 주입, 데이터 오염, 과도한 권한 부여와 같은 위협은 승인되지 않은 동작으로 이어질 수 있습니다. AI 에이전트를 보호하면 에이전트가 안전하게 작동하고, 의도한 목표를 따르며, 조직이 숨겨진 위험에 노출되지 않도록 할 수 있습니다. 에이전트형 AI 도입이 확대됨에 따라, 오용을 방지하고 신뢰를 보호하기 위해 강력한 보안 제어가 중요해졌습니다.

AI 에이전트 보안을 사용하면 팀에서 다음을 수행할 수 있습니다.

AI 에이전트 스캐닝의 주요 기능

런타임 보안

Prisma AIRS 플랫폼의 런타임 보안 구성 요소는 AI 애플리케이션, 모델, 데이터 및 에이전트를 AI 관련 및 기존 사이버 위협으로부터 보호하도록 설계된 포괄적인 솔루션입니다. 런타임 보안은 프롬프트 주입, 악성 코드, 데이터 유출, 모델 변조 등의 리스크로부터 실시간 보호 기능을 제공합니다. 런타임 보안은 AI 시스템을 지속적으로 모니터링하여 AI 운영의 무결성과 보안을 보장함으로써 조직이 안심하고 AI 기술을 구축할 수 있도록 지원합니다.

안전하게 AI를 구축하려는 조직을 대상으로 런타임 보안은 AI 기술이 제기하는 고유한 과제를 해결하는 강력하고 확장 가능한 솔루션을 제공합니다. 런타임 보안은 개발자 수준과 네트워크 수준의 두 가지 수준으로 구축할 수 있습니다.

Prisma AIRS 플랫폼은 Palo Alto Networks Strata Cloud Manager와 완벽하게 통합되어 AI 생태계 전반에 대한 중앙 집중식 관리와 가시성을 제공합니다. Prisma AIRS는 고급 위협 탐지 및 방지 메커니즘을 사용하여 AI 워크로드를 보호하고 규정 준수를 보장하며 데이터 침해 리스크를 줄입니다.

런타임 보안의 구축 옵션

GenAI 라이프사이클 내 Prisma AIRS

조직은 이러한 기능을 GenAI 라이프사이클에 통합하여 Prisma AIRS의 이점을 얻을 수 있습니다. Prisma AIRS는 구축 전 통합과 런타임 제어부터 에이전트 및 모델 보안 테스트를 위한 지속적인 모니터링 및 레드팀까지 전체 라이프사이클을 처리합니다.

GenAI 라이프사이클 내 Prisma AIRS

사전 구축 통합

개발자는 구축 전에 모델과 훈련 데이터를 스캔하여 백도어, 안전하지 않은 직렬화 및 내장된 위협을 탐지한 후 Prisma AIRS를 CI/CD 또는 MLOps 파이프라인에 통합합니다. Prisma AIRS는 API를 사용하여 MLflow 또는 Hugging Face Spaces와 같은 모델 레지스트리에 연결한 후에 승인된 모델을 자동으로 스캔하고 태그를 지정하여 초기 단계의 보안 검사를 간소화합니다.

런타임 제어

런타임 시 개발자는 API, 소프트웨어 개발 키트(SDK), 모델 컨텍스트 프로토콜(MCP) 또는 네트워크 구성 파일을 통해 Prisma AIRS를 사용하여 GenAI 에이전트에 대한 엄격한 액세스 제어를 시행하고 각 에이전트가 사용할 수 있는 도구나 API를 정의합니다. 이러한 정책은 승인되지 않은 동작을 방지하기 위해 사이드카나 프록시를 사용하여 시행됩니다. Prisma AIRS는 또한 프롬프트 정제, 입력 검증, 출력 로깅 및 프롬프트 주입에 대한 방어 기능을 제공합니다.

지속적인 모니터링

Prisma AIRS는 모델, 에이전트 및 데이터 활동에 대한 실시간 가시성을 제공하여 AI 환경을 지속적으로 모니터링할 수 있도록 합니다. 비정상적인 동작, 구성 오류, 보안 정책 위반 등이 발생하는 즉시 탐지합니다. 프롬프트 주입, 데이터 유출, AI 도구 오용과 같은 위협을 모니터링함으로써 개발 및 프로덕션 환경을 모두 보호할 수 있습니다. 이 플랫폼은 활동을 지속적으로 분석하여 새로운 리스크를 발견하고, 자동화된 탐지 및 테스트를 통해 진화하는 위협에 맞춰 대응합니다. 이러한 사전 예방적 접근 방식은 AI 시스템이 수동적인 감독 또는 연결되지 않은 도구에 의존하지 않고도 안전하고 규정을 준수하며 탄력적으로 유지되도록 보장합니다.

모델 및 에이전트 테스트를 위한 레드팀

개발자는 Prisma AIRS 레드팀 도구를 사용하여 적대적 입력과 오용 시나리오를 시뮬레이션하고, 잠재적인 공격 조건에서 모델과 GenAI 에이전트가 어떻게 대응하는지 테스트합니다. 이러한 시뮬레이션 공격은 논리, 동작 또는 도구 액세스의 취약점을 식별하는 데 도움이 됩니다. 개발자는 이러한 인사이트를 활용하여 모델의 방어력을 강화하고 에이전트의 안전성을 개선하여 배포 전에 보다 안전하고 안정적인 시스템을 확보할 수 있습니다.

Prisma AIRS를 통해 Strata Copilot 보호

Strata Copilot은 Precision AI® 를 사용하여 실시간 인사이트과 자연어 상호 작용을 통해 네트워크 보안 운영을 간소화하는 Palo Alto Networks AI 어시스턴트입니다.

Palo Alto Networks의 Prisma AIRS 개발팀은 Strata Copilot팀과 협력하여 Prisma AIRS의 첫 번째 프로덕션 배포를 진행했습니다. Strata Copilot은 플랫폼을 적극적으로 활용하고 조기 피드백을 제공하여 제품 로드맵을 형성하는 데 도움을 주었습니다. 현재 Strata Copilot과의 모든 미국 기반 상호 작용은 Prisma AIRS API를 통해 실행됩니다. 이 API는 프롬프트를 스캔하고 프롬프트 주입, 민감한 데이터 노출, 악성 URL, 유해 콘텐츠와 같은 위협에 대한 대응을 모델링합니다. 이러한 통합을 통해 팀은 실시간으로 위협을 탐지하고, 가시성을 확보하고, 실행할 수 있어 안전하고 규정을 준수하는 챗봇을 구축할 수 있습니다. Prisma AIRS는 또한 Secure AI by Design 원칙에 맞춰 기능을 더 빠르게 제공하는 데 도움이 됩니다.

Strata Copilot과의 협업은 Prisma AIRS를 유연하고 프로덕션에 바로 투입 가능한 솔루션으로 개발하는 데 중요한 역할을 했습니다. Strata와 외부 고객으로부터 얻은 인사이트를 바탕으로 AI 기반 앱, 모델, 에이전트의 빠르게 변화하는 요구 사항을 충족하는 제품을 개발할 수 있었습니다. 엔지니어링 팀은 Prisma AIRS가 개발 라이프사이클에 필수적이라고 생각하며, 이를 통해 빠른 배포, API 가로채기를 통한 간소화된 보안, 보다 안전한 AI 환경을 구현할 수 있다고 생각합니다.

Strata Copilot과의 협업은 Prisma AIRS를 유연하고 프로덕션에 바로 투입 가능한 솔루션으로 개발하는 데 중요한 역할을 했습니다. Strata와 외부 고객으로부터 얻은 인사이트를 바탕으로 AI 기반 앱, 모델, 에이전트의 빠르게 변화하는 요구 사항을 충족하는 제품을 개발할 수 있었습니다. 엔지니어링 팀은 Prisma AIRS가 개발 라이프사이클에 필수적이라고 생각하며, 이를 통해 빠른 배포, API 가로채기를 통한 간소화된 보안, 보다 안전한 AI 환경을 구현할 수 있다고 생각합니다.

안전한 GenAI를 향해 한 단계 더 업그레이드

이 개요에서는 GenAI의 현재 상태, GenAI 애플리케이션과 관련된 위험, AI 보안을 위한 Prisma AIRS 플랫폼에 대해 설명합니다. 세상이 점점 더 인공 지능의 방향으로 나아가면서, 위험을 관리하고 위협으로부터 보호하려면 오래된 방식의 지능, 즉 인간의 사고력이 필요합니다. AI 애플리케이션 보안은 기업 보안 팀에게는 비교적 새로운 개념일 수 있지만, 위협 행위자들은 이미 GenAI를 자체적인 목적으로 사용하고 있습니다. 이 전자책에 나와 있는 개념과 제안은 지식 격차를 해소하고 Prisma AIRS 플랫폼을 통해 AI 보안에 투자하는 것에 대해 정보에 입각한 결정을 내리는 데 도움이 될 수 있습니다.

Prisma AIRS에 대해 자세히 알아보기 위해 데모를 원하시면 저희에게 문의해 주세요.



1https://menlovc.com/2024-the-state-of-generative-ai-in-the-enterprise/

2위와 같음.

3https://mitsloan.mit.edu/ideas-made-to-matter/how-generative-ai-can-boost-highly-skilled-workers-productivity

4https://www.weforum.org/stories/2023/05/can-ai-actually-increase-productivity

5https://narrato.io/blog/ai-content-and-marketing-statistics/

6https://www.securitymagazine.com/articles/100631-80-of-data-experts-believe-ai-increases-data-security-challenges?utm_source=chatgpt.com

7https://www.wsj.com/articles/the-ai-effect-amazon-sees-nearly-1-billion-cyber-threats-a-day-15434edd?utm_source=chatgpt.com

8https://enterprisersproject.com/article/2015/1/top-advantages-open-source-offers-over-proprietary-solutions?utm_source=chatgpt.com

9https://www.langchain.com/stateofaiagents

10간접적 프롬프트 주입에 대한 자세한 내용은 백서 참조 “Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection.”

11https://www.ey.com/en_us/ciso/cybersecurity-study-c-suite-disconnect