AI 컴플라이언스: AI 시스템 거버넌스와 컴플라이언스 업무를 위한 AI 활용

AI 컴플라이언스는 두 가지를 의미합니다. 하나는 조직이 구축하거나 사용하는 AI 시스템이 관련 법률, 표준, 내부 정책을 충족하도록 하는 지속적인 작업이고, 다른 하나는 반복적이고 대량으로 발생하는 컴플라이언스 업무에 AI를 활용하는 것입니다.

이 글에서는 두 가지 의미를 모두 다룹니다. AI 컴플라이언스가 다루는 위험, 주요 프레임워크, 컴플라이언스 프로그램 구축 방법, AI 에이전트를 위한 통제 수단, 그리고 AI가 컴플라이언스 팀에 도움이 되는 영역을 살펴봅니다. 마지막으로 컴플라이언스 도구를 구매하기 전에 확인해야 할 질문을 소개합니다.

AI 컴플라이언스란 무엇인가요?

AI 컴플라이언스는 두 가지를 가리킵니다. AI 시스템이 AI 규제에 명시된 규칙을 충족하도록 하는 것, 그리고 AI를 활용해 컴플라이언스 업무를 수행하는 것입니다.

첫 번째 의미에서 AI 컴플라이언스는 학습 데이터부터 성능과 사용에 이르기까지 AI 수명 주기 전반에 걸쳐 AI 시스템이 법률, 규정, 윤리 기준, 내부 정책을 준수하도록 보장합니다.

예를 들어 뉴욕시 지방법 144호(Local Law 144)는 자동화된 고용 결정 도구를 사용하는 고용주에게 사용 시점 기준 1년 이내에 해당 도구의 편향 감사를 받고, 감사 정보를 공개하며, 직원이나 구직자에게 이를 고지하도록 요구합니다.

AI 애플리케이션은 업데이트되고, 처리하는 데이터는 바뀌며, 규정도 계속 발전하기 때문에 AI 규제 컴플라이언스 작업은 지속적으로 이루어져야 합니다.

두 번째 의미에서 컴플라이언스 팀은 거래 모니터링, 문서 검토, 규제 변경 추적 등 반복적이고 대량으로 발생하는 업무에 AI를 활용합니다.

예를 들어 일부 금융 기관은 분석가가 어떤 알림에 의심 거래 보고서가 필요한지 판단하기 전에 AI를 사용해 거래를 검토하고 거래 모니터링 알림의 오탐을 줄입니다.

AI 컴플라이언스 vs. AI 거버넌스 vs. AI 위험 관리

세 용어는 서로 겹치지만 다루는 범위가 다릅니다. 거버넌스는 규칙을 정하고, 위험 관리는 발생할 수 있는 문제를 찾아내며, 컴플라이언스는 규칙이 지켜지도록 보장합니다.

AI 컴플라이언스가 중요한 이유

AI 컴플라이언스를 달성하면 벌금 위험을 줄이고, AI가 처리하는 정보의 주체인 사람들의 개인정보를 보호하며, 감사가 있을 때 조직의 AI 시스템 사용 내역을 소명할 수 있습니다.

• 규제 처벌: EU AI 법에 따르면 직장에서 직원의 감정을 추론하는 것과 같은 금지된 AI 관행을 사용할 경우 최대 3,500만 유로 또는 전 세계 연간 매출액의 7%에 달하는 벌금이 부과될 수 있습니다. 제공자와 배포자는 이 법을 위반하면 최대 1,500만 유로 또는 3%의 벌금을 부과받을 수 있습니다.
• 데이터 보호: 개인 데이터를 처리하는 AI 시스템은 EU의 GDPR과 같은 데이터 보호법의 적용을 받습니다. 여기에는 개인 데이터가 포함된 학습 데이터, 프롬프트, 출력이 포함됩니다.
• 감사 대비: 어떤 AI 시스템을 사용하는지, 누가 승인했는지, 어떻게 모니터링하는지에 대한 기록이 있으면 규제 기관, 감사인, 고객에게 소명할 수 있습니다.

AI 컴플라이언스가 다루는 주요 위험

AI 컴플라이언스는 알고리즘 편향, 설명 가능성 부족, 규제 대상 프로세스에서의 할루시네이션, 데이터 프라이버시 및 유출, 섀도 AI라는 다섯 가지 주요 위험을 다룹니다.

확대

주요 위험이 나타나는 양상과 이를 억제하는 통제 수단의 예는 다음과 같습니다.

• 알고리즘 편향: 모델이 학습 데이터에 담긴 패턴을 재현해 특정 집단에 불이익을 줍니다. 예를 들어 채용 도구는 졸업 연도나 우편번호처럼 연령이나 민족을 간접적으로 나타내는 지표를 근거로 지원자의 순위를 낮게 매길 수 있습니다. 인구 집단 간 결과를 비교하는 편향 감사는 이러한 패턴을 발견하는 데 도움이 됩니다.
• 설명 가능성 부족: 조직이 모델이 어떻게 결정에 도달했는지 보여줄 수 없습니다. 대출 기관이 모델이 대출을 거절한 이유를 설명할 수 없다면 그 결과를 정당화할 수 없습니다. 조직은 모델 입력과 의사 결정 로직을 문서화하고 출력을 추적할 수 있는 모델을 선택해 이를 방지합니다.
• 규제 대상 프로세스에서의 할루시네이션: 생성형 AI 도구가 사실이 아닌 내용을 확신에 차서 제시합니다. 예를 들어 변호사가 AI 도구에 주장을 뒷받침할 판례를 요청했다가 존재하지 않는 법원 판결을 인용받을 수 있습니다. 모든 출력에 출처를 요구하고 자격을 갖춘 사람이 이를 검증하도록 하면 이러한 오류를 잡아낼 수 있습니다.
• 데이터 프라이버시 및 유출: 기밀 정보나 고객 정보가 조직의 통제 범위를 벗어난 도구로 넘어갑니다. 예를 들어 직원이 입력 내용을 보관했다가 향후 모델 학습에 사용하는 공개 AI 도구에 고객 기록을 붙여 넣을 수 있습니다. 학습 및 데이터 보존에 대한 계약상 제한이 있는 승인된 도구만 사용하면 위험을 줄일 수 있습니다.
• 섀도 AI: 직원이 조직에서 승인하지 않았거나 파악할 수 없는 AI 도구를 사용합니다. 2026년 Compliance Week 설문 조사에서 참여자의 42%가 직원들이 관리되지 않는 AI를 사용하고 있다고 답했습니다. 가능한 해결책으로는 신속한 AI 도구 승인 절차와 결합한 승인 도구 목록, 그리고 웹 게이트웨이가 있습니다.

주요 AI 컴플라이언스 프레임워크

AI 컴플라이언스는 EU AI 법과 같은 구속력 있는 AI 거버넌스 프레임워크와, 조직이 이를 준수하도록 돕는 NIST AI 위험 관리 프레임워크 및 ISO/IEC 42001 같은 자율적 프레임워크를 기반으로 합니다.

EU AI 법

EU AI 법(규정(EU) 2024/1689)은 AI 규제에 위험 기반 접근 방식을 취합니다. 일부 관행은 전면 금지되고, 고위험 시스템은 엄격한 제한을 받으며, 그 외 시스템에는 가벼운 투명성 규칙만 적용됩니다. 이 법은 “AI 시스템이 생성한 출력이 EU 내에서 사용되는 경우” 어디에 있든 제공자와 배포자에게 적용됩니다.

EU AI 법에 따른 의무는 조직의 역할에 따라 달라집니다.

• 고위험 AI 시스템을 개발하거나 자체 명의로 시장에 출시하는 조직(제공자)은 적합성 평가를 완료하고, CE 마크를 부착하고, 시스템을 등록하고, 기술 문서를 보관하며, 출시 후 시스템을 모니터링해야 합니다.
• 다른 조직이 구축한 시스템을 사용하는 조직(배포자)은 제공자의 지침을 따르고, “필요한 역량, 교육 및 권한”을 갖춘 사람에게 감독을 맡기고, 최소 6개월간 로그를 보관하며, 근로자 및 시스템의 결정으로 영향을 받는 사람들에게 이를 알려야 합니다.

확대

이 법은 단계적으로 시행되고 있습니다. 금지 관행, AI 리터러시, 범용 AI 규칙은 2025년부터 적용되고 있으며, 고위험 의무는 2027년 12월 2일부터, EU 제품 안전법이 적용되는 제품에 내장된 AI의 경우 2028년 8월 2일부터 적용됩니다.

품질 경영 시스템에 관한 EN 18286:2026은 이 법을 뒷받침하는 최초의 유럽 표준입니다. 이 표준을 따르는 제공자는 법의 품질 경영 요건을 충족하는 것으로 추정됩니다.

NIST AI 위험 관리 프레임워크

2023년 1월에 발표된 NIST AI RMF(위험 관리 프레임워크)는 거버넌스(Govern), 매핑(Map), 측정(Measure), 관리(Manage)의 네 가지 기능을 중심으로 구성된 미국의 자율적 프레임워크입니다.

2024년 7월에 공개된 이 프레임워크의 생성형 AI 프로필(Generative AI Profile)은 프레임워크를 생성형 AI 위험에 적용한 것입니다.

ISO/IEC 42001

ISO/IEC 42001은 AI 경영 시스템에 관한 국제 표준으로, 책임 있는 AI 개발 및 사용을 관리하는 정책, 역할, 프로세스를 다룹니다. 인증은 자율적이며, ISO가 직접 발급하는 것이 아니라 독립적인 인증 기관이 발급합니다.

인증서는 특정 AI 제품이 아니라 조직의 경영 시스템을 대상으로 합니다.

AI에 적용되는 미국 및 산업별 규칙

미국에는 단일한 연방 AI 법이 없습니다. 규칙은 시, 주, 그리고 AI에 적용되는 기존 법률 및 규정에서 비롯됩니다.

예를 들어 2027년 1월 1일에 시행되는 콜로라도주의 SB26-189는 자동화된 의사 결정 기술을 규제하며, 캘리포니아 소비자 개인정보 보호법(CCPA)이나 HIPAA 같은 개인정보 보호법은 AI가 보호 대상 데이터를 처리할 때마다 적용됩니다.

AI 컴플라이언스 프로그램 구축 방법

AI 컴플라이언스 프로그램 구축은 6단계로 이루어집니다. AI 시스템의 인벤토리를 작성하고, 위험에 따라 분류하고, 적용되는 규칙에 통제 수단을 매핑하고, 담당자를 지정하고, 각 시스템을 문서화하고, 감사인이 확인할 수 있는 기록을 남기며 모니터링하는 것입니다.

확대

아래 각 단계는 해당 단계에서 생성되는 기록으로 마무리됩니다.

1. 모든 AI 시스템의 인벤토리를 작성합니다. 조직이 구축, 구매 또는 사용하는 시스템을 나열하고, 기존 소프트웨어에 포함된 AI 기능과 직원이 승인 없이 도입한 도구도 포함합니다. 각 시스템의 기능, 사용자, 처리하는 데이터를 기록합니다.
   산출물: AI 인벤토리.
2. 각 사용 사례를 위험에 따라 분류합니다. EU AI 법의 위험 등급과 같은 체계를 활용해 각 시스템이 초래할 수 있는 피해를 기준으로 등급을 매깁니다. 예를 들어 생명 보험료를 책정하는 도구는 이 법에 따라 고위험으로 분류되지만, 내부 회의를 요약하는 도구는 그렇지 않습니다.
   산출물: 위험 등록부.
3. 적용되는 규칙에 통제 수단을 매핑합니다. 각 시스템에 적용되는 법률, 표준, 내부 정책과 각 컴플라이언스 요건을 충족하는 통제 수단을 나열합니다. 예를 들어 문서화된 사람의 검토는 고위험 시스템에 대한 EU AI 법의 인적 감독 요건과, 문서화된 인적 감독 프로세스를 요구하는 NIST AI RMF의 권고를 충족하는 데 도움이 됩니다.
   산출물: 통제 맵.
4. 담당자와 인적 감독 지점을 지정합니다. 모든 시스템에 담당자를 지정하고 사람이 출력을 검토할 지점을 정합니다. 예를 들어 법무 및 컴플라이언스 팀은 의무를, 보안 팀은 기술적 통제를, 사업 담당자는 각자의 사용 사례를 맡고, 한 명의 임원이 전체 책임을 집니다. 조직 전체의 구성원이 이를 인지하도록 하고 명확한 소통 체계를 마련합니다.
   산출물: 시스템별 지정 담당자.
5. 각 시스템을 문서화합니다. 모델 카드, 영향 평가 등의 형식으로 각 시스템의 목적, 학습 데이터, 테스트, 알려진 한계를 기록합니다. 고위험 시스템 제공자는 EU AI 법 부속서 IV에 따른 기술 문서도 준비해야 합니다.
   산출물: 시스템 문서 세트.
6. 모니터링하고, 로그를 남기고, 증거를 보관합니다. 시스템이 무엇을 했고 누가 검토했는지 보여줄 수 있도록 처음부터 로그를 감사 증거로 설계합니다. EU AI 법은 고위험 시스템이 수명 기간 동안 이벤트를 자동으로 기록하도록 요구합니다. 감사 추적에는 다음 항목이 포함되어야 합니다.
   • 사용 중인 모델 및 버전
   • 입력 및 출력 또는 이에 대해 정의된 샘플
   • 학습 또는 파인튜닝 데이터
   • 사람의 검토 지점과 그 결과
   • 에이전트가 수행한 작업과 사용한 권한
   • 각 기록의 보관 기간

산출물: 모니터링 기록 및 감사 추적.

IBM watsonx.governance, OneTrust AI Governance 같은 전문 AI 컴플라이언스 도구는 AI 인벤토리, EU AI 법 기준 위험 평가, 문서화 등 이 프로그램의 일부를 대신 처리할 수 있습니다.

직원이 사용할 수 있는 AI 도구를 승인하는 방법

AI 도구를 승인하기 전에 다음 네 가지를 확인하세요.

• 데이터 접근: 도구가 읽을 수 있는 파일, 시스템, 연결된 지식 베이스는 무엇이며, 여기에 도구가 노출할 수 있는 개인 데이터가 포함되어 있는지 여부.
• 입력 데이터 학습: 공급업체가 프롬프트, 파일 또는 출력을 모델 학습에 사용하는지, 그리고 공급업체와의 계약에서 이를 금지하는지 여부.
• 보존: 공급업체가 프롬프트, 파일, 대화 기록을 얼마나 오래 보관하는지, 그리고 그 기간을 단축할 수 있는지 여부.
• 호스팅 및 전송: 공급업체가 데이터를 저장하고 처리하는 위치(귀사 지역 외부로의 전송 포함).

AI 에이전트를 위한 컴플라이언스 통제

AI 에이전트는 스스로 단계를 결정하고 부여된 도구와 권한을 통해 작업을 수행하므로 채팅 도구보다 더 많은 통제가 필요합니다. 다음 세 가지 통제로 에이전트를 관리할 수 있습니다.

• 최소 권한 접근: 에이전트에게 작업에 필요한 도구와 권한만 부여합니다. OWASP Top 10 for LLM Applications 2026에 따르면, 에이전트가 작업에 필요한 것보다 더 많은 일을 할 수 있는 과도한 에이전시(Excessive Agency)는 주요 보안 위험 중 하나입니다.
• 모든 작업에 대한 로그: 에이전트가 누구를 위해 무엇을 했는지 추적할 수 있도록 각 도구 호출, 접근한 데이터, 사용한 권한을 기록합니다.
• 영향이 큰 작업에 대한 사람의 승인: 조직 외부로 데이터를 전송하거나, 자금을 이동하거나, 되돌릴 수 없는 단계는 사람이 확인하도록 요구합니다.

컴플라이언스 업무에서 AI가 활용되는 방식

컴플라이언스 및 위험 관리 팀은 AI를 활용해 통제를 모니터링하고, 위험을 평가하고, 규제 변경 사항을 추적하고, 문서를 검토하고, 금융 범죄 알림을 분류합니다.

컴플라이언스, 윤리, 위험, 감사 부문 리더 193명을 대상으로 한 2026년 Compliance Week 설문 조사에서 83% 이상이 AI를 사용한다고 답했으며, 40% 가까이는 회사에서 위험 평가 및 모니터링에 AI를 도입했다고 답했습니다.

컴플라이언스 분야의 일반적인 AI 사용 사례는 다음과 같습니다.

• 지속적인 컴플라이언스 모니터링 및 증거 수집: AI가 점검을 실행하고 통제가 제대로 작동한다는 증거를 수집합니다(예: 공장에서 기한이 지난 장비 안전 점검 확인).
• 위험 평가 및 우선순위 지정: AI가 사업부나 제3자의 순위를 위험도에 따라 매깁니다(예: 새로운 제재나 소송 위험에 노출된 공급업체).
• 규제 변경 모니터링: AI가 규제 기관의 발표를 추적하고 변경 사항을 요약합니다(예: 경비 정책의 선물 한도를 낮추는 개정된 뇌물 방지 지침).
• 문서 및 정책 검토: AI가 계약서와 정책을 요건과 비교합니다(예: 감사권 조항이 없는 공급업체 계약).
• 금융 범죄 심사: AI가 거래 모니터링 및 고객 확인 알림을 분류합니다(예: 제재 명단의 이름과 일치했지만 다른 사람으로 밝혀진 경우).

컴플라이언스에 사용되는 AI에도 다른 AI 시스템과 동일한 거버넌스가 필요합니다. 영국 금융행위감독청은 2026년 10월에 “기업은 자신이 개발, 조달, 배포하는 AI 시스템에 대해 그 출력과 결과를 포함하여 책임을 진다”고 밝히며, 사람의 검토가 “형식적인 ‘체크리스트 채우기’ 작업”이 되어서는 안 된다고 경고했습니다.

실제로 AI 도구는 증거 수집이나 규제 변경 사항 표시 같은 일상적인 작업은 처리할 수 있지만, 의심스러운 활동을 보고할지 여부나 정책 설계 방식을 결정하는 것처럼 법적 책임이 따르는 결정은 맡아서는 안 됩니다.

Perplexity Enterprise의 데이터 제어 기능

Perplexity Enterprise는 관리자에게 입력 데이터 학습, 데이터 액세스, 보존에 관한 제어 기능을 제공합니다.

• 고객 데이터로 학습하지 않음: Perplexity는 엔터프라이즈 콘텐츠를 AI 모델 학습에 절대 사용하지 않으며, 서드파티 모델 제공업체와의 계약에서도 해당 업체가 이 콘텐츠로 학습하는 것을 금지하고 있습니다.
• 액세스 제어: SSO, SCIM, 역할 기반 권한을 통해 파일을 업로드하고 답변을 공유할 수 있는 사용자를 지정합니다.
• 보존 및 감사 로그: 세션에 첨부된 파일은 7일 후 삭제됩니다. 시트가 50개 이상이거나 Enterprise Max 시트가 하나 이상 있는 조직은 세션 보존 기간을 설정하고 사용자 활동에 대한 감사 로그를 받을 수도 있습니다.
• 인증: Perplexity는 SOC 2 Type II 인증을 받았고 GDPR을 준수하며, 서명된 비즈니스 제휴 계약(Business Associate Agreement)이 있는 경우에만 보호 대상 건강 정보를 다루는 작업을 허용합니다.

이러한 제어 기능을 자세히 살펴보려면 영업팀에 문의하여 맞춤형 데모를 예약하세요.

자주 묻는 질문

EU AI 컴플라이언스란 무엇인가요?

EU AI 컴플라이언스란 자신의 역할(제공자 또는 배포자)과 각 시스템의 위험 등급에 따라 EU AI법이 부과하는 의무를 충족하는 것을 의미합니다. 이러한 의무는 단계적으로 적용되며, 고위험 관련 의무는 2027년 12월 2일부터 시행됩니다.

HIPAA 준수 AI란 무엇인가요?

HIPAA 준수 AI란 보호 대상 건강 정보에 대한 HIPAA의 보호 조치 범위 안에서 사용되는 도구입니다. 공급업체가 해당 정보를 저장하거나 처리하는 경우, 미국 보건복지부는 먼저 서명된 비즈니스 제휴 계약(Business Associate Agreement)을 요구합니다.

EU AI법은 미국 기업에도 적용되나요?

네. AI법은 EU 시장에 AI 시스템을 출시하는 미국 기업과 AI 출력물이 EU에서 사용되는 미국 기업에 적용됩니다.

AI가 컴플라이언스 담당자를 대체할 수 있나요?

AI는 컴플라이언스 담당자를 대체할 수 없습니다. 조직은 자신의 업무에 책임을 져야 하고 AI 기술은 오류를 범할 수 있으므로, 컴플라이언스 담당자가 여전히 AI 출력물을 면밀히 검토하고 승인해야 합니다.