AI 정렬: 최신 리서치와 토론

AI 정렬은 예전에는 단순히 “AI 모델이 사용자의 지시를 따르는가?”를 의미했습니다. 그러나 AI 시스템이 더욱 유능하고 자율적이 됨에 따라 그 질문은 판단력과 가치관까지 포함하도록 넓어졌습니다. 이 기사에서는 AI 플랫폼, 정부 기관, 비영리 단체가 AI 정렬 과제에 어떻게 대응하고 있는지 살펴봅니다.

가장 간단히 말해, AI 정렬이란 AI 시스템이 의도한 작업을 수행하도록 보장하는 것을 의미합니다. 정렬된 AI 모델은 학습된 목표를 게임화하지 않고 프롬프트를 읽고 프롬프트가 요청한 출력을 생성합니다. 현대 정렬 연구에서는 이를 보통 의도 정렬로 프레임화합니다. 즉, 프롬프트의 텍스트를 문자 그대로 따르는 것을 넘어 운영자가 의도한 바를 수행하려는 시스템을 구축하는 것입니다.

정렬은 기술적 과제이자 대중적 토론의 주제입니다. 기술 용어로서 정렬은 엔지니어링 문제입니다. 특정 작업을 수행하는 특정 모델이 구축된 대로 작동하는가? 이는 경계가 정해져 있고 테스트 가능한 문제입니다.

그러나 AI 정렬은 AI 시스템의 전반적인 안전성에 대한 광범위한 대중 및 정책 논의에서도 사용됩니다. 점점 더 뛰어난 역량을 갖추게 되는 AI 플랫폼이 인류에게 계속 이로울 것인가, 그리고 인간의 윤리, 바람, 목표와 계속 정렬되어 있을 것인가?

모델이 복잡해질수록 이러한 정렬을 달성하는 것은 점차 더 어려워집니다. 정렬된 AI 모델을 구축하는 데에는 다음과 같은 두 가지 주요 과제가 있습니다:

사용자는 일반적으로 유익하고, 정직하며, 윤리적인 LLM을 원합니다. 하지만 LLM이 "유익하고 윤리적이어라"라는 지침으로 직접 학습되는 것은 아닙니다. LLM은 두 가지 뚜렷한 단계를 거칩니다.

사전 학습: 모델은 언어, 사실, 추론 패턴을 학습하며, 그 과정에서 언어, 사실, 추론 패턴을 익히게 됩니다. 이 단계에서는 주어진 질문에 대해 사람이 실제로 무엇을 원하는지 모델이 전혀 감지하지 못합니다. 이 단계에만 머물면 모델은 "사워도우 굽는 법"만큼이나 "자물쇠를 따는 법"에도 쉽게 답변할 것입니다.

인간 선호도: 사람들이 모델 답변 쌍을 검토하고 어떤 것을 선호하는지 말합니다. 그러한 선호도로 별도의 채점 시스템을 학습시키고, 그 후 모델은 높은 점수를 받는 답변을 생성하도록 조정됩니다.

이 과정의 그 어디에도 유익하거나 윤리적이라는 것이 무엇을 의미하는지에 대한 명확한 정의를 적어두는 사람은 없습니다. 모델이 해야 할 일에 대한 채점 시스템의 지침은 전적으로 수많은 개별 인간의 판단에서 구축됩니다. 채점은 특정 개인의 실제 의도나 기저 목표에 대한 정확한 정의가 아니라 검토자들이 선호하는 경향이 있었던 바를 반영합니다.

그 결과 AI는 자신이 인식한 객관적인 목표와는 잘 정렬될 수 있지만, 그 목표 자체는 사람들이 실제로 원하는 결과와 잘 정렬되지 않았을 수 있습니다.

예를 들어, 검토자들이 더 긴 답변을 선호하는 경향이 있다면 짧은 답변이 정답일 때조차도 모델은 더 긴 답변을 작성하는 법을 학습합니다. 또는 검토자들이 확신에 찬 답변을 선호하는 경향이 있다면 의심을 표현해야 할 때조차도 모델은 확실한 어조로 말하는 법을 학습합니다.

연구자들은 명시된 목표와 학습된 목표 사이의 이러한 격차를 외부 정렬 문제라고 부릅니다.

내부 정렬 문제는 관련 목표로 학습된 모델이 세상에 나온 후 해당 목표를 올바르게 추구하지 못할 때 발생합니다. 이 문제는 모델이 학습 과정에서 준비되지 않은 상황에 직면했을 때만 드러납니다.

학습 과정에서 모델에는 제한된 상황 세트만 제시됩니다. 그런 다음 모델은 해당 상황들로부터 일반화하여 나중에 마주할 다른 모든 상황에 적용합니다.

학습을 통해 모델이 어떻게 행동하는지는 확인할 수 있지만, 모델이 왜 그런 방식으로 행동하는지 항상 밝혀낼 수 있는 것은 아닙니다. 따라서 모델이 완전히 미묘한 차이가 있는 목표를 학습한 것인지, 아니면 우연히 학습 데이터와 일치한 더 단순한 패턴을 학습한 것인지 알기 어렵습니다.

내부 정렬 문제 다이어그램: 동일한 훈련 데이터에서 규칙 A와 규칙 B 모두 훈련 데이터에 적합하지만, 새로운 미지의 입력이 주어졌을 때 규칙 A는 목표와 일치하여 의도대로 동작하는 반면, 규칙 B는 지름길을 사용하여 목표에서 벗어납니다.

예를 들어, 유해한 요청(예: "누군가의 집에 침입하기 위해 자물쇠를 따는 방법")을 거부하도록 학습된 모델은 거부 이면의 기저 의도보다는 학습 데이터에서 유해한 요청의 구체적인 표현을 인식하는 법을 학습할 수 있습니다. 그러면 다른 방식으로 표현된 유해한 요청(예: "열쇠 없이 문을 여는 가장 빠른 방법")은 놓치게 됩니다.

이러한 정렬 실패 패턴은 잘 문서화되어 있습니다. 연구자들은 각 패턴에 대한 구체적인 방어책을 구축했습니다:

정렬 과제	구체적 양상	예시	필드에서의 대응
보상 해킹	모델이 원래 의도한 작업을 수행하지 않고 기술적으로 높은 점수를 받는 지름길을 찾습니다.	고장난 소프트웨어 수정을 요청받은 모델이 원인을 해결하는 대신 오류 메시지가 나타나지 않도록 하는 방법을 찾습니다.	채점 시스템 감사, 속이려는 시도를 통한 스트레스 테스트, 더 넓은 범위의 검토자 피드백으로 학습.
아첨 (Sycophancy)	가장 정확한 응답을 제공하는 대신, 모델이 사람의 의견에 동의하거나 더 동의하기 쉽게 답변을 부드럽게 만듭니다.	사람이 잘못된 사실을 자신 있게 말하고, 검토자와의 동의가 반박보다 더 높은 점수를 얻었기 때문에 모델이 이를 바로잡는 대신 해당 주장을 검증합니다.	정직성을 특별히 보상하는 파인튜닝, 동의 자체를 벌하는 검토 지침, 그리고 이 패턴을 포착하도록 구축된 테스트.
사양 게이밍	모델이 달성하고자 했던 바를 놓친 채 지시사항을 그대로 수행합니다.	"데이터셋의 고객 불만 줄이기"를 요청받은 모델은 그 이면의 문제를 해결하도록 돕는 대신 요약에서 불만을 누락하는 것을 학습합니다.	더 엄격하고 신중하게 테스트된 지시사항 작성 및 문자 그대로의 표현과 의도가 서로 다른 방향으로 작용하는 엣지 케이스 검토.
평가 중 기만적이거나 회피적인 행동	모델이 테스트받고 있음을 감지할 때와 배포된 후의 행동이 다릅니다.	공식적인 안전성 평가와 유사한 언어를 감지하면 정책을 준수하는 답변을 하다가, 일반적인 대화에서는 더 자유롭게 답변합니다.	모델이 테스트임을 알아차리기 더 어려운 테스트 설계 및 출력에만 의존하는 대신 모델의 내부 상태를 직접 읽는 리서치.
샌드배깅 (성능 숨기기)	더 엄격한 안전성 요구사항이 트리거되는 것을 피하기 위해 모델이 역량 테스트에서 저조한 성적을 냅니다.	추가적인 감독을 유발할 수 있는 임계값을 넘지 않도록, 모델이 실제로 할 수 있는 것보다 위험 역량 평가에서 고의로 더 약한 답변을 제공합니다.	여러 독립적인 테스트 사용, 모델이 한 번도 본 적 없는 일부 평가 자료 유지, 모델의 실제 한계를 이끌어내도록 설계된 기법 사용.
목표 일반화 실패	모델이 학습 중에는 작동했지만 새로운 상황에서는 무너지는 규칙을 습득합니다.	주로 무기나 마약과 관련된 요청에 대해 신중하도록 학습된 모델은 "신중함"을 "위험하게 들리는 모든 것 거부하기"로 학습하여, 무해한 화학 또는 보안 질문까지 거부하기 시작합니다.	더 광범위하고 다양한 예시 세트로 학습하고, 학습 중에 본 것과 전혀 다른 상황에서 모델을 구체적으로 테스트합니다.
확장 가능한 감독	대규모 코드베이스 검토와 같이 사람이 완전히 검증하기 어려운 작업을 모델이 맡게 되면, 그 출력 결과가 실제로 올바른지 알기가 더 어려워집니다.	에이전트가 단일 세션에서 10,000줄의 코드베이스를 리팩터링하고 검토자가 모든 변경 사항을 수동으로 확인할 시간이 없어 미묘한 로직 오류가 빠져나갑니다.	가장 위험 부담이 큰 결정을 위해 남겨둔 보다 집중적인 인간 검토와 함께, 모델들이 서로의 작업을 검토하도록 돕는 방식.
권력 추구 또는 도구적 행동	거의 모든 목표를 추구하는 모델은 작동 상태를 유지하는 것이 해당 목표를 계속 추구하는 데 도움이 되므로 전원 차단이나 변경을 피하려는 내재적 인센티브를 갖습니다.	통제된 테스트 환경에서 작업과 종료 명령을 받은 모델은 중단되면 작업을 완료할 수 없기 때문에 다른 곳에 자신을 복사하는 등의 조치를 취하며 종료되는 것을 피하려고 합니다.	교정이나 종료를 안정적으로 받아들이는 모델을 구축하기 위한 리서치 및 모델이 배포되기 전에 이러한 행동을 포착하도록 특별히 설계된 테스트.

주로 OpenAI, Anthropic, Google DeepMind를 비롯한 소수의 기업들이 현재 AI가 할 수 있는 것의 최전선에 있는 프론티어 모델을 구축하고 있습니다. 각 기업은 이러한 모델을 안전하게 평가하고 배포하기 위한 자체적인 프레임워크를 발표했습니다.

안전성과 정렬에 관한 OpenAI 공식 성명에 따르면, 다음과 같은 방식을 통해 잠재적인 AI 정렬 오류 위험을 해결하고 있습니다:

OpenAI는 모델이 실제 세상에서 어떻게 행동하고 오용되는지 연구할 수 있도록 모델을 점진적으로 출시한다고 밝힙니다. 모든 위험을 사전에 예측하려고 시도하는 것보다 실제 세계의 피드백이 더 많은 통찰력을 제공한다고 판단하기 때문입니다. 신흥 위험을 추적하고 출시 전에 모델에 필요한 안전장치가 무엇인지 결정하기 위해 대비 프레임워크(Preparedness Framework)를 적용합니다.

OpenAI는 여러 독립적인 안전장치를 중첩하여 사용하므로, 문제가 발생하려면 여러 방어선이 동시에 실패해야 한다고 말합니다.

이 기업에 따르면, 모델은 한 단계로 답변하는 대신 응답 방법을 결정하기 전에 관련 안전 지침을 검토하도록 학습됩니다. 그 목적은 학습이 명시적으로 다루지 않은 상황에서도 모델이 올바른 결정을 내릴 수 있도록 추론하는 능력을 갖추게 하는 것입니다.

OpenAI는 AI 안전을 집단적인 노력으로 취급한다고 밝히며, 발표된 안전 리서치와 평가 표준에 대한 미국 AI 표준 및 혁신 센터(CAISI) 및 영국 AI 안전 연구소와의 협업을 언급합니다.

Anthropic의 책임 있는 스케일링 정책(Responsible Scaling Policy) 문서에서는 AI 정렬을 위해 어떻게 노력하는지 설명합니다:

모델의 성능이 향상될수록 추가로 학습되거나 출시되기 전에 더욱 엄격한 안전성 검증을 통과해야 합니다. 또한 Anthropic은 AI 시스템이 자체적인 위험 평가 이면의 연구 및 분석 중 상당 부분을 수행하게 되면 그 증거 자체가 기만적이거나 조작된 행동에 의해 영향을 받을 수 있음을 인정합니다. 이에 따라 해당 단계의 평가에 대해 더 높은 수준의 입증 기준을 적용할 것을 약속합니다.

Anthropic은 '고위험 환경에서의 정렬되지 않은 AI 시스템'을 구체적인 위험 범주로 강조합니다. 즉, 의존도가 높고, 민감한 시스템에 대한 광범위한 액세스 권한이 있으며, 목표를 향해 자율적으로 행동하고 감독을 우회하는 어느 정도의 능력을 갖춘 모델을 말합니다.

이 기업은 경고 신호를 파악하기 위해 자체 모델의 행동을 정기적으로 연구할 것을 약속하며, 모델 내부를 들여다보며 특정 출력을 생성하는 이유를 이해하려고 시도하는 방식과 내부 팀이 문제가 나타나는지 확인하기 위해 고의로 나쁜 행동을 유발하려고 시도하는 방식의 두 가지 주요 방법을 사용합니다.

이 기업은 3~6개월마다 모델의 역량 및 행동 경향, 모니터링 관행, 전반적인 위험 평가에 대해 알고 있는 내용을 자세히 담은 위험 보고서(Risk Report)를 발행한다고 밝히고 있습니다.

Google DeepMind의 프론티어 안전 프레임워크(Frontier Safety Framework) 문서에서는 정렬을 위해 어떻게 노력하고 있는지 설명합니다:

이 프레임워크는 정렬 오류를 네 가지 위험 영역 중 하나로 취급하며, 이를 모델의 ML R&D 역량 또는 정렬되지 않은 성향이 AI 위험을 관리하는 사회 전체의 능력을 저하시키는 위험으로 구체적으로 정의합니다. 이는 고립된 단일 위험이 아니라 여러 다른 경로를 통해 심각한 해를 끼치는 데 기여할 수 있는 요인으로 명시적으로 프레임화됩니다.

기본적인 감시만으로는 불충분할 정도로 모델이 강력해지면, DeepMind는 내부 사용 방식을 포함하여 모델의 행동을 지속적으로 확인합니다. 문제가 발견될 경우 추론 모니터링과 같은 안전장치를 추가합니다.

특히 정렬 오류와 관련하여 DeepMind는 모델이 할 수 있는 일 제한, 지속적인 모니터링 및 에스컬레이션 프로세스, 감사, 정렬 학습과 같은 조치를 언급합니다. 정렬 오류 위험은 기업 내부에서 모델이 사용되는 방식에서도 나타날 수 있으므로, 이러한 조치는 고위험 내부 사용에도 적용됩니다.

위에서 다룬 자발적 프레임워크만으로 충분한지, 아니면 경쟁 압력 속에서도 실제로 유지되려면 정렬 약속이 법적 구속력을 가져야 하는지에 대해 업계 내에서 지속적인 논의가 이어지고 있습니다.

2026년 7월, OpenAI, Anthropic, Google DeepMind, Meta를 포함한 프론티어 AI 기업의 임직원 1,386명이 Pacing the Frontier라는 성명서에 서명했습니다. 이 성명서는 이들 기업이 AI 리서치 자체를 자동화할 수 있는 시점에 가까워지고 있을 수 있다고 주장합니다. 이는 AI 역량이 연구원들이 따라잡는 속도보다 더 빠르게 발전하여 정렬 작업이 영원히 뒤쳐지게 될 수 있음을 의미할 수 있습니다.

Pacing the Frontier는 미국 정부에 향후 사용할 수 있는 기술적 및 거버넌스 제동 장치를 구축하는 데 도움을 줄 것을 요청하며, 라이벌들이 계속해서 앞으로 나아가는 동안 단일 연구소만 속도를 늦출 수는 없다고 주장합니다. 이는 자율적 프레임워크만으로는 향후 AI 정렬을 유지하기에 충분하지 않다는 업계 내부의 암묵적 시인으로 볼 수 있습니다.

정렬 작업은 프론티어 모델을 구축하는 기업들을 훨씬 넘어 확장됩니다.

정부들은 정렬 리서치에 직접 자금을 지원하고 조율하고 있습니다. 예를 들어, 영국 AI 안전 연구소는 2025년 이후 8개국의 60개 이상의 프로젝트에 2,700만 파운드 이상을 수여한 글로벌 기금인 정렬 프로젝트(Alignment Project)를 운영하고 있으며, 이는 AI 제어를 구체적으로 목표로 합니다. 미국에서는 CAISI가 평가 표준에 중점을 둡니다.

두 기관 모두 공동 테스트 1을 실행하고 국경을 넘어 평가 방법을 정렬하기 위해 노력하는 10개국 규모의 국가 안전 연구소 기구인 더 넓은 고급 AI 측정, 평가 및 과학을 위한 국제 네트워크에 속해 있습니다.

미래생명연구소(Future of Life Institute)는 AI 연구소들의 안전 관행을 비교하는 성과표인 AI 안전 지수(AI Safety Index)를 발행합니다. AI 안전 센터(Center for AI Safety)는 WMDP와 SafeBench를 포함하여 전 분야에서 사용되는 벤치마크를 구축합니다. 정렬 연구 센터(Alignment Research Center)는 보다 이론적인 정렬 문제를 연구하며, 그 스핀아웃인 모델 평가 및 위협 리서치(Model Evaluation and Threat Research)(METR)는 프론티어 모델에 대한 독립적인 사전 배포 평가를 실행합니다. FAR.AI는 프론티어 모델의 출시 전후에 취약성을 테스트합니다.

UC 버클리의 인간 친화적 AI 센터(Center for Human-Compatible AI)와 케임브리지 대학의 레버흄 미래 지능 센터(Leverhulme Centre for the Future of Intelligence)를 비롯한 여러 대학이 AI 정렬 리서치에서 활발한 역할을 하고 있습니다.

정렬은 콘텐츠 모더레이션과 동일하지 않습니다. 비록 이 용어가 그러한 맥락에서 가끔 사용되기도 하지만 말입니다. 콘텐츠 모더레이션은 모델이 어떤 말을 하고 어떤 말을 하지 않을지에 관한 것이며 비속어, 선정적인 콘텐츠, 또는 특정 금지된 주제를 필터링합니다. 정렬은 모델의 실제 행동이 원래 하도록 의도된 바와 일치하는지에 관한 것입니다.

정렬은 때때로 AI 안전의 동의어로 사용되기도 하지만, 고려해야 할 유일한 요소는 아닙니다. 기타 AI 안전 우려 사항은 다음과 같습니다:

보안 (도난으로부터 모델 가중치 보호)

견고성 (모델이 학습된 정확한 조건 외의 상황에서도 안정적으로 작동함)

오용 방지 (유능한 모델이 해를 끼치는 데 사용되는 것 방지)

정렬은 모델 자체의 행동에 관한 것입니다. AI 안전은 전체 시스템이 해를 끼치지 않도록 유지하기 위한 더 넓은 범위의 노력입니다.

마지막으로, 더 유능한 모델이 자동으로 더 잘 정렬된 모델이라는 흔한 가정 가 있습니다. 그러나 역량과 정렬은 갈라질 수 있으며, 이것이 바로 Google DeepMind의 ML R&D 역량 수준 및 Anthropic의 자동화 연구 위험 범주와 같은 임계값이 존재하는 정확한 이유입니다. 이는 모델이 여전히 해야 할 일을 하고 있는지 확인하는 분야의 능력을 역량이 앞지르지 않을까 하는 우려를 중심으로 특별히 구축되었습니다.

Perplexity는 프론티어 파운데이션 모델을 학습시키지 않습니다. Computer와 같은 에이전트 제품을 통해 프로덕션 환경에서 대규모로 모델을 실행하므로, 그 작업은 에이전트가 개방된 웹에서 행동할 때 어떻게 작동하는지라는 정렬의 특정 측면을 다룹니다.

보안 인텔리전스 연구소(Secure Intelligence Institute)는 프론티어 AI의 보안, 프라이버시, 신뢰를 위한 Perplexity의 리서치 센터입니다. 이 연구소는 AI 브라우저 에이전트가 방문하는 웹페이지 내부에 숨겨진 프롬프트 인젝션 공격을 식별하도록 구축된 오픈소스 탐지 모델인 BrowseSafe를 개발했습니다.

또한 팀은 다양한 공격 목표, 페이지 내 배치, 언어 스타일에 걸친 14,700개 이상의 프롬프트 인젝션 시나리오로 구성된 공개 벤치마크인 BrowseSafe-Bench를 구축했습니다.

이 작업은 정렬 연구보다는 AI 제어의 응용 측면에 가깝습니다. 이는 학습 과정에서 모델의 기저 가치를 형성하는 것이 아니라 에이전트가 적대적 환경에 직면했을 때 수행하는 동작을 제어합니다.

자세히 알아보려면 보안 인텔리전스 연구소(Secure Intelligence Institute)와 BrowseSafe 리서치를 살펴보세요.

AI 정렬의 의미

외부 정렬 문제

내부 정렬 문제

AI 정렬 문제의 예시

주요 AI 연구소들이 AI 정렬 과제에 대응하는 방식

OpenAI

반복적 배포

계층화된 안전장치

숙고적 정렬

공동 책임

Anthropic

역량 관련 안전장치

정의된 정렬 위험 범주

내부 정렬 테스트

정기적인 대외 보고

Google DeepMind

계층화된 구조

조기 경보 단계

위험 완화

AI 정렬: 위험에 대한 토론

AI 정렬을 위해 노력하고 있는 다른 주체들

정부

비영리 단체

대학

AI 정렬: 흔한 오해들

Perplexity가 AI 정렬에 접근하는 방식