Perplexity Decider

Decider v1.3과 Decider Flash v1.3을 출시합니다. 이 모델들은 이전 의사결정 모델인 v1, v1.1, v1.2, Flash v1.2의 후속 모델입니다.

Decider Flash v1.3은 Decider v1.3에서 증류한 더 작은 모델입니다. 두 모델 모두 Apache 라이선스에 따라 Hugging Face에서 이용할 수 있으며, OpenRouter와 Perplexity Decisions API를 통해서도 이용할 수 있습니다.

Perplexity Decider는 TypeSafe AI의 System One Model인 Jev에서 영감을 받았습니다. 순서가 있거나 없는 레이블을 사용하는 이진 및 다중 클래스 분류를 지원하며, 애플리케이션이 입력을 분류, 라우팅, 순위 지정, 평가하는 데 사용할 수 있는 확률을 반환합니다.

두 v1.3 모델은 양방향 어텐션, 더 잘 선별된 학습 데이터, 개선된 학습 레시피를 통해 광범위한 텍스트 및 비전 작업에서 성능과 견고성을 향상합니다. 또한 개체명 인식, 개인정보 식별, 추출형 질의응답 작업에서 선택된 콘텐츠를 강조 표시하는 새로운 기능인 locate도 도입합니다.

이 글에서는 Decider를 학습하고 평가하는 방법을 설명하고, Perplexity 내부에서 Decider를 어떻게 활용하는지 공유합니다.

의사결정 모델이란?

의사결정 모델은 범용 분류기입니다. 입력과 함께, 각각 가능한 답변이 딸린 질문 세트를 제공하면 됩니다. 모델은 각 질문에 대해 답변의 확률 분포를 반환합니다. 지원하는 질문 유형은 3가지입니다:

• 예 / 아니요: 이진 결정.
• 객관식: 사용자 지정 다중 클래스 레이블.
• 점수: 순서가 있는 등급.

의사결정 모델은 다양한 분류 및 점수 산정 작업을 지원합니다:

• 출력 평가: 충실도, 품질, 안전성 평가.
• 라우팅: 난이도에 따라 요청을 더 작거나 더 큰 모델로 전달.
• 모더레이션 및 보안: 도구 출력에서 유해 콘텐츠, 피싱, 프롬프트 인젝션 탐지.
• 필터링 및 태깅: 대규모 콘텐츠 컬렉션 정리.
• 검색 및 재순위화: 관련성에 따른 검색 결과 점수 산정.

이러한 작업 중 상당수는 자유 형식의 텍스트 생성이 필요하지 않음에도 이전에는 LLM 같은 생성형 모델이 처리해 왔습니다. 결정 모델은 LLM과 작업별 분류기 사이에 위치합니다. 동일한 입력에 대한 여러 질문의 확률을 단일 포워드 패스로 반환하므로, 토큰 단위의 답변 생성을 피하고 질문 간에 연산을 공유합니다. 작업별 분류기와 달리 자연어 프롬프트를 통해 새로운 작업을 처리할 수 있으며, 이러한 유연성은 공통 질의응답 형식으로 다양한 작업을 학습하면서 얻어진 것입니다.

학습

생성형 LLM을 의사결정 모델로 전환하기

Decider는 강력한 생성형 LLM 백본을 조정하여 구축합니다. 이 조정 방식을 설명하기 위해 먼저 요청이 어떻게 표현되는지 설명하겠습니다. 아래 그림과 같이, 요청은 공유 컨텍스트(상태)와 여러 개의 질문으로 구성됩니다. 상태는 모든 질문에서 재사용됩니다.

예를 들어 문서와 그 요약이 주어지면, 하나의 요청으로 요약이 문서를 충실하게 나타내는지, 그리고 요약이 전문가와 일반 독자 중 누구를 대상으로 하는지를 함께 물을 수 있습니다. 상태 다음에 오는 각 질문 블록에는 질문과 가능한 답변이 포함되며, 각 답변에는 A, B, C와 같은 사전 정의된 레이블 토큰이 할당됩니다. 특수한 <|marker|> 토큰은 모델의 예측을 읽어낼 위치를 나타냅니다. 이 위치에서 학습된 선형 출력 레이어(의사결정 헤드)가 은닉 상태를 질문의 답변 옵션에 대한 점수로 매핑하며, 이 점수는 이후 확률로 변환됩니다.

확대

출력 레이어는 보통 전체 어휘에서 다음 토큰의 점수를 매기는 기본 모델에서 초기화하며, A, B, C와 같은 사전 정의된 옵션 토큰에 해당하는 행만 유지합니다. 그런 다음 이렇게 가지치기된 레이어가 <|marker|> 토큰의 은닉 상태를 답변 점수로 변환하도록 학습합니다. 모든 분류 질문은 객관식으로 공식화할 수 있으므로 이 접근 방식으로 모든 분류 질문을 처리할 수 있습니다.

학습에는 다양한 작업(감성, 자연어 추론, 의도 탐지, 개체 매칭, 모더레이션, 사실 확인, 평점 등)에 걸친 수백 개의 공개 데이터세트를 사용하며, 각 예시를 위에서 설명한 통합 형식, 즉 상태, 하나 이상의 질문, 해당 옵션, 타깃으로 변환합니다. 골드 레이블이 있는 경우 타깃은 하나의 정답 옵션이 될 수 있으며, 옵션에 대한 확률 분포가 될 수도 있습니다.

v1.3에서는 사전 정의된 옵션 중에서 선택하는 대신 상태에서 텍스트를 추출하는 locate를 도입합니다. locate 질문은 “위치”와 같은 짧은 레이블이나 “채용 공고의 근무지 도시 이름을 추출하세요.”와 같은 지시문을 사용해 무엇을 찾을지 설명합니다. 모델은 상태에서 정확히 일치하는 텍스트를 시작 및 끝 문자 위치와 함께 반환합니다. 일치하는 항목을 찾지 못하면 빈 목록을 반환합니다.

확대

상태를 공유하므로 하나의 요청에서 동일한 입력에 대한 locate, 분류, 점수 산정 질문을 함께 처리할 수 있습니다. 예를 들어 어떤 채용 공고가 시니어급 경력을 요구하는지 묻는 동시에 필요한 역량을 추출할 수 있습니다.

양방향 어텐션: 모델이 양방향으로 읽도록 하기

저희 모델은 강력한 사전 학습된 생성형 백본에서 출발합니다. 이 백본의 인과적 어텐션은 각 토큰이 자기 자신과 앞선 토큰에만 어텐션하도록 합니다. 어블레이션 연구 결과, 백본의 풀 어텐션 레이어를 양방향으로 만들면 성능이 향상되는 것으로 나타나 각 토큰이 전체 입력의 맥락을 반영할 수 있도록 이 설계를 채택했습니다.

양방향 어텐션은 또 다른 설계 선택지를 제시합니다. 상태와 질문은 어떻게 상호작용해야 할까요? 성능, 답변 안정성, 캐시 재사용 측면에서 서로 다른 영향을 미치는 세 가지 어텐션 패턴을 검토했습니다:

• 모든 것이 모든 것을 참조(v1.2): 상태와 모든 질문이 완전한 양방향 어텐션으로 함께 처리됩니다. 상태에 대한 연산은 공유되지만, 한 질문에 대한 답변이 함께 묻는 다른 질문에 따라 달라질 수 있습니다.
• 격리된 질문(v1.3): 상태는 모든 질문에 어텐션하고, 각 질문은 상태와 자신의 토큰에만 어텐션합니다. 질문들은 여전히 공유 상태를 통해 간접적으로 서로 영향을 줄 수 있지만 결과는 더 안정적입니다.
• 완전 캐시 가능: 상태는 자기 자신에만 어텐션하고, 각 질문은 상태와 자신의 토큰에 어텐션합니다. 상태는 질문과 무관하므로 요청 간에 재사용할 수 있어 프롬프트 캐싱을 활용할 수 있습니다. 여러 작업에서 상태가 질문을 볼 수 있도록 하는 것이 매우 중요하기 때문에 기본적으로는 이 방식을 사용하지 않지만, 약간의 파인튜닝만으로 모델을 이 방식으로 전환할 수 있습니다.

최종적으로는 뛰어난 성능과 안정성 때문에 격리된 질문 방식을 선택했습니다.

확대

학습 레시피

두 모델 크기 모두 학습은 세 단계로 진행됩니다. 먼저 Qwen3.8-27B를 기반으로 한 더 큰 모델을 대규모 데이터셋에서 교차 엔트로피로 학습한 다음, 이를 더 작은 Qwen3.5-4B 모델로 증류합니다.

첫 번째 단계는 대규모 코퍼스로 모델 전체를 파인튜닝하는 범용 학습입니다. 이 단계에서는 모델 전반에 도움이 되고 특정 벤치마크에 국한되지 않는 데이터만 사용하므로, 벤치마크 학습 분할은 모두 제외합니다.

이 범용 모델의 학습이 끝나면 LoRA를 사용해 보다 세분화된 두 번째 단계를 진행합니다. 이 단계에서 사용하는 데이터는 특정 도메인과 작업을 겨냥합니다. 개선 폭이 제한적이거나 다른 작업에서 일부 성능 저하가 관찰되는 경우, 해당 데이터를 첫 번째 단계가 아닌 두 번째 단계에 추가합니다. LoRA를 사용하는 이유는 특정 도메인에 맞추느라 범용 모델에서 지나치게 벗어나 성능을 잃을 위험을 피하기 위해서입니다. 목표는 백본의 일반 지식을 유지하면서 성능을 개선하는 것입니다. 또한 LoRA를 기본 모델에 다시 병합할 때 가중치를 적용하여, 드리프트를 더 정밀하게 제어하고 도메인 내 성능 향상보다 홀드아웃 지표를 우선시합니다.

마지막으로 비전 전용 단계를 추가합니다. 두 번째 단계와 마찬가지로 비전 단계도 또 하나의 세분화된 특화 단계로 취급되며, 가중치를 적용해 기본 모델에 다시 병합되는 LoRA 어댑터를 사용합니다. 일부 비전 역량은 텍스트 성능을 희생하는 대가로 얻어질 수 있습니다. 모델이 텍스트에서 훨씬 더 많이 사용되는 것을 확인했기 때문에 비전 지표보다 텍스트 지표를 우선시합니다.

두 텍스트 단계 모두에서 서로 다른 랜덤 시드를 사용한 세 번의 실행에서 얻은 가중치의 평균을 사용합니다. 이렇게 하면 통합된 모델의 성능과 견고성이 향상된다는 것을 확인했습니다.

최종 대형 모델을 얻은 후에는 더 작은 모델에도 동일한 3단계 학습 절차를 적용합니다. 이때 대형 모델이 교사 역할을 합니다. 즉, 교사 모델이 예측한 출력 분포가 정답 레이블을 대체하며, 작은 모델은 자신의 예측과 교사 모델 예측 간의 KL 발산을 최소화하도록 학습됩니다. 이 증류 목표는 같은 학습 데이터에서 교차 엔트로피보다 더 나은 성능을 보입니다. 교차 엔트로피는 전용 학습 데이터가 있는 벤치마크에서는 성능이 더 좋지만, 홀드아웃 데이터에 대한 일반화 성능은 떨어집니다. 저희는 증류가 정답이 아닌 대안에 대한 신뢰도를 포함해 교사 모델의 출력 분포를 더 잘 전달하는 반면, 교차 엔트로피는 벤치마크별 학습 분포에 과적합되도록 유도한다고 가정합니다. 따라서 KL 기반 증류 목표를 채택했습니다.

학습-테스트 오염을 완화하기 위해, 사용하는 평가와 겹칠 수 있는 학습 샘플은 모두 제거합니다. 일부 공개 학습 데이터셋에는 일부 평가 데이터셋의 상당 부분이 포함되어 있기 때문에 이 작업은 중요합니다. 또한 광범위한 편향 감사와 제거를 수행하여, 성능 향상이 학습된 편향에 의한 것이 아니라 신뢰할 수 있는 결과임을 확인합니다.

정보 추출 기능 추가

locate 기능은 일반 요청에 답변하는 방식은 바꾸지 않으면서 텍스트에서 개체명 등의 정보를 추출합니다. 이를 위해 추가 학습 단계를 도입합니다. 새로운 특수 토큰 <|locate|>, 스팬 헤드, 그리고 LoRA 어댑터를 Decider에 추가합니다.

<|locate|>의 임베딩은 이전 학습 단계에서 학습된 <|marker|>로부터 초기화합니다. 이 새로운 임베딩, 스팬 헤드, LoRA 어댑터만 학습하고, 원래 백본 가중치와 의사결정 헤드는 고정합니다. 요청된 각 필드는 고유한 <|locate|> 토큰을 갖습니다.

스팬 헤드는 <|locate|>의 표현과 상태 토큰 표현을 함께 사용하여 일치하는 스팬이 어디서 시작하고 끝나는지, 그리고 어떤 시작-끝 쌍이 서로 짝을 이루는지 점수를 매깁니다. 또한 <|locate|> 토큰의 표현을 사용해 이러한 점수에 대한 필드별 임계값을 예측합니다. 선택된 스팬은 원본 텍스트 내 문자 위치로 반환됩니다.

스팬 헤드는 변형된 InfoNCE 손실로 학습하며, 이 손실은 모든 정답 스팬을 임계값 위로, 임계값을 다른 모든 스팬 위로 밀어 올립니다. 손실은 두 개의 항으로 구성됩니다. 첫 번째 항은 올바른 스팬의 점수를 임계값과 잘못된 스팬보다 높게 밀어 올립니다. 두 번째 항은 임계값을 잘못된 스팬의 점수보다 높게 밀어 올립니다. 답이 없는 필드에는 두 번째 항만 적용되며, 이를 통해 모델은 빈 목록을 반환하도록 학습합니다.

개체명 인식, PII 탐지, 추출형 질의응답 등 다양한 스팬 추출 작업을 혼합해 학습합니다. 필드 설명을 짧은 레이블부터 상세한 지시문까지 다양하게 구성하여, 모델이 고정된 레이블 세트를 암기하는 대신 요청을 따르도록 학습합니다.

Locate는 모델에 구조적으로 다른 작업을 가르치므로, 모델이 이미 잘하는 것을 잃지 않으면서 이를 추가하고자 합니다. locate 어댑터를 백본에 병합하면 결정 요청에서 일부 성능 저하가 발생합니다. 이를 줄이기 위해 이전 단계의 리플레이 데이터를 늘리거나, 결정 요청에 대한 모델 출력을 원래 모델의 출력에 가깝게 유지하는 보조 목표를 도입하는 등의 연구를 진행하고 있습니다. 그러나 현재로서는 병합 시 여전히 손실이 발생하므로, 어댑터를 병합하지 않은 상태로 두고 locate 요청에 대해서만 활성화합니다.

평가

Decider v1.3과 Decider Flash v1.3을 Hugging Face Decision Index, Vals AI의 ClaimBench, Artificial Analysis Decision Index의 외부 벤치마크에서 평가합니다.

이러한 평가 전반에서 저희 모델은 강력한 성능을 보여 줍니다. 이 리더보드들은 비공개 작업을 포함하고 있지만, 반복 제출과 리더보드 피드백에 기반한 반복적 튜닝을 통해 여전히 점수를 부풀릴 수 있습니다. 이러한 리더보드를 보완하기 위해, 비공개 프로덕션 작업과 공개 비벤치마크 데이터셋에서 가져온 홀드아웃 평가를 결합한 내부 평가 세트로 모델을 평가합니다. 이 평가는 공개 벤치마크를 넘어선 일반화를 추가로 확인할 수 있게 해 주며, 익숙한 평가 세트에 국한된 성능 향상과 보다 폭넓은 개선을 구분하는 데 도움이 됩니다.

내부적으로는 분류, 점수 산정, 재순위화, 개체 추출 등 다양한 도메인과 작업을 아우르는 200개 이상의 작업으로 구성된 평가 모음을 구축했습니다. Decider의 실제 성능을 정직하게 평가하기 위해 모든 평가는 작업별 파인튜닝 없이 제로샷으로 수행하며, 이를 통해 모델의 어느 부분을 개선해야 하는지에 대한 명확한 신호를 얻습니다.

쿼리 분류

Perplexity는 각 사용자 쿼리를 처리하기 위해 멀티헤드 분류 시스템을 사용합니다. 각 쿼리는 먼저 특징 추출기 역할을 하는 임베딩 모델을 거칩니다. 그런 다음 생성된 임베딩이 이진 분류기와 다중 레이블 분류기를 포함한 여러 개의 개별 분류 헤드에 입력됩니다. 예를 들어 한 헤드는 사용자 쿼리가 웹 검색을 실행해야 하는지 판단합니다.

프런티어 LLM이 독립적으로 다시 레이블링한 참조를 사용하는 63개 분류 작업에서 Decider v1.3은 평균 정확도 91.6%를 달성해 저희 프로덕션 분류기보다 6.54퍼센트포인트 높은 성능을 보였습니다. Decider Flash v1.3 역시 프로덕션 기준 모델을 능가했으며, Decider v1.3은 Jev 1.14도 능가했습니다.

확대

도메인별 분류

의사결정 모델의 분류 성능을 7개 도메인에 걸쳐 평가하기 위해 공개 데이터세트로 도메인별 평가 모음을 구성했습니다: 주장 검증(6개 작업), 헬스케어(7), 사이버 보안(8), 프로그래밍(16), 정부(7), 법률(9), 금융(9).

예를 들어 “Python 프로그램의 시간 복잡도 판단하기”나 “연차 재무 보고서를 사용해 기업의 비제한 현금이 향후 12개월 이내에 만기가 도래하는 부채 원금을 충당하는지 판단하기” 같은 작업이 있습니다. Decider v1.3은 7개 도메인 모두에서 선두를 차지하며, 금융에서는 최대 12.9퍼센트포인트, 법률에서는 9.3포인트 차이로 Jev 1.14를 앞섭니다. Decider Flash v1.3은 금융, 프로그래밍, 법률에서 Jev 1.14에 뒤처지며, 다른 도메인에서는 비슷한 성능을 보입니다.

확대

검색 및 재순위화

검색은 Perplexity의 핵심입니다. 모델의 재순위화 성능을 평가하기 위해 폭넓은 검색 작업 모음을 운영하고 있습니다. 각 작업에서 먼저 여러 임베딩 모델을 사용해 각 코퍼스에서 상위 50개 후보 문서를 검색합니다. 그런 다음 Decider로 이 후보들을 재순위화하고, 강력한 재순위화 기준 모델인 Qwen3-Reranker-8B와 성능을 비교합니다.

Decider는 제로샷 포인트와이즈 설정에서 평가합니다. 즉, 모델이 각 쿼리–문서 쌍에 독립적으로 직접 점수를 매기고 관련성에 따라 문서 순위를 정합니다. 72개 검색 작업에서 Decider v1.3은 평균 nDCG@10 83.99를 달성해 Qwen3-Reranker-8B보다 1.81포인트, Jev 1.14보다 2.24포인트 높은 성능을 보였습니다.

BEIR 벤치마크에서 두 모델은 Qwen3-Reranker-8B보다 nDCG@10 기준 각각 8.78포인트, 7.05포인트 높은 성능을 보였습니다. Jev 1.14와 비교하면 Decider v1.3은 1.33포인트 높고, Flash 버전은 0.4포인트 낮습니다.

확대

다국어 분류

영어 이외의 언어에서 의사결정 모델을 평가하기 위해 8개 공개 데이터세트의 19개 언어별 작업으로 구성된 다국어 분류 벤치마크를 구축했습니다. 이 벤치마크에는 독일어, 스페인어, 프랑스어, 이탈리아어, 러시아어, 일본어, 한국어, 중국어 등 8개 언어에 걸친 46,484개의 예시가 포함됩니다. 벤치마크는 의도 탐지, 주제 분류, 감성 분석, 자연어 추론, 패러프레이즈 탐지, 공격적 언어 탐지, 문법적 수용성을 다룹니다.

각 언어 내 작업별 평균 정확도를 보고하며, 각 작업에 동일한 가중치를 부여합니다. Decider v1.3은 8개 언어 모두에서, Decider Flash v1.3은 6개 언어에서 Jev 1.14를 능가했으며, 평균 작업 정확도는 Decider v1.3이 88.16%, Decider Flash v1.3이 86.50%, Jev 1.14가 85.41%였습니다.

확대

NER, PII 및 추출형 QA

다양한 도메인, 입력 형식(텍스트, 표, 구조화된 문서), 지시문(짧은 레이블, 질문, 상세 설명)에 걸친 추출 능력을 테스트하는 17개의 도메인 외 작업으로 locate 기능을 평가합니다. 도메인은 Wikipedia부터 과학 논문, 사이버 위협 보고서, 기술 지원, 개인정보 처리방침, 이력서, 법률 계약서까지 다양합니다. 요청 역시 “사람”이나 “이메일 주소” 같은 짧은 레이블 이름부터 표나 지원 티켓에 관한 질문, 그리고 NDA의 당사자나 송장의 합계 금액처럼 구조화된 추출을 위한 상세한 필드 설명까지 다양합니다.

NER과 PII는 정확 스팬 F1(exact-span F1)으로 평가하며, 이 지표는 예측된 스팬이 참조 경계와 정확히 일치해야 합니다. 추출형 QA는 문자 수준 F1을 사용해 겹치는 답변 텍스트에 부분 점수를 부여하고, 구조화 추출은 올바르게 추출된 필드의 비율인 필드 정확도를 사용합니다. 이력서(CV) 파싱의 경우 NER과 PII의 정확 스팬 F1 점수를 평균합니다.

다양한 크기의 범용 추출 모델인 GLiNER large v2.5(0.5B), Liquid d1(2B), Cloudflare의 Clairic(크기 비공개)과 비교했습니다. Decider v1.3은 평균 점수 69.0(각 작업의 주요 지표 기준), Decider Flash v1.3은 63.6을 기록했으며, Liquid d1은 43.3, Clairic은 41.5, GLiNER large v2.5는 33.6이었습니다. 두 Decider 모델 모두 모든 카테고리에서 선두를 차지했습니다.

확대

이미지 분류

Decider는 v1부터 비전 작업을 기본적으로 지원해 왔습니다. 텍스트 이외의 성능을 평가하기 위해 송장, 서신, 이력서를 포함한 문서 분류에 특히 중점을 둔 5개 작업 벤치마크 모음을 구성했습니다. 이 모음은 위성 이미지 분류, 텍스처 분류, 반려동물 품종 분류, 동물 수 세기도 다룹니다.

Decider v1.3은 5개 시각 작업에서 평균 정확도 76.99%를 달성해 Jev 1.14보다 1.47퍼센트포인트 높은 성능을 보였습니다. Decider Flash v1.3은 72.77%를 달성해 더 작은 모델에서도 시각 분류 역량을 입증했습니다.

확대

실제 의사결정 요청

Perplexity Decision API 출시 후 첫 18일 동안 제출된 요청 중 중복을 제거하고 PII를 마스킹한 요청 100만 건을 샘플링했습니다. 각 요청에는 동일한 상태에 대한 여러 질문이 포함될 수 있으므로, 샘플은 총 2,318,887개의 개별 질문으로 구성됩니다. 모든 요청은 연구 목적의 사용에 대해 사용자의 명시적 허가를 받아 포함되었습니다.

프로덕션 요청에는 정답 레이블이 없으므로, 프런티어 LLM 심사 모델을 사용해 참조 답변을 생성하고 각 모델이 이와 얼마나 일치하는지 측정합니다. 또한 요청을 정보 추출, 도메인 분류, 감성 분석, 의도 및 라우팅, 관련성 순위 지정, 콘텐츠 모더레이션, 품질 및 규정 준수 검토, 개체 매칭, 비즈니스 분석, “기타” 카테고리 등 10개 작업 카테고리로 나눕니다. 이 분류를 통해 실제 사용 사례별로 성능이 어떻게 달라지는지 확인할 수 있습니다.

작업 구성은 고르지 않습니다. 정보 추출이 425,402개 질문, 도메인 분류가 409,564개, 감성 분석이 344,158개를 차지합니다. 이 세 카테고리를 합치면 샘플링된 질문의 50.8%에 해당합니다.

Decider v1.3은 심사 모델과 93.98%로 가장 높은 일치율을 보였으며, Decider v1.2는 93.68%, Jev 1.14는 93.35%였습니다. Decider v1.3과 Jev 1.14는 도메인 분류와 감성 분석에서 각각 0.34퍼센트포인트, 0.07퍼센트포인트 차이로 비슷한 수준을 보였습니다. Jev는 관련성 순위 지정에서 0.69포인트 앞섰고, Decider v1.3은 정보 추출(샘플에서 가장 흔한 작업)에서 0.93포인트, 의도 및 라우팅에서 1.21포인트 앞섰습니다.

확대

아래 차트는 동일한 100만 건의 프로덕션 요청을 실행하는 데 든 것으로 보고된 비용을 비교합니다. 각 요청에는 여러 질문이 포함될 수 있으므로, 여기서 단위는 개별 질문이 아니라 요청입니다.

확대

견고성

372개의 객관식 질문으로 레이블 민감도를 평가했으며, 모델당 4,788건의 요청을 보냈습니다. 각 질문의 의미는 유지하면서 옵션 순서를 바꾸고, 답변 텍스트에 레이블을 재할당하고, 레이블 이름을 변경한 다음, 모델의 의미상 답변이 바뀌었는지 확인했습니다. 답변 변경률이 낮을수록 안정성이 높습니다.

각 변환에서 Decider v1.3은 질문의 0.27%에서만 답변이 바뀌었으며, Jev 1.14는 2.69~4.84%였습니다. 또한 동일한 입력을 반복해 서빙 변동성을 측정했습니다. Decider v1.3에서는 변화가 없었던 반면, Jev 1.14는 질문의 1.88%에서 답변이 바뀌었습니다.

확대

Decider 활용 방식

Decider는 빠르고 구조화된 의사결정이 필요한 워크플로우를 위해 설계되었습니다. 이 섹션에서는 Decider를 활용해 업무 방식에 의미 있는 변화를 만들어 내는 방법을 살펴봅니다. 다음은 그중 눈에 띄는 몇 가지 사례입니다.

스스로 개선되는 보안 규칙

내부적으로 이미 Decider를 활용해 보안 정책을 개선하고 있습니다.

에이전트의 활동은 기록되며, 문제가 있는 행동을 식별하기 위해 일련의 규칙 기반 검사가 수행됩니다. 규칙 기반 접근 방식을 사용하면 지연 시간을 거의 늘리지 않고도 에이전트를 실시간으로 모니터링할 수 있습니다. 오프라인에서는 Decider를 사용해 기록된 에이전트 로그의 샘플을 살펴봅니다. 문제 행동이 감지되지 않은 경우 Decider는 규칙 세트가 놓친 것이 있는지 확인하고, 경보가 발생한 경우에는 그것이 오경보인지 확인합니다. 어느 경우든 규칙 세트가 제대로 작동하지 않은 기록은 에이전트에게 전달되어 분류되고 규칙 수정안이 제안되며, 이 수정안은 보안팀 구성원의 승인을 받아야 합니다.

하루 동안 Decider는 7,000개의 에이전트 세션에서 10억 개의 토큰을 읽고 14건의 규칙 수정으로 이어진 결함을 식별했으며, 그중 6건은 이틀 이내에 승인되어 배포되었습니다. 일주일 분량의 로그에 재적용한 결과, 수정 사항으로 가장 많이 발생하던 규칙의 발생량이 52% 감소했으며, 확장된 규칙은 조사가 필요한 정상적인 행동을 약 40% 더 많이 포착했습니다.

확대

RL 롤아웃 모니터링

강화 학습으로 모델을 사후 학습할 때, 최종 보상과 같은 집계 지표만으로는 롤아웃(작업에 대한 개별 시도)이 왜 성공하거나 실패했는지 설명할 수 없습니다. 도구 서비스나 샌드박스가 실패해 부당하게 보상을 잃을 수도 있고, 어떤 도구도 반환하지 않은 지어낸 값처럼 근거 없는 주장을 평가자가 간과하면 받을 자격이 없는 보상을 받을 수도 있습니다.

이러한 경우를 찾아내기 위해 Decider로 롤아웃을 모니터링합니다. 먼저 코드가 롤아웃에서 면밀히 살펴볼 필요가 있는 부분을 식별합니다. 실패한 도구 호출과 그 주변의 추론, 오류 없이 실행된 코드, 또는 최종 답변 등이 그 예입니다. 그런 다음 Decider가 각 부분에 대한 객관식 질문에 답합니다. 예를 들어 어떤 단계에서 무엇이 실패했는지(도구 서비스, 외부 사이트, 샌드박스, 하네스, 또는 에이전트 자체 코드), 그리고 에이전트가 결과를 올바르게 해석했는지 등을 묻습니다. 특정 부분에 대한 모든 질문을 하나의 요청으로 묶고 판정 대신 확률을 저장하므로, 나중에 Decider에 다시 쿼리하지 않고도 임계값을 조정할 수 있습니다. 모니터는 관찰하고 진단만 할 뿐, 보상을 변경하거나 실행을 중단하지 않습니다.

확대

페이지 품질 필터링

웹 페이지를 크롤링해 색인하고 사용자에게 제공할 때, 많은 페이지는 품질이 너무 낮아 전혀 쓸모가 없습니다. 여기에는 봇 차단 페이지, CAPTCHA, 오류 페이지는 물론, 정상적으로 로드되었지만 스팸, SEO용 채우기 콘텐츠, 탐색 전용 페이지처럼 유용한 정보가 전혀 없는 웹 페이지도 포함됩니다. 이러한 저품질 페이지는 식별하여 색인에서 걸러내야 합니다.

Decider를 사용하면 페이지를 크롤링하는 동시에 페이지 품질을 판단할 수 있습니다. 같은 포워드 패스에서 콘텐츠의 도메인과 대상 독자를 식별하고, 유해하거나 불법적인 정보 또는 개인 식별 정보가 포함되어 있는지 판단하는 등 다양한 분류 작업도 함께 수행합니다. LLM 판정 모델(LLM judge)을 사용하는 것과 비교해 Decider는 훨씬 빠르고 저렴합니다.

확대

이러한 내부 활용 외에도 Decider는 다음과 같은 워크플로우에도 적합합니다.

시각 QA

Decider는 이미지를 읽을 수 있으므로 시각 검사 도구로도 활용할 수 있으며, 웹 페이지나 앱의 스타일 변경 사항을 검토하고 결함을 식별합니다. 변경 사항이 배포되기 전에 페이지 스크린샷에서 잘린 텍스트, 겹치는 요소, 깨진 레이아웃을 검토하거나, 디자인이 독자를 오도하거나 브랜드 가이드를 위반할 수 있는 차트를 표시할 수 있습니다.

확대

브라우저 탐색

에이전트는 더 큰 작업 안에서 이루어지는 작은 결정에 Decider를 사용할 수 있습니다. 브라우저 에이전트는 각 단계에서 스크린샷을 보내 페이지 상태와 가능한 각 동작의 예상 결과에 대한 상세 정보를 받을 수 있습니다.

확대

리서치 작업 계획

사용자의 질문은 복잡도가 크게 다를 수 있으며, 답을 찾기 위해 필요한 검색의 깊이도 마찬가지입니다. Decider는 검색을 시작하기 전에 이를 추정할 수 있으므로, 간단한 질문에는 더 적은 리소스를 사용할 수 있습니다.

확대

시작하기

Decider는 확률을 반환합니다. 적절한 결정 임계값은 애플리케이션에 따라 달라집니다. 레이블 빈도와 거짓 양성 및 거짓 음성의 상대적 비용은 사용 사례마다 다릅니다. 따라서 고정된 기준값이 모든 작업에서 똑같이 잘 작동할 것이라고 가정하기보다는, 작지만 대표성 있는 레이블링된 개발 세트에서 임계값을 조정하실 것을 권장합니다.

미묘한 판단, 세부적인 평가 기준, 오류 비용이 큰 워크플로우에는 Decider v1.3을 사용할 것을 권장합니다. 지연 시간과 비용이 주요 제약 조건인 대량 라우팅, 레이블링, 필터링에는 Decider Flash v1.3을 선택하세요. 워크로드의 대표적인 예시로 두 모델을 모두 평가한 다음, 품질, 지연 시간, 예산 요구 사항을 충족하는 모델을 선택하세요.

두 모델 모두 Apache 라이선스에 따라 Hugging Face에서 가중치를 다운로드할 수 있으며, OpenRouter와 Perplexity Decisions API를 통해서도 이용할 수 있습니다.

인용

@online{perplexity2026PerplexityDecider,
  author = {{Perplexity} and Antoine Chaffin and Jonas Golde and Louis Milliken and Sarah Eslami and Markus Krimmel and Nandor Licker and Aleksandr Nikolenko and Ron Heichman and Bo Wang and Jarrod Bryan and Jeremy Yang and Denis Yarats},
  title = {{Perplexity Decider}},
  date = {2026-11-12},
  url = {https://www.perplexity.ai/hub/blog/perplexity-decider}
}