데이터 센터가 기기로 이동합니다

AI 시스템의 올바른 목표는 각 사용자에게 와트당 최고의 토큰 가치를 제공하는 것입니다. 간단해 보이지만, 세 가지 요소가 서로 충돌하기 때문에 쉽지 않습니다.

정확성을 위해서는 가장 뛰어난 모델이 필요하며, 이는 실행 비용이 많이 듭니다. 개인정보 보호를 위해서는 일부 작업이 기기 외부로 절대 유출되어서는 안 됩니다. 비용과 에너지를 고려하면 더 작은 모델로 충분한 작업에 최첨단 모델의 연산 자원을 낭비해서는 안 됩니다. 이 중 하나를 극대화하면서 다른 요소들을 고려하지 않을 수는 없습니다.

이 세 가지 요소의 균형을 맞추는 것은 오케스트레이션의 문제입니다. 그리고 오케스트레이션은 Perplexity가 항상 수행해 온 일입니다.

오늘 우리는 Personal Computer를 위한 다음 단계, 즉 최초의 하이브리드 로컬-서버 추론 오케스트레이터를 발표했습니다. 이는 어떤 작업을 기기에서 실행하고 어떤 작업을 클라우드의 에이전트로 보낼지 판단하여, 작업의 각 부분을 적절한 위치로 자동으로 라우팅합니다.

모델에서 연산 자원까지

Perplexity는 정확하고 출처가 명시된 답변을 생성하기 위해 도구와 소스를 오케스트레이션하는 것으로 시작했습니다. Computer는 이를 수백 개의 에이전트를 제어하는 시스템으로 확장했으며, 20개 이상의 최첨단 모델을 가동하여 각 작업에 맞는 모델을 선택했습니다. 이제 우리는 이와 동일한 개념을 연산 자원 그 자체로 확장할 수 있게 되었습니다. 즉, 어떤 모델을 어디에서, 왜 실행할지를 결정하는 것입니다.

하이브리드 에이전트 추론은 민감한 데이터를 포함하지만 강력한 AI가 필요한 작업에 적합합니다. 재무 기록, 건강 정보, 개인 파일 등이 이에 해당합니다. 컴팩트 모델은 기기에서 로컬로 실행되어 민감한 데이터를 언제 로컬에 유지해야 할지 결정합니다.

반면, 최첨단 모델의 전체 역량이 필요한 작업은 서버에서 실행됩니다. 대부분의 실제 작업은 혼합되어 있으므로, Personal Computer는 이를 분할하고 각 부분을 조정합니다. 로컬과 클라우드 중 하나를 미리 선택하도록 요구하는 도구와 달리, 이 과정은 작업별로 스스로 이루어집니다.

데이터 센터가 곧 기기가 됩니다

수년 동안 더 뛰어난 실리콘은 대부분 더 빠른 앱과 더 긴 배터리 수명을 의미했습니다. 이제 칩이 실제 추론을 수행할 수 있게 되면서 상황이 바뀌었습니다. 로컬 하드웨어가 더 좋을수록 오케스트레이터는 더 많은 작업을 기기 내에 유지할 수 있으며, 서버 자원을 진정으로 필요한 작업에 더 많이 할당할 수 있습니다.

우리는 Intel과 함께 이를 공개했으며, 이 모델에 구애받지 않는 오케스트레이션 시스템은 NVIDIA의 RTX Spark를 포함한 다른 로컬 실리콘에서도 동일하게 작동합니다. 로컬 연산 자원을 확보하기 위한 경쟁이 시작되었습니다. 칩이 발전함에 따라, 진정으로 원활한 오케스트레이션을 위한 에이전트 제어 시스템과 응용 추론 엔지니어링을 갖춘 곳은 Perplexity뿐입니다.

이는 또한 연산 자원 부족 현상을 지켜보는 모든 이들에게 계산의 의미를 변화시킵니다. 민감한 작업과 일상적인 작업이 이미 사용자가 소유한 기기로 이동하면, 이를 처리하기 위해 중앙 집중식 인프라를 구축할 필요가 줄어듭니다. 이는 데이터 주권의 의미도 변화시킵니다. 국가가 데이터 센터를 세우지 않고도 중요한 데이터가 해당 관할 구역 내에 머무를 수 있게 됩니다.

사람들은 통제할 수 없는 데이터 센터에 의존하기보다 자신의 노트북에 데이터 센터를 두기를 원할 것입니다.

효율성을 위한 올바른 아키텍처

이 아키텍처가 Perplexity에 적합한 데에는 이유가 있습니다. 우리의 비즈니스는 항상 정확한 AI를 제공하는 것이었으며, 판매하는 토큰의 수를 최대화하는 것이 아닙니다. 이것이 바로 와트당 가치를 최적화하기 위한 올바른 인센티브입니다. 더 많은 연산 자원을 소비할 때가 아니라, 답변이 정확하고 작업이 완료될 때 우리가 성공하는 것입니다.

하이브리드 AI는 오랫동안 업계의 야망이었습니다. 7월에 출시될 로컬 추론 기능을 갖춘 Personal Computer는 이를 현실로 만드는 첫 번째 제품이며, 연산 자원을 기기와 클라우드 전체에서 지능적으로 오케스트레이션해야 할 대상으로 취급하는 첫 번째 제품입니다.