Vi introduserer Orchestrator: ett API for frontiermodeller og modeller med åpne vekter
Perplexity Orchestrator gir tilgang til frontiermodeller og modeller med åpne vekter gjennom ett API, med samlet fakturering og failover.

Perplexity er bygget på flere modeller fra grunnen av og gir folk frihet til å velge de nyeste frontiermodellene og modellene med åpne vekter til arbeidet sitt. Denne flermodelltilnærmingen utnytter styrkene til hver modell og kan redusere kostnadene når en oppgave ikke trenger den kraftigste modellen. Bak kulissene kan orkestreringsteknologien vår bruke flere modeller for å fullføre én enkelt jobb.
Bedrifter går fram på lignende måte for å balansere ytelse, kostnad og fleksibilitet. Hver nye modellansering gir en mulighet til å senke kostnadene eller forbedre kvaliteten. Bare i år har AI-laboratorier som Anthropic og OpenAI lansert mer enn et dusin nye modeller. I tillegg har over 100 modeller med åpne vekter blitt lansert. Dette gir team flere alternativer for hver arbeidsmengde, men det gir dem også flere tilbydere, kontrakter og fakturaer å holde styr på.
I dag lanserer vi Perplexity Orchestrator API, som gjør vår modelluavhengige teknologi tilgjengelig for utviklere og team som bygger AI-applikasjoner. Gjennom ett API kan team kjøre enkle oppgaver med høyt volum på rimeligere modeller og reservere kraftigere modeller til mer krevende arbeid.
Med Orchestrator kan team redusere og samle AI-utgiftene sine og ta i bruk nye modeller etter hvert som de lanseres, uten å gå på kompromiss med ytelse eller oppetid. Team kan velge hvilken modell som håndterer hver arbeidsmengde, mens Perplexity tar seg av ruting mellom tilbydere og failover for å sikre pålitelig inferens.
Bygget på modellaget Perplexity bruker i produksjon
Perplexity kjører modeller med åpne vekter og frontiermodeller i produksjon hver dag. Modellsjiktet vårt ruter hundrevis av millioner forespørsler på tvers av over 85 modeller og mer enn et dusin leverandører.
Det er enklere å velge en modell enn å holde hver forespørsel rask og rimelig når leverandører blir tregere, får knapp kapasitet eller endrer priser. Vi har redusert våre egne driftskostnader ved å flytte arbeidsbelastninger til modellene som egner seg best for hver oppgave.
Orchestrator gir utviklere tilgang til den delte infrastrukturen bak denne tilnærmingen.
Orchestrator gjør dette inferenslaget tilgjengelig gjennom ett API. Det omfatter modeller fra OpenAI, Anthropic, Google og xAI, i tillegg til modeller med åpne vekter som GLM, Kimi og DeepSeek. Modeller med åpne vekter kjøres av Perplexity eller via inferenspartnere.
Orchestrator støtter formatene OpenAI Chat Completions, OpenAI Responses og Anthropic Messages. Team kan fortsette å bruke kjente programvareutviklingssett (SDK-er). For de fleste team innebærer oppstarten å oppdatere API-nøkkelen og basis-URL-en og velge en tilgjengelig modell.
Samlet fakturering uten ekstra plattformavgift
Å kjøre modeller fra flere laboratorier og inferensleverandører kan kreve separate kontoer, API-nøkler, kontrakter, sikkerhetsgjennomganger og fakturaer. Det kan også bety separate årlige forpliktelser basert på en modellmiks som kan endre seg i løpet av uker.
Orchestrator samler støttede modeller under én leverandør og én faktura, slik at team kan endre modellmiksen sin uten å forhandle fram en egen forpliktelse med hver tilbyder. Det kommer ingen ekstra plattformavgift i tillegg til kreditter.
Team kan også spore bruk og styre forbruk via API Console:
- Bruksrapportering: Utgifter fordelt på modell, prosjekt, API-nøkkel og dato
- API-nøkler: Separate API-nøkler for å spore bruk per prosjekt eller team
- Administratorkontroller: Tillatelseslister for modeller i organisasjonen, brukerbegrensninger, utgiftstak og kapasitetsforespørsler
Mer pålitelige forespørsler på tvers av tilbydere
Modeller som er tilgjengelige via flere tilbydere, gir team mer enn én måte å betjene en forespørsel på.
Orchestrator overvåker helse, kapasitet og latens hos hver tilbyder for å fordele trafikken på dem som yter best. Hvis en forespørsel mislykkes, kan Orchestrator prøve den på nytt på en annen utrulling av den samme modellen og dermed håndtere failover uten at team må bygge logikken selv.
For team som kjører millioner av forespørsler om dagen, kan selv en liten forskjell i suksessraten for forespørsler, en differanse mellom 99,0 % og 99,99 %, påvirke tusenvis av svar. Med Orchestrator slipper team å bygge eller vedlikeholde failover-kode selv.
I én måneds produksjonstrafikk på Orchestrator hadde Claude- og GPT-forespørsler via Perplexity høyere suksessrate enn noen enkelt tilbyder som ble målt, og mindre daglig variasjon under hendelser hos tilbyderne.
I forhåndsversjon: Routes og Auto effort
Med Routes kan team beskrive på vanlig språk hvilke forespørsler hver modell skal håndtere, og angi en standardmodell. Team kan starte fra en innebygd profil – Lower cost, Balanced eller Higher quality – eller bygge en egendefinert profil. Hvis team ikke oppgir en beskrivelse eller angir et mål, betjenes forespørselen av standardmodellen.
Også i forhåndsversjon justerer Auto effort hvor mye resonnering en støttet modell bruker i neste tur, i henhold til en policy som utvikleren definerer. En agent kan legge mer innsats i å komme seg etter en verktøyfeil uten å bytte modell.
Kom i gang med intelligent modellorkestrering
Orchestrator er det første steget i Perplexitys API-plattform for intelligent modellorkestrering. Les hvordan vi bygde og evaluerte Routes, inkludert hvorfor modellruting er vanskelig å få til.
For å komme i gang oppretter du en API-nøkkel i API Console, peker en eksisterende OpenAI- eller Anthropic-SDK mot basis-URL-en for Orchestrator og velger fra modellkatalogen.
Hurtigstartveiledningen tar deg gjennom en første forespørsel på få minutter. Team med store eller avtalefestede arbeidsmengder kan sende e-post til api@perplexity.ai for mer informasjon om volumpriser og kapasitet.
Opprett en API-nøkkel i dag.