Orchestrator పరిచయం: ఫ్రాంటియర్ మరియు ఓపెన్-వెయిట్ మోడల్‌ల కోసం ఒకే API

Perplexity Orchestrator ఏకీకృత బిల్లింగ్ మరియు ఫెయిలోవర్‌తో ఫ్రాంటియర్ మరియు ఓపెన్-వెయిట్ మోడల్‌లకు ఒకే APIలో యాక్సెస్‌ను అందిస్తుంది.

An orchestra conductor surrounded by sweeping trails of light against a dark background.

Perplexity మౌలికంగా మల్టీ-మోడల్; ఇది ప్రజలకు తమ పని కోసం తాజా ఫ్రాంటియర్, ఓపెన్-వెయిట్ మోడల్‌లను ఎంచుకునే స్వేచ్ఛను ఇస్తుంది. ఈ మల్టీ-మోడల్ విధానం ప్రతి మోడల్ బలాలను ఉపయోగించుకుంటుంది, ఒక టాస్క్‌కు అత్యంత శక్తివంతమైన మోడల్ అవసరం లేనప్పుడు ఖర్చులను తగ్గించగలదు. తెర వెనుక, మా ఆర్కెస్ట్రేషన్ టెక్నాలజీ ఒకే పనిని పూర్తి చేయడానికి అనేక మోడల్‌లను ఉపయోగించగలదు.

పనితీరు, ఖర్చు మరియు సౌలభ్యం మధ్య సమతుల్యం సాధించడానికి వ్యాపారాలు కూడా ఇదే విధమైన విధానాన్ని అనుసరిస్తున్నాయి. ప్రతి కొత్త మోడల్ విడుదల ఖర్చులను తగ్గించడానికి లేదా నాణ్యతను మెరుగుపరచడానికి ఒక అవకాశాన్ని అందిస్తుంది. ఈ ఒక్క సంవత్సరంలోనే, Anthropic మరియు OpenAI వంటి ల్యాబ్‌లు డజనుకు పైగా కొత్త మోడల్‌లను విడుదల చేశాయి. 100కు పైగా ఓపెన్-వెయిట్ మోడల్‌లు కూడా విడుదలయ్యాయి. దీని వల్ల ప్రతి వర్క్‌లోడ్‌కు బృందాలకు మరిన్ని ఎంపికలు లభిస్తున్నప్పటికీ, వారు నిర్వహించాల్సిన ప్రొవైడర్‌లు, కాంట్రాక్ట్‌లు మరియు ఇన్‌వాయిస్‌ల సంఖ్య కూడా పెరుగుతుంది.

ఈరోజు మేము Perplexity Orchestrator APIని ప్రారంభిస్తున్నాము, దీని ద్వారా ఏ ఒక్క మోడల్‌కూ పరిమితం కాని మా సాంకేతికతను AI అప్లికేషన్‌లను రూపొందిస్తున్న డెవలపర్‌లు మరియు బృందాలకు అందుబాటులోకి తెస్తున్నాము. ఒకే API ద్వారా, బృందాలు సరళమైన, అధిక-వాల్యూమ్ టాస్క్‌లను తక్కువ ఖర్చు గల మోడల్‌లపై రన్ చేయవచ్చు, మరింత క్లిష్టమైన పనుల కోసం మరింత శక్తివంతమైన మోడల్‌లను కేటాయించవచ్చు.

Orchestratorతో, బృందాలు పనితీరు లేదా అప్‌టైమ్ విషయంలో రాజీ పడకుండా AI ఖర్చును తగ్గించి ఒకే చోట కేంద్రీకరించవచ్చు, అలాగే కొత్త మోడల్‌లు విడుదలైన వెంటనే వాటిని స్వీకరించవచ్చు. ప్రతి వర్క్‌లోడ్‌ను ఏ మోడల్ నిర్వహించాలో బృందాలు ఎంచుకోవచ్చు, విశ్వసనీయమైన ఇన్‌ఫరెన్స్‌ను నిర్ధారించడానికి ప్రొవైడర్ రూటింగ్ మరియు ఫెయిలోవర్‌ను Perplexity చూసుకుంటుంది.

Perplexity ప్రొడక్షన్ మోడల్ లేయర్‌పై నిర్మించబడింది

Perplexity ప్రతిరోజూ ప్రొడక్షన్‌లో ఓపెన్-వెయిట్, ఫ్రాంటియర్ మోడల్‌లను రన్ చేస్తుంది. మా మోడల్ లేయర్ 85+ మోడల్‌లు, డజనుకు పైగా ప్రొవైడర్‌లలో వందల మిలియన్ల రిక్వెస్ట్‌లను రూట్ చేస్తుంది.

మోడల్‌ను ఎంచుకోవడం సులభమే, కానీ ప్రొవైడర్‌లు నెమ్మదించినప్పుడు, కెపాసిటీ తగ్గినప్పుడు లేదా ధరలు మార్చినప్పుడు ప్రతి రిక్వెస్ట్‌ను వేగంగా, తక్కువ ఖర్చుతో ఉంచడం అంత సులభం కాదు. ప్రతి టాస్క్‌కు అత్యంత అనువైన మోడల్‌లకు వర్క్‌లోడ్‌లను మార్చడం ద్వారా మేము మా సొంత సర్వింగ్ ఖర్చులను తగ్గించుకున్నాము.

ఆ విధానానికి వెనుక ఉన్న షేర్డ్ ఇన్‌ఫ్రాస్ట్రక్చర్‌కు Orchestrator డెవలపర్‌లకు యాక్సెస్ ఇస్తుంది.

Orchestrator ఆ ఇన్‌ఫరెన్స్ లేయర్‌ను ఒకే API ద్వారా అందుబాటులోకి తెస్తుంది. ఇందులో GLM, Kimi మరియు DeepSeek వంటి ఓపెన్-వెయిట్ మోడల్‌లతో పాటు OpenAI, Anthropic, Google మరియు xAI మోడల్‌లు కూడా ఉన్నాయి. ఓపెన్-వెయిట్ మోడల్‌లను Perplexity నేరుగా లేదా ఇన్‌ఫరెన్స్ భాగస్వాముల ద్వారా అందిస్తుంది.

Orchestrator OpenAI Chat Completions, OpenAI Responses, Anthropic Messages ఫార్మాట్‌లకు సపోర్ట్ చేస్తుంది. బృందాలు తమకు పరిచయమైన సాఫ్ట్‌వేర్ డెవలప్‌మెంట్ కిట్‌లను (SDKలు) ఉపయోగించడం కొనసాగించవచ్చు. చాలా బృందాలకు, ప్రారంభించడానికి API కీ, బేస్ URLను అప్‌డేట్ చేసి, అందుబాటులో ఉన్న మోడల్‌ను ఎంచుకుంటే సరిపోతుంది.

అదనపు ప్లాట్‌ఫారమ్ ఫీజు లేకుండా ఏకీకృత బిల్లింగ్

అనేక ల్యాబ్‌లు, ఇన్ఫరెన్స్ ప్రొవైడర్‌ల మోడల్‌లను రన్ చేయడానికి వేర్వేరు ఖాతాలు, API కీలు, ఒప్పందాలు, సెక్యూరిటీ రివ్యూలు, ఇన్‌వాయిస్‌లు అవసరం కావచ్చు. వారాల్లోనే మారిపోగల మోడల్ మిశ్రమం ఆధారంగా వేర్వేరు వార్షిక కమిట్‌మెంట్‌లు చేయాల్సి కూడా రావచ్చు.

Orchestrator మద్దతు ఉన్న మోడల్‌లను ఒకే వెండర్, ఒకే బిల్లు కిందకు తీసుకువస్తుంది, కాబట్టి బృందాలు ప్రతి ప్రొవైడర్‌తో విడిగా కమిట్‌మెంట్ కోసం చర్చలు జరపకుండానే తమ మోడల్ మిశ్రమాన్ని మార్చుకోవచ్చు. క్రెడిట్స్‌కు అదనంగా ఎలాంటి ప్లాట్‌ఫారమ్ ఫీజు ఉండదు.

బృందాలు API Console ద్వారా వినియోగాన్ని ట్రాక్ చేసి, ఖర్చును కూడా నిర్వహించవచ్చు:

  • వినియోగ నివేదికలు: మోడల్, ప్రాజెక్ట్, API కీ మరియు తేదీ వారీగా విభజించబడిన ఖర్చు
  • API కీలు: ప్రాజెక్ట్ లేదా బృందం వారీగా వినియోగాన్ని ట్రాక్ చేయడానికి వేర్వేరు API కీలు
  • అడ్మిన్ నియంత్రణలు: సంస్థ మోడల్ అనుమతి జాబితాలు, యూజర్ పరిమితులు, ఖర్చు గరిష్ఠ పరిమితులు, కెపాసిటీ రిక్వెస్ట్‌లు

ప్రొవైడర్‌లన్నింటిలో మరింత విశ్వసనీయమైన రిక్వెస్ట్‌లు

అనేక ప్రొవైడర్‌ల ద్వారా అందుబాటులో ఉన్న మోడల్‌లు, ఒక రిక్వెస్ట్‌ను అందించడానికి బృందాలకు ఒకటి కంటే ఎక్కువ మార్గాలను ఇస్తాయి.

Orchestrator ప్రతి ప్రొవైడర్ ఆరోగ్య స్థితి, కెపాసిటీ మరియు లేటెన్సీని ట్రాక్ చేసి, ఉత్తమ పనితీరు కనబరుస్తున్న ప్రొవైడర్‌ల మధ్య ట్రాఫిక్‌ను పంపిణీ చేస్తుంది. ఏదైనా రిక్వెస్ట్ విఫలమైతే, అది అదే మోడల్ యొక్క మరొక డిప్లాయ్‌మెంట్‌పై మళ్లీ ప్రయత్నించగలదు; ఈ విధంగా బృందాలు స్వయంగా లాజిక్‌ను రూపొందించాల్సిన అవసరం లేకుండానే ఫెయిలోవర్‌ను నిర్వహిస్తుంది.

రోజుకు మిలియన్ల కొద్దీ రిక్వెస్ట్‌లను రన్ చేసే బృందాలకు, రిక్వెస్ట్ విజయ రేట్లలో చిన్న తేడా, అంటే 99.0% మరియు 99.99% మధ్య వ్యత్యాసం కూడా, వేలాది రెస్పాన్స్‌లను ప్రభావితం చేయగలదు. Orchestratorతో, బృందాలు ఫెయిలోవర్ కోడ్‌ను స్వయంగా రూపొందించాల్సిన లేదా నిర్వహించాల్సిన అవసరం లేదు.

Orchestratorలో ఒక నెల ప్రొడక్షన్ ట్రాఫిక్‌లో, Perplexity ద్వారా వెళ్లిన Claude మరియు GPT రిక్వెస్ట్‌లు కొలిచిన ఏ ఒక్క ప్రొవైడర్ కంటే కూడా ఎక్కువ విజయ రేట్లను సాధించాయి, అలాగే ప్రొవైడర్ అంతరాయాల సమయంలో రోజువారీ వ్యత్యాసం కూడా తక్కువగా ఉంది.

ప్రివ్యూలో: Routes, Auto effort

ప్రతి మోడల్ ఏ రిక్వెస్ట్‌లను నిర్వహించాలో సాధారణ భాషలో వివరించడానికి, డిఫాల్ట్ మోడల్‌ను సెట్ చేయడానికి Routes బృందాలకు వీలు కల్పిస్తాయి. బృందాలు అంతర్నిర్మిత Lower cost, Balanced, లేదా Higher quality ప్రొఫైల్‌తో ప్రారంభించవచ్చు. లేదా సొంతంగా కస్టమ్ ప్రొఫైల్‌ను రూపొందించుకోవచ్చు. బృందాలు వివరణను అందించకపోతే లేదా లక్ష్యాన్ని నిర్దేశించకపోతే, డిఫాల్ట్ మోడల్ రిక్వెస్ట్‌ను అందిస్తుంది.

ఇది కూడా ప్రివ్యూలో ఉంది: డెవలపర్ నిర్వచించిన పాలసీ ప్రకారం, సపోర్ట్ ఉన్న మోడల్ తన తదుపరి టర్న్‌లో ఎంత రీజనింగ్ ఉపయోగించాలో Auto effort సర్దుబాటు చేస్తుంది. ఒక ఏజెంట్ మోడల్‌లను మార్చకుండానే టూల్ ఎర్రర్ నుండి కోలుకోవడానికి ఎక్కువ ఎఫర్ట్‌ను వెచ్చించవచ్చు.

ఇంటెలిజెంట్ మోడల్ ఆర్కెస్ట్రేషన్‌తో ప్రారంభించండి

తెలివైన మోడల్ ఆర్కెస్ట్రేషన్ కోసం Perplexity API ప్లాట్‌ఫామ్‌లో Orchestrator మొదటి అడుగు. మోడల్ రూటింగ్‌ను సరిగ్గా చేయడం ఎందుకు కష్టమో సహా, మేము Routesను ఎలా నిర్మించి, మూల్యాంకనం చేశామో తెలుసుకోండి.

ప్రారంభించడానికి, API కన్సోల్లో API కీని సృష్టించండి, ఇప్పటికే ఉన్న OpenAI లేదా Anthropic SDKని Orchestrator బేస్ URLకి పాయింట్ చేయండి, ఆపై మోడల్ కేటలాగ్ నుండి ఎంచుకోండి.

క్విక్‌స్టార్ట్ గైడ్ కొన్ని నిమిషాల్లోనే మొదటి రిక్వెస్ట్‌ను ఎలా పంపాలో వివరిస్తుంది. పెద్ద స్థాయి లేదా కమిటెడ్ వర్క్‌లోడ్‌లు ఉన్న బృందాలు వాల్యూమ్ ధరలు మరియు కెపాసిటీ గురించి మరింత సమాచారం కోసం api@perplexity.aiకు ఇమెయిల్ చేయవచ్చు.

ఈరోజే API కీని సృష్టించండి.