AI-మొదటి సెర్చ్ APIని ఆర్కిటెక్ట్ చేయడం మరియు మూల్యాంకనం చేయడం

ప్రమాణపర్యవేక్షక, AI-ఫార్వర్డ్ సెర్చ్ APIని నిర్మించడం అనేది సమాచార పునరుద్ధరణ, AI మరియు సిస్టమ్ డిజైన్ రంగాల ఖండనలో ప్రత్యేకమైన పరిశోధన సవాళ్లను అందిస్తుంది. పరిమిత డేటాపై పనిచేసే సాంప్రదాయ సేవల వలె కాకుండా, సెర్చ్ API బిలియన్ల కొద్దీ డాక్యుమెంట్‌లను నిరంతరం ఇండెక్స్ చేయాలి, భాషలు మరియు డొమైన్‌లలో క్వెరీ ఉద్దేశాన్ని అర్థం చేసుకోవాలి మరియు మిల్లీసెకన్లలో సంబంధిత ఫలితాలను అందించాలి. AI ఏజెంట్ల ప్రపంచంలో, డెవలపర్‌ల మోడళ్లకు అందించబడిన సందర్భాన్ని (context) సెర్చ్ API కూడా జాగ్రత్తగా క్యూరేట్ చేయాలి, తద్వారా ఆ మోడల్‌లు అత్యుత్తమంగా పని చేస్తాయని మరియు అత్యంత కచ్చితమైన సమాచారాన్ని పొందుపరుస్తాయని నిర్ధారించుకోవాలి. సమర్థవంతమైన కాంటెక్స్ట్ ఇంజనీరింగ్‌కు API డాక్యుమెంట్-స్థాయి సంబంధితతను క్యాప్చర్ చేయడమే కాకుండా, డాక్యుమెంట్‌ల వ్యక్తిగత విభాగాలు మరియు స్పాన్‌లను వాటి స్వంత హక్కులో ప్రథమ-తరగతి యూనిట్లుగా పరిగణించడం అవసరం.

ఈ కథనంలో, మేము Perplexity సెర్చ్ API యొక్క డిజైన్ మరియు మూల్యాంకనాన్ని అందిస్తున్నాము. రోజువారీ 200 మిలియన్ల క్వెరీలను ప్రాసెస్ చేసే మా ప్రొడక్షన్ సెర్చ్ ఇన్‌ఫ్రాస్ట్రక్చర్ వెనుక ఉన్న ఆర్కిటెక్చర్ మరియు కీలకమైన సాంకేతిక నిర్ణయాలను మేము ముందుగా అన్వేషిస్తాము. మా ఆర్కిటెక్చర్ హైబ్రిడ్ రిట్రీవల్ మెకానిజమ్‌లు, మల్టీ-స్టేజ్ ర్యాంకింగ్ పైప్‌లైన్‌లు, డిస్ట్రిబ్యూటెడ్ ఇండెక్సింగ్ మరియు స్వీయ-మెరుగుపరుచుకునే కంటెంట్ అండర్‌స్టాండింగ్ మాడ్యూల్ ద్వారా డైనమిక్ పార్సింగ్‌ను మిళితం చేస్తుంది.

కొత్తగా ఓపెన్-సోర్స్ చేయబడిన మూల్యాంకన ఫ్రేమ్‌వర్క్ ద్వారా సెర్చ్ API పనితీరును అనుభవపూర్వకంగా అంచనా వేసే మా విధానాన్ని మేము వివరిస్తాము. ఇప్పటికే ఉన్న కమర్షియల్ APIలతో పాటు సమగ్ర బెంచ్‌మార్కింగ్ ద్వారా, మేము నాణ్యత మరియు లేటెన్సీ రెండింటిలోనూ అత్యాధునిక పనితీరును ప్రదర్శిస్తాము. Perplexity సెర్చ్ API ఈ రోజు నుండి ప్రపంచవ్యాప్తంగా ఉన్న డెవలపర్‌లకు అందుబాటులో ఉంది.

[GitHubలో search_evals కనుగొనండి]

AI మోడల్‌ల కోసం ఆప్టిమైజ్ చేయబడిన సెర్చ్ సిస్టమ్‌ను నిర్మించడం

మేము స్థాపించబడినప్పటి నుండి, మేము షిప్ చేయాలనుకుంటున్న కేటగిరీ-నిర్వచించే AI ఉత్పత్తులను ప్రారంభించడానికి బలమైన సెర్చ్ సామర్థ్యాలు కీలకం అని మేము అర్థం చేసుకున్నాము. మొదట్లో, ఈ సామర్థ్యాలు పబ్లిక్‌గా అందుబాటులో ఉన్న రూపంలో ఇప్పటికే ఉన్నాయని మేము ఆశించాము. 2022 చివరలో అందుబాటులో ఉన్న సెర్చ్ APIల పోర్ట్‌ఫోలియాతో మేము ప్రయోగాలు చేసాము, మరియు Perplexity యొక్క ఆన్సర్ ఇంజిన్ యొక్క మొట్టమొదటి వెర్షన్ వాస్తవానికి ఈ ఆఫరింగ్‌లలో కొన్నింటిని పొందుపరిచింది. ప్రత్యేకించి, మేము వినియోగదారు క్వెరీలను విశ్లేషిస్తాము, ఈ APIలకు అభ్యర్థనలను రూపొందించి పంపుతాము మరియు మా డౌన్‌స్ట్రీమ్ జనరేషన్ పైప్‌లైన్ కోసం సందర్భం (context) వలె ఫలితాలను సేకరిస్తాము.

అయినప్పటికీ, వినియోగదారులు Perplexity వైపు తరలివచ్చినప్పుడు, ఈ APIలు మా వృద్ధితో పాటు స్కేల్ కావు అని మేము త్వరగా గ్రహించాము. మేము ఎదుర్కొన్న ధరలు అత్యధికంగా ఉన్నాయి, ఒక ప్రముఖ API ప్రొవైడర్ వేయి క్వెరీలకు $200 వసూలు చేస్తోంది. కానీ మరింత ఘోరంగా, ఈ లెగసీ APIలు సరికొత్త ఫ్రాంటియర్ AI సిస్టమ్‌లు ప్రవేశపెట్టిన కొత్త రిట్రీవల్ పారాడిమ్‌ల కోసం రూపొందించబడలేదు.

విస్తరించు

ప్రారంభంలో, ఈ లెగసీ APIల అభ్యర్థన మరియు ప్రతిస్పందన ఫార్మాట్‌లు మానవులు మాత్రమే సెర్చ్ ఫలితాలను వినియోగించే ప్రపంచం కోసం రూపొందించబడ్డాయి. ఫలితంగా, ఈ APIలు సబ్-డాక్యుమెంట్ యూనిట్ల ద్వారా వెల్లడయ్యే మరింత సూక్ష్మమైన సమాచారాన్ని మినహాయించి, డాక్యుమెంట్-స్థాయి ఫలితాలకు ప్రాధాన్యతనిచ్చాయి. AI మోడల్ యొక్క విజయం అందించిన సందర్భం యొక్క నాణ్యత మరియు కాంపాక్ట్‌నెస్‌పై ఆధారపడి ఉంటుంది, మరియు తిరిగి పొందిన డాక్యుమెంట్‌లు మొత్తం మీద ఎంత సంబంధితంగా అనిపించినప్పటికీ, ఓవర్‌బ్రాడ్ రిట్రీవల్ AI మోడళ్లను ఎలా పట్టాలు తప్పించవచ్చో మేము ప్రత్యక్షంగా చూశాము. సరికాని ఫలితాలపై కచ్చితత్వాన్ని బలవంతంగా రుద్దడానికి మా ప్రయత్నాలు పరిమిత విజయాలను మాత్రమే సాధించాయి.

లెగసీ APIలు చాలా పాతవిగా లేదా చాలా నెమ్మదిగా ఉన్నాయని కూడా మేము గమనించాము. స్వతంత్రంగా అభివృద్ధి చేయబడిన సెర్చ్ APIలు అసంపూర్ణంగా మరియు చాలా అరుదుగా అప్‌డేట్ చేయబడిన ఇండెక్స్‌లపై ఆధారపడ్డాయి. Google సెర్చ్ కోసం వివిధ అనధికారిక SERP APIల వంటి స్క్రాపింగ్-ఆధారిత APIలు, మరింత సమగ్రమైన ఇండెక్స్ నుండి ప్రయోజనం పొందాయి కానీ థర్డ్-పార్టీ సెర్చ్ ఇంజిన్‌ను క్వెరీ చేయడంలో అంతర్గతంగా ఉండే అసమర్థత కారణంగా ఆమోదయోగ్యం కాని అధిక లేటెన్సీని అందించాయి. అధిక లేటెన్సీ APIలను వినియోగదారు-కేంద్రీకృత అప్లికేషన్‌లకు అనుకూలత లేకుండా చేసింది, అయితే పాతబడిపోవడం వలన కచ్చితమైన మరియు విశ్వసనీయమైనదిగా ఉండాలని ఆశించే ఏ AI సిస్టమ్‌కైనా ఫలితాల సెట్‌లను నిరుపయోగంగా మార్చింది.

చివరగా, లెగసీ API లు లెక్సికల్ సెర్చ్ మరియు సెమాంటిక్ సెర్చ్ మధ్య రెండుగా చీలిపోవడాన్ని మేము గమనించాము, ఒక మోడాలిటీకి అనుకూలంగా మరొకటి ఓవర్‌-ఆప్టిమైజ్ చేయబడిన సిస్టమ్‌లు ఉద్భవించాయి. సరళమైన బూలియన్ ఫిల్టర్‌లకు కూడా తగిన విధంగా మద్దతు ఇవ్వని వెక్టర్ డేటాబేస్‌ల పెరుగుదలను మేము చూశాము. సాంప్రదాయ సెర్చ్ బ్యాకెండ్‌లు కూడా మెరుగ్గా ఏమీ లేవు, AI ద్వారా అన్‌లాక్ చేయబడిన సెమాంటిక్ ర్యాంకింగ్ మరియు రిట్రీవల్ అవకాశాలకు ప్రిమిటివ్ సపోర్ట్‌ను కలిగి ఉన్నాయి.

Perplexityని మరింత మెరుగ్గా చేయడం ద్వారా మా స్వంత అంకితమైన సెర్చ్ ఇన్‌ఫ్రాస్ట్రక్చర్‌ను నిర్మించడం అవసరమని మేము గ్రహించినప్పుడు, మేము మా పరిశీలనలను మూడు కీలక ప్రమాగాలుగా క్రోడీకరించాము:

సమగ్రత, తాజాదనం మరియు వేగం: సెర్చ్ ఇండెక్స్ సమగ్రంగా, నిరంతరం అప్‌డేట్ చేయబడినదిగా మరియు రియల్-టైమ్ లేటెన్సీ కోసం ఇంజనీర్ చేయబడినదిగా ఉండాలి.

ఫైన్-గ్రెయిన్డ్ కంటెంట్ అవగాహన: AI మోడల్ పెళుసుదనం మరియు పరిమిత సందర్భ విండోల (context windows) కారణంగా సెర్చ్ ఫలితాలు సాధ్యమైనంత అత్యంత గ్రాన్యులర్ స్థాయిలో ప్రదర్శించబడాలి మరియు ర్యాంక్ చేయబడాలి.

హైబ్రిడ్ రిట్రీవల్ మరియు ర్యాంకింగ్: ఫలితాలు AIకి ఉపయోగకరంగా ఉండాలంటే రిట్రీవల్ మరియు ర్యాంకింగ్ పైప్‌లైన్‌లు రెండూ లెక్సికల్ మరియు సెమాంటిక్ సిగ్నల్‌లను పొందుపరచాలి.

విస్తరించు

క్రాలింగ్ మరియు ఇండెక్సింగ్ ఇన్‌ఫ్రాస్ట్రక్చర్

Perplexity స్థాయిలో పనిచేయడానికి వెబ్‌ను సమగ్రంగా మ్యాప్ చేయగల మరియు దాని స్థిరమైన పరిణామానికి ప్రతిస్పందించగల ఇన్‌ఫ్రాస్ట్రక్చర్ అవసరం. మా సెర్చ్ ఇండెక్స్ 200 బిలియన్లకు పైగా ప్రత్యేకమైన URLలను ట్రాక్ చేస్తుంది, మరియు అనేక వందల బిలియన్ల URLలను ట్రాక్ చేసే సామర్థ్యాన్ని కలిగి ఉంది.

మా ఇండెక్స్ ఇంటర్నెట్ యొక్క తగినంత సమగ్రమైన భాగాన్ని కవర్ చేస్తుందని మరియు ప్రతి డాక్యుమెంట్ తాజా స్థితిని ప్రతిబింబిస్తుందని నిర్ధారించడం ఒక కష్టమైన సాహసం. సమగ్రత మరియు తాజాదనం మధ్య అంతర్గత ఉద్రిక్తత ఉంది: ఒక నిర్దిష్ట ఇండెక్సింగ్ బడ్జెట్ కోసం, ఇప్పటికే ఉన్న పేజీల రిఫ్రెష్ ఆపరేషన్‌లు కొత్తగా సందర్శించని పేజీల ఇండెక్సింగ్ ఆపరేషన్‌లతో పోటీ పడాలి. స్కేలింగ్ (ఇండెక్సింగ్ బడ్జెట్‌ను పెంచడం ద్వారా ఆప్టిమైజేషన్ నిబంధనను సడలిస్తుంది) మరియు ML-ఆధారిత ప్రాధాన్యత (ప్రతి ఇండెక్సింగ్ ఆపరేషన్ మొత్తంగా ఇండెక్స్‌కు గరిష్టంగా విలువైనదని నిర్ధారిస్తుంది) కలయిక ద్వారా మేము ఈ ఉద్రిక్తతను సమతుల్యం చేస్తాము.

మేము పరిమాణం మరియు క్వెరీ వాల్యూమ్ రెండింటితో సమాంతరంగా స్కేల్ అయ్యే ఎక్సాబైట్-స్థాయి ఇండెక్స్ మరియు క్రాలింగ్ ఉపకరణాన్ని నిర్మించాము. Perplexity యొక్క క్రీలర్ మరియు ఇండెక్సింగ్ ఫ్లీట్‌లు సమిష్టిగా పదివేల CPUలను మరియు వందల టెరాబైట్ల RAMను కలిగి ఉన్నాయి, ఇంకా స్కేలింగ్ చేయడానికి గణనీయమైన హెడ్‌రూమ్ ఉంది. మేము ఈ కంప్యూట్ ఇన్‌ఫ్రాస్ట్రక్చర్‌ను కోల్డ్ మరియు వార్మ్ స్టోరేజ్ బ్యాలెన్స్‌తో మిళితం చేస్తాము. ఏ డాక్యుమెంట్‌లను హాట్‌గా ఉంచాలో నిర్ణయించడానికి మేము నేర్చుకున్న మోడల్స్ మరియు ట్యూన్ చేసిన హెూరిస్టిక్స్ రెండింటిని ఉపయోగిస్తాము, అధికారిక డొమైన్‌ల నుండి డాక్యుమెంట్‌లు, తక్కువగా కవర్ చేయబడిన అంశాలతో కూడిన డాక్యుమెంట్‌లు మరియు మా ఇండెక్స్‌ను సుసంపన్నం చేయడానికి అధిక సంభావ్యత కలిగిన ఇతర వర్గాలకు ప్రాధాన్యత ఇస్తాము.

ఈ మౌలిక సదుపాయం Perplexityకి సెకనుకు పదివేలల ఇండెక్సింగ్ ఆపరేషన్లను ప్రాసెస్ చేయడానికి వీలు కల్పిస్తుంది. అయితే ఈ తులనాత్మకంగా ఉదారమైన బడ్జెట్‌తో కూడా, ఇంటర్నెట్‌ పరిమాణం ప్రతీ ఒక్క URLను తరచూ మరియు పునరావృతంగా ఇండెక్స్ చేయడానికి చాలా విస్తృతంగా ఉంది. ఇక్కడే ML రంగంలోకి వస్తుంది. ఏదైనా నిర్దిష్ట అభ్యర్థి URLను ఇండెక్స్ చేయాల్సిన అవసరం ఉందో లేదో అంచనా వేయడానికి మేము ఒక ML మోడల్‌ను శిక్షణ ఇస్తాము. శిక్షణ లక్ష్యం, ఆ నిర్దిష్ట URL యొక్క ప్రాముఖ్యత మరియు దాని సంభావ్య నవీకరణ తరచుదనం రెండింటికీ అనుగుణంగా మా ఇండెక్సింగ్ నిర్ణయాన్ని సర్దుబాటు చేసేలా రూపుదిద్దబడింది. ఇండెక్సింగ్ ఆపరేషన్‌ను ఖచ్చితంగా ఎప్పుడు షెడ్యూల్ చేయాలో చెప్పడానికి కూడా మేము MLపై ఆధారపడతాము. సాధారణ ప్రచురణ మరియు రిఫ్రెష్ చక్రాలున్న సైట్లకు, దీనివల్ల ఆపరేషన్లను అవి అత్యంత ఉపయోగకరంగా ఉండే సమయానికి వాయిదా వేయగలుగుతాము. ఈ ML మోడళ్లను నిరంతరం మెరుగుపరచడం ద్వారా, సంపూర్ణత మరియు తాజాదనం రెండింటిలోనూ ప్రమాణాలను చేరుకునే ఒక ఇండెక్స్‌ను మేము నిర్వహించగలుగుతున్నాం.

మా క్రాలింగ్ మౌలిక సదుపాయం సులభంగా సమాంతరంగా విస్తరించగలిగినప్పటికీ, వెబ్‌సైట్ ఆపరేటర్లు విభిన్న సాంకేతిక పరిమితులను ఎదుర్కొంటారని మాకు తెలుసు. ఏదైనా నిర్దిష్ట డొమైన్‌కు పంపే అభ్యర్థనల రేటును అంచనా వేసేలా, నిర్వహించదగినట్లుగా ఉంచడంలో మేము జాగ్రత్త వహిస్తాము. మా సెర్చ్ క్రాలర్ అయిన PerplexityBot, robots.txt ఫైళ్లలో స్పష్టంగా పేర్కొన్న పరిమితులను, లేదా డొమైన్-నిర్దిష్ట పరిమితులు లేకపోతే, అభ్యర్థనల రేట్లకు సంబంధించిన పరిశ్రమ-ప్రామాణిక నిబంధనలను పాటిస్తుంది. సైట్ అందుబాటులో లేనట్లు గుర్తించినప్పుడు, మా క్రాలింగ్ ప్రవర్తనను కూడా సర్దుబాటు చేస్తాము. ఈ పరిమితులను దశలవారీగా కాదు, అనేక పదివేల సమకాలీన ఆపరేషన్లలో కూడా అమలు చేసేలా మా పంపిణీ వ్యవస్థ రూపకల్పన చేయబడింది.

ఇంటర్నెట్ స్థాయిలో స్వీయ-మెరుగుపరుచుకునే కంటెంట్ అవగాహన

గ్రహం మీద అతిపెద్ద మరియు అత్యంత తాజా సెర్చ్ ఇండెక్స్‌లలో ఒకటి ఉన్నప్పటికీ, ప్రతి క్వెరీ యొక్క ఫలిత నాణ్యత ప్రతి డాక్యుమెంట్ యొక్క కంటెంట్‌పై మా సిస్టమ్ అవగాహనపై ఆధారపడి ఉంటుంది. ఇక్కడ, మేము ఒక ప్రాథమిక సవాలును ఎదుర్కొంటాము: వెబ్ ఒక గందరగోళ ప్రదేశం. మొత్తం ఇంటర్నెట్‌లో కనిపించే అంతులేని లేఅవుట్‌లు, స్ట్రక్చర్‌లు మరియు స్టైల్‌ల వైవిధ్యాన్ని ఏ నిశ్చిత పార్సింగ్ నియమాల సెట్ కూడా నిర్వహించలేదు.

మా కంటెంట్ అర్థం చేసుకునే మాడ్యూల్‌ను అభివృద్ధి చేసి ఈ సవాలను మేము పరిష్కరించాము; ఇది వెబ్‌సైట్‌లను విశ్లేషించి, డైనమిక్ రూల్‌సెట్‌లను ఉపయోగించి అర్థపరంగా ముఖ్యమైన కంటెంట్‌ను వెలికితీస్తుంది. జాబితా లేదా పట్టిక రూపంలో బాగా నిర్మిత డేటా ఎక్కువగా ఉన్న వెబ్‌సైట్‌కు మరింత సూత్రీకృతమైన పార్సింగ్ మరియు ఎక్స్‌ట్రాక్షన్ నియమాలు ఉపయోగకరంగా ఉండవచ్చు; మరోవైపు ప్రధానంగా స్వేచ్ఛా రూపంలోని యూజర్-సృష్టిత కంటెంట్‌ను ప్రదర్శించే వెబ్‌సైట్‌కు మరింత సడలించిన రూల్‌సెట్ అవసరం కావచ్చు. వెబ్ ఎక్కువగా స్వల్ప కాలవ్యవధుల్లో స్థిరంగానే ఉండటంతో, ఒక నిర్దిష్ట నియమం జీవనకాలం తులనాత్మకంగా పొడవుగా ఉంటుందని మేము గమనిస్తున్నాం. కానీ సైట్లు కాలక్రమేణా మారుతూ ఉండటం వలన, అలాగే సమాచారాన్ని వెలికితీయడానికి ఉత్తమ మార్గాలపై మేము మరింత నేర్చుకుంటూ ఉండటంతో, మా రూల్‌సెట్‌లకు నిరంతర సంరక్షణ కూడా అవసరం అవుతుంది.

ఈ డైనమిక్ అనుసరణను సులభతరం చేయడానికి, మేము (ఖచ్చితంగా) AI వైపు మొగ్గు చూపుతాము. Perplexity స్థాయిలో, మిలియన్ల కొద్దీ వినియోగదారు క్వెరీలను ప్రతి గంటకు అందించే క్రమంలో మేము వెబ్ యొక్క అద్భుతమైన రిచ్ క్రాస్-సెక్షన్‌ను గమనిస్తాము. ఇది ఇటరేటివ్ స్వీయ-మెరుగుదల లూప్ కోసం పునాదిని ఏర్పరుస్తుంది. మా క్వెరీ యూనివర్స్‌లో మా ప్రస్తుత రూల్‌సెట్‌ల పార్సింగ్ ప్రవర్తన మరియు సంగ్రహించబడిన అవుట్‌పుట్‌లను మేము గమనిస్తాము. మేము రెండు ప్రాథమిక డైమెన్షన్‌లలో పనితీరును అంచనా వేయడానికి ఫ్రాంటియర్ LLMలను ఉపయోగిస్తాము:

సమగ్రత: సమాచార రహితమైన లేదా అర్థం లేని విషయాల యొక్క స్పూరియస్ ఎక్స్‌ట్రాక్షన్‌ను నివారించేటప్పుడు, మా ఇండెక్స్ వీలైనంత ఎక్కువ సెమాంటికంగా అర్థవంతమైన కంటెంట్‌ను స్వీకరించాలి.

నాణ్యత: మా ఇండెక్స్ సబ్జెక్ట్ మరియు ఫార్మ్ రెండింటిలోనూ అధిక నాణ్యత గల కంటెంట్‌పై ఆధారపడి ఉంటుంది. అసలు కంటెంట్ స్ట్రక్చర్ మరియు లేఅవుట్‌ను సంరక్షించే పద్ధతిలో సమాచారం క్యాప్చర్ చేయబడాలి.

సంపూర్ణత మరియు నాణ్యత మధ్య మరో అంతర్గత ఉద్రిక్తత ఉందని గమనించండి: నాణ్యత కోసం చేతితో ఆప్టిమైజ్ చేయడం సాధ్యం, కానీ ఫలితంగా వచ్చే పార్సింగ్ నియమాలు కీలక కంటెంట్‌ను పట్టుకోకపోవచ్చు. అదేవిధంగా, మౌలిక కంటెంట్‌పై కనిష్ట ఫిల్టరింగ్ మాత్రమే వర్తించేలా అనుమతించే నియమాలను మేము చేతితో కోడ్ చేయవచ్చు, ఇది సంపూర్ణతను మెరుగుపరచవచ్చు కానీ నాణ్యత ఖర్చుపై. అందుకే, ఒక డొమైన్‌కు అనుగుణంగా ఒకేసారి రెండింటినీ ఆప్టిమైజ్ చేయగల విధంగా మా రూల్‌సెట్‌ను అభివృద్ధి చేయడానికి మేము AI-ఆధారిత స్వీయ-మెరుగుదలను ఆశ్రయిస్తున్నాం.

నిర్దిష్టంగా చెప్పాలంటే, పార్సింగ్ పనితీరు యొక్క ప్రతి LLM-ఆధారిత అంచనా తర్వాత, అత్యంత ముఖ్యమైన ఎర్రర్ క్లాస్‌లను పరిష్కరించడానికి మా సిస్టమ్ ప్రతిపాదిత రూల్‌సెట్ మార్పుల సట్‌ను రూపొందిస్తుంది. ఈ రూల్‌సెట్‌లు తదుపరి ధృవీకరణకు లోనవుతాయి, ఆ తర్వాత మేము మా ఇండెక్సర్‌కు కొత్త వెర్షన్‌ను డిప్లాయ్ చేస్తాము. పార్సింగ్ మరియు ఎక్స్‌ట్రాక్షన్ లాజిక్‌లో మెరుగుదలలు భవిష్యత్ ఇండెక్సింగ్ ఆపరేషన్‌లకు మాత్రమే ప్రయోజనం చేకూరుస్తాయని ఇచ్చినప్పుడు, ML-ఆప్టిమైజ్ చేయబడిన రీ-ఇండెక్సింగ్‌లో మా పెట్టుబడులు ప్రత్యేకంగా ముఖ్యం: ఈ లాజిక్ యొక్క తాజా వెర్షన్‌ను ఉపయోగించి హై-ట్రాఫిక్ డాక్యుమెంట్‌లను నిరంతరం రిఫ్రెష్ చేయడం గట్టి స్వీయ-మెరుగుదల లూప్‌ను నిర్ధారిస్తుంది.

బేస్‌లైన్ పార్సింగ్ పనితీరుకు మాత్రమే కాకుండా సబ్-డాక్యుమెంట్ యూనిట్లుగా విభజించడానికి కూడా ఈ నియమాలు ముఖ్యం. ఫ్రాంటియర్ LLMల విషయానికి వస్తే, ప్రతి టోకెన్ సందర్భం (context) అమూల్యమైనది. సందర్భ పరిమాణం పెరగడంతో మరియు అసంబద్ధమైన సమాచారంతో సందర్భం కలుషితం కావడంతో LLM పనితీరు ఎలా క్షీణిస్తుందో మునుపటి పని యొక్క పెద్ద శరీరం డాక్యుమెంట్ చేసింది. బాగా నిర్మాణాత్మకమైన, సమగ్రమైన పార్సింగ్‌ను కలిగి ఉండటం వల్ల డాక్యుమెంట్‌లను స్వీయ-నియంత్రిత స్పాన్‌లుగా విభజించడానికి మాకు అనుమతిస్తుంది, వీటిలో ప్రతి ఒక్కటి క్వెరీ సమయంలో వ్యక్తిగతంగా తిరిగి పొందబడతాయి మరియు ర్యాంక్ చేయబడతాయి.

రిట్రీవల్ మరియు ర్యాంకింగ్ పైప్‌లైన్

ఆధునిక సెర్చ్ అనేది గట్టి లేటెన్సీ బడ్జెట్ కింద సమగ్రత మరియు సంబంధితత రెండింటినీ నిర్ధారించడం అవసరం. Perplexity యొక్క రిట్రీవల్ మరియు ర్యాంకింగ్ పైప్‌లైన్ క్రమంగా మరింత అధునాతన మాడ్యూళ్ల శ్రేణితో ఫలితాలను మెరుగుపరిచే మల్టీ-స్టేజ్ ఆర్కిటెక్చర్ ద్వారా దీనిని సాధిస్తుంది. సాధ్యమయ్యే బాటిల్‌నెక్‌లను సాధ్యమైనంత గరిష్ట స్థాయిలో హారిజాంటల్‌గా స్కేల్ చేయడం ద్వారా మేము పరిష్కరిస్తాము.

పైప్‌లైన్ మా ఇండెక్స్ నుండి రిట్రీవల్‌తో ప్రారంభమవుతుంది. మేము లెక్సికల్ మరియు సెమాంటిక్ రిట్రీవల్ మధ్య ఎంపికను బలవంతం చేయము. బదులుగా, మేము రెండు మోడాలిటీల ద్వారా సెర్చ్ ఇండెక్స్‌ను క్వెరీ చేస్తాము మరియు ఫలితాలను హైబ్రిడ్ క్యాండిడేట్ సెట్‌గా విలీనం చేస్తాము. ఈ దశలో, ప్రాధాన్యత కచ్చితత్వం కంటే సమగ్రత - పైప్‌లైన్ యొక్క తదుపరి దశలు కచ్చితత్వం కోసం ఆప్టిమైజ్ చేయబడతాయి.

పైప్‌లైన్ ప్రి-ఫిల్టరింగ్ దశలతో కొనసాగుతుంది, దీనిలో మేము క్యాండిడేట్ సెట్ నుండి స్పష్టంగా ప్రతిస్పందించని లేదా పాత కంటెంట్‌ను తొలగించడానికి ప్రాథమిక హెూరిస్టిక్స్ మరియు మొదటి-కట్ ఫిల్టర్‌లను వర్తింపజేస్తాము.

మేము అప్పుడు క్రమంగా అధునాతన ర్యాంకింగ్ యొక్క బహుళ దశలను ఉద్యోగిస్తాము. మునుపటి దశలు వేగం కోసం ఆప్టిమైజ్ చేయబడిన లెక్సికల్ మరియు ఎంబెడ్డింగ్-ఆధారిత స్కోరర్‌లపై ఆధారపడతాయి. క్యాండిడేట్ సెట్ క్రమంగా తగ్గించబడినందున, ఫలితాల సెట్ యొక్క తుది శిల్పాన్ని నిర్వహించడానికి మేము మరింత శక్తివంతమైన క్రాస్-ఎన్‌కోడర్ రీ-ర్యాంకర్ మోడళ్లను ఉపయోగిస్తాము. ఇన్‌ఫరెన్స్ పనితీరులో మా అనేక పెట్టుబడులకు ధన్యవాదాలు, మొత్తం ర్యాంకింగ్ లేటెన్సీని తక్కువగా ఉంచుతూ ఈ తరువాతి దశల కోసం అత్యాధునిక మోడల్ ఆర్కిటెక్చర్‌లను ఉపయోగించుకోగలుగుతున్నాము.

ఈ పైప్‌లైన్ అంతటా, మేము డాక్యుమెంట్ మరియు సబ్-డాక్యుమెంట్ స్థాయిలలో ఫలితాలను తిరిగి పొందుతాము మరియు స్కోర్ చేస్తాము. పైన చర్చించినట్లుగా, AIకి జాగ్రత్తగా కాంటెక్స్ట్ ఇంజనీరింగ్ అవసరం. మా పైప్‌లైన్ మోడల్‌కు సాధ్యమైనంత అత్యంత అటామిక్ యూనిట్లను అందించడానికి రూపొందించబడింది, తద్వారా డౌన్‌స్ట్రీమ్ కన్స్యూమర్‌లు మూల డాక్యుమెంట్‌లలోని ఇతర ప్రదేశాల నుండి అసంబద్ధమైన సందర్భాన్ని లాగకుండా ఆ ఖచ్చితమైన యూనిట్లను పొందుపరచగలరు.

ఈ పైప్‌లైన్ యొక్క ప్రతి దశలోనూ అధిక నాణ్యతను నిర్ధారించడం Perplexity యొక్క ఉత్పత్తుల పోర్ట్‌ఫోలియాతో సహ-రూపకల్పన ద్వారా మాత్రమే సాధ్యమవుతుంది. ర్యాంకింగ్ స్టాక్ యొక్క ప్రతి వివరాలు రోజులో ప్రతి గంటకు మేము అందించే మిలియన్ల కొద్దీ వినియోగదారు అభ్యర్థనల ద్వారా ఉత్పత్తి చేయబడిన రిచ్ సిగ్నల్‌ను ఉపయోగించుకోవడానికి రూపొందించబడ్డాయి. ఈ సిగ్నల్‌లో అత్యధిక భాగం ఆటోమేట్ చేయబడింది, ఉత్పత్తి చేయబడిన ప్రతి Perplexity సమాధానం లైవ్ ఏజెంట్ వర్క్‌ఫ్లోలో ఉపయోగించిన సెర్చ్ నాణ్యతపై అనుభవపూర్వక డాటాపాయింట్‌ను అందిస్తుంది. మా మాన్యువల్‌గా నిర్మించిన డెటాసెట్ అందించగల దానికంటే మించి మా ఎంబెడ్డింగ్ మరియు ర్యాంకింగ్ మోడళ్ల కోసం శిక్షణ డేటాను సుసంపన్నం చేయడానికి మేము AI-డ్రైవెన్ మూల్యాంకనాలను లైవ్ మానవ ఫీడ్‌బ్యాక్‌తో మిళితం చేస్తాము.

సెర్చ్ మరియు ప్రొడక్ట్ మధ్య ఈ సినర్జీ Perplexityకి ప్రత్యేకమైనది. లెగసీ సెర్చ్ ఇంజిన్‌లు బ్లూ-లింక్ టెలిమెట్రీ అందించే స్థూల సిగ్నల్‌కు పరిమితం చేయబడ్డాయి. కొత్త సెర్చ్ ఆఫరింగ్‌లు ఈ AI-ఫార్వర్డ్ కాన్సెప్ట్‌లలో కొన్నింటిని అమలు చేయడానికి ప్రయత్నించాయి, కానీ సెర్చ్ నాణ్యతను ధృవీకరించగల మరియు వేగవంతమైన మెరుగుదల లూప్‌లకు అవసరమైన సిగ్నల్ సమృద్ధిని అందించగల వాస్తవ ప్రపంచ వాతావరణాలు వాటికి లేవు. మాకు తప్పిపోయిన పదార్థం ఉండటం అదృష్టం: సెర్చ్ నాణ్యత కోసం ఒక లైవ్ ప్రూవింగ్ గ్రౌండ్, ఫ్రాంటియర్ LLMల ద్వారా శక్తిని పొందింది మరియు ప్రపంచవ్యాప్తంగా ఉన్న మిలియన్ల కొద్దీ ఆసక్తిగల వినియోగదారులచే నిరంతరం యుద్ధ-పరీక్ష చేయబడింది.

నాణ్యత మరియు పనితీరు కోసం కొత్త సరిహద్దును ఏర్పాటు చేయడం

ప్రపంచవ్యాప్తంగా ఉన్న డెవలపర్‌లకు మా సెర్చ్ ఇన్‌ఫ్రాస్ట్రక్చర్‌ను అందుబాటులోకి తెచ్చేందుకు Perplexity Search API మరియు SDKని నిర్మించిన తర్వాత, వాస్తవ ప్రపంచ AI ఉపయోగ సందర్భాలలో వివిధ వాణిజ్య API ఆఫరింగ్‌లు ఎలా కొలవబడ్డాయో అర్థం చేసుకోవాలనుకున్నాము. AI మోడళ్లను తమను తాము మూల్యాంకనం చేయడం సర్వసాధారణమైంది, అయితే మాకు ఈ నమూనాపై ఒక ట్విస్ట్ అవసరమైంది: AI మోడల్‌ల ద్వారా పిలువబడినప్పుడు సెర్చ్ APIల నాణ్యతను అంచనా వేయడం.

మునుపటి కళను అర్థం చేసుకోవడానికి మేము మొదట ఓపెన్-సోర్స్ ఎకోసిస్టమ్ వైపు చూశాము. కఠినమైన మూల్యాంకనం కోసం మేము అనేక కీలక పదార్థాలను కనుగొన్నాము, కానీ ఈ పదార్థాలను ప్లగ్-అండ్-ప్లే బెంచ్‌మార్కింగ్ సొల్యూషన్‌గా ఏకీకృతం చేసిన ఫ్రేమ్‌వర్క్ ఏదీ లేదు. అందువల్ల Perplexity ద్వారా మాత్రమే కాకుండా, సెర్చ్ APIలను బెంచ్‌మార్క్ చేయడానికి ప్రయత్నించే ఏ పరిశోధకుడు లేదా డెవలపర్ ద్వారా అయినా ఉపయోగించగల మూల్యాంకన ఫ్రేమ్‌వర్క్‌ను అభివృద్ధి చేయడానికి మేము బయలుదేరాము.

ఈ మూల్యాంకన ఫ్రేమ్‌వర్క్‌ను ఉపయోగించి, మేము ఇతర ఆఫరింగ్‌లతో పాటు Perplexity Search APIని కఠినంగా బెంచ్‌మార్క్ చేసాము. సెర్చ్ పనితీరును ఆప్టిమైజ్ చేయడం సంక్లిష్టమైనది, నాణ్యత మరియు వేగం మధ్య అనేక సూక్ష్మమైన ట్రేడ్‌ఆఫ్‌లతో కూడుకున్నది. డెవలపర్‌ల కోసం ఒక విజయంలో, Perplexity Search API నాణ్యత మరియు లేటెన్సీ రెండింటికీ కొత్త అత్యాధునికతను సెట్ చేస్తుందని మేము కనుగొన్నాము. డెవలపర్‌లు ఇకపై బ్లేజింగ్-ఫాస్ట్ అప్లికేషన్‌లను నిర్మించడం మరియు అధిక-నాణ్యత ఫలితాలను నిర్ధారించడం మధ్య ఎంచుకోవాల్సిన అవసరం లేదు: Perplexityతో, వారు రెండింటినీ పొందవచ్చు.

విస్తరించు

ఏజెంట్ సెర్చ్ వర్క్‌ఫ్లోల కోసం నమ్మదగిన మూల్యాంకనాలను రూపకల్పన చేయడం

మా మూల్యాంకన ఫ్రేమ్‌వర్క్ కోసం మేము మూడు మార్గదర్శకాలను నిర్వచించడం ద్వారా ప్రారంభించాము:

సంక్లిష్టత యొక్క స్పెక్ట్రమ్: మూల్యాంకన ఫ్రేమ్‌వర్క్ సరళమైన మరియు సంక్లిష్టమైన ఏజెంట్ AI ఉపయోగ సందర్భాలు రెండింటిలోనూ పనితీరును కొలవాలి.

తటస్థత: మూల్యాంకన ఫ్రేమ్‌వర్క్ అన్ని APIలను సమాన ప్రాతిపదికన అంచనా వేయాలి.

సరళత: కొన్ని ఉపయోగ సందర్భాలు సంక్లిష్టంగా ఉండవచ్చు, ఇతరులు దానిని అర్థం చేసుకోవడానికి, ఫలితాలను పునరుత్పత్తి చేయడానికి మరియు కనీస విసుగుతో ఫ్రేమ్‌వర్క్‌ను విస్తరించడానికి ఫ్రేమ్‌వర్క్ సాధ్యమైనంత సరళంగా ఉండాలి.

మా తేలికపాటి మూల్యాంకన ఫ్రేమ్‌వర్క్, search_evals, సరళమైన మాడ్యులర్ డిజైన్ ద్వారా ఈ లక్ష్యాలను సాధిస్తుంది. క్లాసికల్ సింగిల్-షాట్ సెర్చ్ యూజ్ కేస్‌లు మరియు అధునాతన ఏజెంట్ వర్క్‌ఫ్లోలు (వినియోగదారు మార్కెట్‌ప్లేస్‌లో విస్తృతంగా అందుబాటులో ఉన్న వివిధ “డీప్ రీసెర్చ్” ఉత్పత్తుల ద్వారా ఉదాహరణగా చెప్పబడింది) రెండింటినీ క్యాప్చర్ చేయడానికి మేము రెండు AI ఏజెంట్ హార్నెస్‌లను అభివృద్ధి చేసాము. దాగి ఉన్న ప్రయోజనానికి కొద్దిగా కూడా అవకాశం ఇవ్వని విధంగా రెండు హార్నెస్‌లు సరళమైన రీతిలో అమలు చేయబడ్డాయి.

మా మూల్యాంకనాలను నడిపించడానికి, మేము నాలుగు బెంచ్‌మార్క్‌లను స్వీకరించాము: సింగిల్-స్టెప్ సెర్చ్ కోసం SimpleQA మరియు FRAMES, అలాగే లోతైన పరిశోధన కోసం BrowseComp మరియు HLE. సమిష్టిగా, ఈ బెంచ్‌మార్క్‌లు నాలెడ్జ్ ఏజెంట్‌లకు బాగా ఆమోదించబడిన గీతలను అందిస్తాయి. స్థాపించబడిన సమావేశాన్ని అనుసరించి, అసలు పనిలో ఉపయోగించిన అదే ప్రాంప్ట్ చేయబడిన వర్గీకరణ పద్ధతిని ఉపయోగించి మేము అన్ని బెంచ్‌మార్క్‌లను గ్రేడ్ చేస్తాము. ఖచ్చితమైన బెంచ్‌మార్క్ అమలులను (గ్రేడర్ లాజిక్‌తో సహా) మా GitHub రిపోలో సమీక్షించవచ్చు.

పునరుత్పత్తి సామర్థ్యం మరియు విస్తరణను దృష్టిలో ఉంచుకుని మేము ఫ్రేమ్‌వర్క్‌ను రూపకల్పన చేసాము. టాస్క్-స్థాయి స్కోర్లు మరియు అంతర్లీన ఏజెంట్ అవుట్‌పుట్‌లు రెండూ ప్రతి రన్‌తో నిల్వ చేయబడతాయి. అదనపు హార్నెస్‌లు, బెంచ్‌మార్క్‌లు మరియు సెర్చ్ API ఆఫరింగ్‌లను సులభంగా ఏకీకృతం చేయవచ్చు. మీ ఖచ్చితమైన అవసరాలను పరిష్కరించడానికి ఫ్రేమ్‌వర్క్‌ను విస్తరించడం గురించి మరింత సమాచారం కోసం పరిశోధకులు మరియు డెవలపర్‌లు మా GitHub డాక్స్ చదవవచ్చు.

మూల్యాంకన ఫలితాలు

ఈ మూల్యాంకన ఫ్రేమ్‌వర్క్‌తో సాయం పొంది, ఇతర API ఆఫరింగ్‌లతో పోలిస్తే మా సెర్చ్ APIని అంచనా వేయడానికి మేము బయలుదేరాము. పరీక్షించబడిన అన్ని బెంచ్‌మార్క్‌లలో, మార్కెట్‌ప్లేస్‌లో వేగవంతమైన మరియు అత్యధిక నాణ్యత గల APIగా Perplexity నిలుస్తుంది.

విస్తరించు

ఇండెక్స్, రిట్రీవల్ మరియు ర్యాంకింగ్ సామర్థ్యంలో పైన పేర్కొన్న మా పెట్టుబడులు అద్భుతమైన ప్రతిఫలాన్నిచ్చాయని మేము కనుగొన్నాము. Perplexity యొక్క మధ్యస్థ లేటెన్సీ 358ms వద్ద గడియారాలు, రెండవ వేగవంతమైన ప్రొవైడర్ కంటే 150ms కంటే ఎక్కువ ముందుంది. 95వ-శాతం లేటెన్సీ సౌకర్యవంతంగా 800ms కంటే తక్కువగా ఉంటుంది. నేటి ఫ్రాంటియర్ మోడళ్ల సుదీర్ఘ TTFT (సమయం-మొదటి-టోకెన్) కొలమానాలతో, సంతోషకరమైన వినియోగదారు అనుభవాలను సృష్టించడంలో ప్రతి మిల్లీసెకను ముఖ్యం. మా స్వంత వినియోగదారుల కోసం లేటెన్సీని ఆప్టిమైజ్ చేయడానికి మేము గత రెండు సంవత్సరాలు గడిపాము, మరియు అదే పెట్టుబడులు ఇప్పుడు డెవలపర్ కమ్యూనిటీకి కూడా ప్రయోజనం చేకూరుస్తాయని మేము సంతోషిస్తున్నాము.

సెర్చ్ API లేటెన్సీ

(AWS us-east-1 నుండి ప్రారంభించబడిన అభ్యర్థనలు)

AWS us-east-1 నుండి ప్రారంభించబడిన అభ్యర్థనల కోసం Search API లేటెన్సీ శాతాంశాలు.

* అనేక సెర్చ్ API విక్రేతలు తమ ఫలితాల కోసం SERP స్క్రాపింగ్‌ను ప్రాతిపదికగా ఉపయోగిస్తారు. అటువంటి విధానాల పనితీరును క్యాప్చర్ చేయడానికి, మేము Tavily అందించిన ప్రాతినిధ్య Google SERP-ఆధారిత APIని ఉపయోగిస్తాము.

ఈ వేగ ప్రయోజనం నాణ్యత ధర వద్ద రాదు. Perplexity Search API సింగిల్-స్టెప్ సెర్చ్ మరియు లోతైన పరిశోధన సెట్టింగ్‌లు రెండింటిలోనూ అత్యాధునిక పనితీరును ఇస్తుంది. పరీక్షించబడిన ప్రతి బెంచ్‌మార్క్‌లో, విభిన్న సంక్లిష్టత కలిగిన AI వర్క్‌ఫ్లోలకు శక్తినివ్వగల అధిక-నాణ్యత ఫలితాలను అందించడంలో Perplexity ముందంజలో ఉంది. SimpleQA మరియు HLEలపై Perplexity మరియు ఉత్తమ ప్రత్యామ్నాయం మధ్య వ్యత్యాసం ప్రత్యేకంగా స్పష్టంగా ఉంది, ఈ ఫలితాలు టాస్క్ సంక్లిష్టత యొక్క స్పెక్ట్రమ్ అంతటా బలమైనవిగా ఉన్నాయని సూచిస్తున్నాయి.

విస్తరించు

లేటెన్సీ వలెనే, సెర్చ్ నాణ్యతలో మా నాయకత్వం సంతోషకరమైన, అధిక ట్రాఫిక్ గల AI ఉత్పత్తులను నిర్మించడంలో మా నాయకత్వం యొక్క డౌన్‌స్ట్రీమ్‌లో ప్రవహిస్తుంది. మా మిలియన్ల కొద్దీ వినియోగదారులు ఊహించదగిన ప్రతి అంశంపై తమ జిజ్ఞాసను సంతృప్తి పరచడానికి Perplexityని ఉపయోగిస్తారు, మరియు ఫలితంగా వచ్చే నాణ్యత మరియు సంబంధిత సిగ్నల్స్ మా సెర్చ్ మోడల్‌లు ప్రతి గడచిన గంటకు మెరుగుపడేందుకు అనుమతిస్తాయి.

సెర్చ్ API నాణ్యత బెంచ్‌మార్క్‌లు

SimpleQA, FRAMES, BrowseComp, మరియు HLE పై Search API నాణ్యత స్కోర్లు.

మేము ఇప్పటికీ AI-స్థానిక సెర్చ్ ఇంజిన్‌ల యొక్క ప్రారంభ రోజుల్లోనే ఉన్నాము, మరియు కొలత యొక్క కళ మరియు విజ్ఞాన శాస్త్రం నిస్సందేహంగా అభివృద్ధి చెందుతాయి. AI ఏజెంట్ల యుగంలో సెర్చ్ ఇంజిన్‌లను మూల్యాంకనం చేయడానికి కఠినమైన మరియు సృజనాత్మక పద్ధతులను అభివృద్ధి చేయడం ద్వారా సహకరించడానికి మేము కమ్యూనిటీని ఆహ్వానిస్తున్నాము.

AI యొక్క తదుపరి అధ్యాయం కోసం బిల్డింగ్ బ్లాక్

ఏజెంట్ సిస్టమ్‌లు మరియు ఇంటెలిజెంట్ అసిస్టెంట్‌ల భవిష్యత్తు ప్రపంచం యొక్క సామూహిక జ్ఞానంలో రిచ్ ప్రోగ్రామటిక్ ఇంటర్‌ఫేస్‌ల లభ్యతపై ఆధారపడి ఉంటుంది. నేటి లెగసీ సెర్చ్ ఇంజిన్‌లు రోజుకు సుమారు 10¹⁰ క్వెరీల వినియోగంలో సంతృప్త చెందాయి, ఈ సంఖ్య బహుశా గరిష్ట స్థాయికి చేరుకుంది. ఎప్పటికప్పుడు పెరుగుతున్న AI ఏజెంట్ల విశ్వం కచ్చితమైన రియల్-టైమ్ సమాచారం కోసం వాటిపై ఆధారపడటంతో, తదుపరి తరం సెర్చ్ మరియు రిట్రీవల్ సిస్టమ్‌లు ఆర్డర్స్ ఆఫ్ మాగ్నిట్యూడ్ ఎక్కువ అభ్యర్థనలను అందిస్తాయి.

ఇప్పటి వరకు మా ప్రయత్నాలు API ద్వారా యాక్సెస్ చేయగల వేగవంతమైన, అత్యంత పనితీరు గల సెర్చ్ ఇంజిన్‌గా మమ్మల్ని నిలబెట్టాయి. కానీ AI యొక్క తదుపరి అధ్యాయానికి ఇంధనం సమకూర్చడానికి మాకు మరింత ప్రతిష్టాత్మకమైన ఆవిష్కరణ అవసరం. ఎప్పటికప్పుడు పెరుగుతున్న డిమాండ్‌ను ఎదుర్కొంటూ ఈ సిస్టమ్‌లను మేము ఎలా సమర్థవంతంగా స్కేల్ చేయాలి? కాంటెక్స్ట్ ఇంజనీరింగ్ మరియు పోస్ట్-ట్రైనింగ్ యొక్క నవల విధానాల వెలుగులో ఈ సెర్చ్ సిస్టమ్‌లను ఎలా ఆప్టిమైజ్ చేయవచ్చు? మరియు సమగ్రత, ఇటీవలి కాలం మరియు లేటెన్సీ మధ్య ఎప్పుడూ ఉండే ఉద్రిక్తతను మేము ఎలా నావిగేట్ చేయాలి? ఇవి Perplexity, మా ప్రొడక్ట్ ఫుట్‌ప్రింట్, స్కేల్ మరియు టెక్నికల్ టాలెంట్ కలయికతో, పరిష్కరించడానికి ప్రత్యేకంగా స్థానం పొందిన బహిరంగ ప్రశ్నలు.

ఉదాహరణ

@online{perplexity2025ArchitectingAndEvaluatingAnAiFirstSearchApi,
  author = {{Perplexity} and Aleksandr Bogutskii and Aleksandr Nikolenko and Aleksei Bykov and Alexander Pecheny and Alexandr Yarats and Arsenii Shevchenko and Denis Bykov and Dmitry Pervukhin and Ismail Gadzhiev and James Liounis and Kevin Hu and Kirill Priemko and Maksim Gaiduk and Maksim Morozov and Marko Kevac and Michael Liang and Mikhail Galanin and Nandor Licker and Nataliya Pevgova and Nikita Kireev and Nikolai Tretiak and Paul Schofield and Saif Ali Raja and Saleh Alghusson and Sebastian Sepulveda and Sergei Miller and Svyatoslav Feldsherov and Vitalii Polshkov and Vladimir Zaytsev and Denis Yarats},
  title = {{Architecting and evaluating an AI-first Search API}},
  date = {2025-09-25},
  url = {https://www.perplexity.ai/hub/blog/architecting-and-evaluating-an-ai-first-search-api}
}