സെർച്ച് API: മികച്ച എക്സ്ട്രാക്ഷൻ, ഡൈനാമിക് ബെഞ്ച്മാർക്കുകൾ

സെപ്റ്റംബറിൽ, Perplexity Search API ആർക്കിടെക്ചറിന്റെ സാങ്കേതിക അവലോകനം ഞങ്ങൾ പ്രസിദ്ധീകരിക്കുകയും ഏജന്റ് വർക്ക്ഫ്ലോകളിൽ തിരച്ചിൽ API-കൾ ബെഞ്ച്മാർക്ക് ചെയ്യുന്നതിനുള്ള ഞങ്ങളുടെ ഓപ്പൺ സോഴ്സ് ഇവാലുവേഷൻ ഫ്രെയിംവർക്കായ search_evals പുറത്തിറക്കുകയും ചെയ്തു. അന്നു മുതൽ, പ്രസക്തി, വലിപ്പം എന്നീ രണ്ട് അളവുകോലുകൾ അടിസ്ഥാനമാക്കി ഒപ്റ്റിമൈസ് ചെയ്ത സ്നിപ്പെറ്റ് ഗുണനിലവാരത്തിലാണ് ഏറ്റവും പ്രധാനപ്പെട്ട നിക്ഷേപം നടത്തിയിട്ടുള്ളത്. കൃത്യമായ അളവിലുള്ള ശരിയായ ഉള്ളടക്കം തിരികെ നൽകുന്നത് ഡൗൺസ്ട്രീം ഉത്തര കൃത്യതയെയും ടോക്കൺ കാര്യക്ഷമതയെയും നേരിട്ട് നിർണ്ണയിക്കുന്നു. അതിനായി എക്സ്ട്രാക്ഷൻ, സ്പാൻ-ലെവൽ ലേബലിംഗ്, വിലയിരുത്തൽ എന്നിവയ്ക്കായി പുതിയ സിസ്റ്റങ്ങൾ നിർമ്മിക്കേണ്ടതുണ്ടായിരുന്നു, പ്രത്യേകിച്ചും ഒരു സോഴ്സ് ഡോക്യുമെന്റിലെ ഏത് വിഭാഗങ്ങളാണ് നൽകിയിരിക്കുന്ന ചോദ്യത്തിന് അനുയോജ്യമായതെന്ന് തിരിച്ചറിയുന്ന ഒരു സ്പാൻ-ലേബലിംഗ് പൈപ്പ്ലൈൻ.

സ്പാൻ തലത്തിൽ സ്നിപ്പെറ്റുകൾ വിലയിരുത്തുന്നു

സ്നിപ്പെറ്റുകൾ വ്യവസ്ഥാപിതമായി മെച്ചപ്പെടുത്തുന്നതിനായി, ഞങ്ങൾ ഒരു പുതിയ വിലയിരുത്തൽ സംവിധാനം രൂപകൽപ്പന ചെയ്തു. ഒരു നിശ്ചിത ചോദ്യത്തിനും പ്രമാണത്തിനുമായി, ഈ സിസ്റ്റം പ്രമാണത്തിനുള്ളിലെ സ്പാനുകളെ ചോദ്യവുമായുള്ള ബന്ധത്തിന്റെ അടിസ്ഥാനത്തിൽ തിരിച്ചറിഞ്ഞ് ലേബൽ ചെയ്യുന്നു: സ്നിപ്പെറ്റിൽ ഉൾപ്പെടുത്തിയിരിക്കേണ്ട "അത്യാവശ്യമായ" സ്പാനുകൾ, ഒഴിവാക്കേണ്ട വിവിധ തരം "അപ്രസക്തമായ" സ്പാനുകൾ, ഡ്യൂപ്ലിക്കേറ്റുകൾ, മറ്റ് വിഭാഗങ്ങൾ. ഈ സ്പാൻ-ലെവൽ ലേബലിംഗ് മുമ്പ് സാധ്യമല്ലാത്ത കൃത്യതയോടെ സ്നിപ്പെറ്റിന്റെ ഗുണനിലവാരം വിലയിരുത്താൻ ഞങ്ങളെ അനുവദിക്കുന്നു, ശരിയായി ഉൾപ്പെടുത്തിയതും ശരിയായി ഒഴിവാക്കിയതും ഒരേപോലെ അളക്കുന്നു.

പ്രയോഗത്തിൽ, ഈ മെച്ചപ്പെടുത്തലുകൾ ചോദ്യവുമായി കൂടുതൽ പ്രസക്തമായ ചെറിയ സ്നിപ്പെറ്റുകൾ സൃഷ്ടിക്കാൻ ഞങ്ങളെ അനുവദിക്കുന്നു. ഞങ്ങളുടെ സ്വയം മെച്ചപ്പെടുത്തുന്ന ഉള്ളടക്കം മനസ്സിലാക്കുന്നതിനുള്ള പൈപ്പ്ലൈൻ ഇപ്പോൾ പട്ടികകൾ, നെസ്റ്റഡ് ലിസ്റ്റുകൾ, മുമ്പത്തെ റൂൾസെറ്റുകൾക്ക് വിശ്വസനീയമായി പാർസ് ചെയ്യാൻ കഴിയാത്ത ഡൈനാമിക്കായി റെൻഡർ ചെയ്‌ത ഉള്ളടക്കം എന്നിവയുൾപ്പെടെയുള്ള ഘടനാപരമായ ഡാറ്റാ ഫോർമാറ്റുകളുടെ വിശാലമായ ശ്രേണിക കൈകാര്യം ചെയ്യുന്നു.

ഈ മെച്ചപ്പെടുത്തലുകൾ ഞങ്ങളുടെ സ്വന്തം പ്രൊഡക്ഷൻ സിസ്റ്റങ്ങളിൽ നിന്നാണ് ഉണ്ടായത്. ഞങ്ങളുടെ ആന്തരിക ഗവേഷണം സ്നിപ്പെറ്റ് പ്രസക്തിയും വലിപ്പവും മുന്നോട്ട് നയിച്ചപ്പോൾ, ഗുണനിലവാര മെച്ചപ്പെടുത്തലുകളുടെ ഒരു പരമ്പരയ്ക്ക് ശേഷം ചെറിയ ഉള്ളടക്ക ബജറ്റുകൾ കൂടുതൽ കൃത്യമായ ഫലങ്ങൾ നൽകിയതായി ആന്തരിക വിലയിരുത്തലുകൾ വെളിപ്പെടുത്തി. ഞങ്ങളുടെ കണ്ടെത്തലുകൾ പ്രതിഫലിപ്പിക്കുന്നതിനായി ഞങ്ങളുടെ ഡിഫോൾട്ട് കോൺഫിഗറേഷനുകളിൽ ഞങ്ങൾ ചില മാറ്റങ്ങൾ വരുത്തി, പ്രതികരണ പേലോഡ് വലുപ്പവും ലേറ്റൻസിയും കുറയ്ക്കുകയും ഫലത്തിന് കൂടുതൽ ഉപയോഗപ്രദമായ ഉള്ളടക്കം നൽകുകയും ചെയ്യുന്നു. ഡെവലപ്പർമാരെ സംബന്ധിച്ചിടത്തോളം, ചെറുതും കൂടുതൽ പ്രസക്തവുമായ സ്നിപ്പെറ്റുകൾ കുറഞ്ഞ ടോക്കൺ ചെലവിലേക്കും ഡൗൺസ്ട്രീം എൽഎൽഎമ്മുകൾക്കായി മെച്ചപ്പെട്ട സന്ദർഭ മാനേജ്മെന്റിലേക്കും നേരിട്ട് നയിക്കുന്നു.

SEAL: സമയബന്ധിതമായ വീണ്ടെടുക്കൽ ബെഞ്ച്മാർക്ക് ചെയ്യുന്നു

ശരിയായി പ്രതികരിക്കേണ്ട വിവരങ്ങൾ കാലക്രമേണ മാറുന്ന ചോദ്യങ്ങൾക്ക് ഒരു റിട്രീവൽ സിസ്റ്റത്തിന് ഉത്തരങ്ങൾ നൽകാൻ കഴിയുമോ എന്ന് SEAL ബെഞ്ച്മാർക്ക് പരിശോധിക്കുന്നു. വിശ്വസനീയമായി ഉത്തരം നൽകുന്നതിന് തത്സമയ ഇൻഡക്സ് പുതുമ, തുടർച്ചയായി അപ്ഡേറ്റ് ചെയ്യുന്ന വിവിധ ഡാറ്റാ ഉറവിടങ്ങളിൽ നിന്നുള്ള മികച്ച സ്നിപ്പെറ്റ് എക്സ്ട്രാക്ഷൻ, ചരിത്രപരമായ ഒന്നിനേക്കാൾ നിലവിലെ മൂല്യം തിരിച്ചറിയാൻ കഴിയുന്ന പാർസിങ് എന്നിവ ആവശ്യമാണ്.

ക്ലോഡ് സോനെറ്റ് 4.5 ഉപയോഗിച്ച് ഫെബ്രുവരി 22-ലെ SEAL റിലീസിനെതിരെ ഞങ്ങൾ search_evals പ്രവർത്തിപ്പിച്ചപ്പോൾ, SEAL-Hard-ൽ മറ്റ് ദാതാക്കളുടെ സ്കോറുകൾ കുറഞ്ഞപ്പോൾ Perplexity സ്കോറുകൾ വർദ്ധിച്ചു:

വലുതാക്കുക

ഞങ്ങളുടെ സെപ്റ്റംബർ പോസ്റ്റിൽ റിപ്പോർട്ട് ചെയ്ത ബെഞ്ച്മാർക്കുകൾക്കൊപ്പം SEAL കൂടി ഉൾപ്പെടുത്തുന്നതിനായി ഞങ്ങൾ ഞങ്ങളുടെ search_evals ഫ്രെയിംവർക്ക് വിപുലീകരിച്ചിട്ടുണ്ട്. അപ്ഡേറ്റ് ചെയ്ത ഫലങ്ങളും രീതിശാസ്ത്രവും GitHub-ലെ അപ്ഡേറ്റ് ചെയ്ത ശേഖരത്തിൽ ലഭ്യമാണ്.

മൾട്ടി-ക്വറി പിന്തുണ

ഒരම ഒറ്റ അഭ്യർത്ഥനയിൽ 5 ചോദ്യങ്ങൾ വരെ API ഇപ്പോൾ പിന്തുണയ്ക്കുന്നു. ഫലങ്ങൾ സമർപ്പിച്ച അതേ ക്രമത്തിൽ ഓരോ ചോദ്യത്തിനും ഗ്രൂപ്പുചെയ്ത് തിരികെ നൽകുന്നു. ഒരു സങ്കീർണ്ണമായ ചോദ്യത്തെ ഒന്നിലധികം റിട്രീവൽ സബ്-ടാസ്കുകളായി വിഭജിക്കുന്ന ഏജന്റുകൾ പോലെയുള്ള സമാന്തരമായി ബന്ധപ്പെട്ട തിരച്ചിലുകൾ നൽകേണ്ട ആപ്ലിക്കേഷനുകൾക്കായി ഇത് റൗണ്ട് ട്രിപ്പുകൾ കുറയ്ക്കുന്നു.

വിപുലീകരിച്ച ഫിൽട്ടറിംഗ്

ഡൊമെയ്ൻ ഫിൽട്ടറിംഗിനും (അലോ ലിസ്റ്റും ഡിനൈ ലിസ്റ്റും, 20 ഡൊമെയ്‌നുകൾ വരെ) പുതിയ ഫിൽട്ടറിംഗിനും പുറമേ, ISO 639-1 കോഡ് പ്രകാരമുള്ള ഭാഷാ ഫിൽട്ടറിംഗും ISO രാജ്യ കോഡ് പ്രകാരമുള്ള പ്രാദേശിക തിരച്ചിലും API ഇപ്പോൾ പിന്തുണയ്ക്കുന്നു. ഫലങ്ങൾ കൃത്യമായി സ്കോപ്പ് ചെയ്യാൻ ഇവ സംയോജിപ്പിക്കാം, ഉദാഹരണത്തിന് ജർമ്മൻ ഡൊമെയ്‌നുകളിൽ നിന്നുള്ള ഇംഗ്ലീഷ് ഭാഷാ ഫലങ്ങളിലേക്ക് പരിമിതപ്പെടുത്താം.

SDK-യും ലഭ്യതയും

പൈത്തൺ SDK (pip install perplexityai) ഇപ്പോൾ ഏജന്റ് API-ക്കും സോണാർ API-ക്കും ഒപ്പം സെർച്ച് API-ക്കും നേറ്റീവ് പിന്തുണ നൽകുന്നു.

പൂർണ്ണമായ ഡോക്യുമെന്റേഷൻ docs.perplexity.ai-ൽ ലഭ്യമാണ്