മികച്ച സ്നിപ്പെറ്റുകൾക്കായുള്ള ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള സന്ദർഭ കംപ്രഷൻ

ഓരോ ഉത്തരവും തെളിവില്‍ നിന്നാണ് ആരംഭിക്കുന്നത്. ഒരു തെരച്ചിൽ സിസ്റ്റത്തിൽ, ഈ തെളിവുകൾ സാധാരണയായി വരുന്നത് രേഖകളിൽ നിന്നാണ്: ശീർഷകങ്ങൾ, സംഗ്രഹങ്ങൾ, ഭാഗങ്ങൾ (chunks), ഒരു ഉത്തര മോഡലിനോ ഏജന്റിനോ സന്ദർഭമായി (context) കൈമാറുന്ന ചെറുവിവരങ്ങൾ (snippets).

ഈ റോ (raw) സന്ദർഭം ശബ്ദമുഖരിതമാണ് (noisy). ഉദാഹരണത്തിന്, ഒരു വെബ് പേജിൽ ഉപയോക്താവിന്റെ ആവശ്യത്തിന് ആവശ്യമായ വിവരങ്ങൾ അടങ്ങിയിരിക്കാം, എന്നാൽ അതിൽ ശ്രദ്ധതിരിക്കുന്ന വസ്തുക്കളും ഉണ്ടായിരിക്കാം. ഈ ശ്രദ്ധതിരിക്കുന്ന ഘടകങ്ങൾ പ്രധാന ഭാഗത്തും നാവിഗേഷൻ ടെക്സ്റ്റ് ഘടകങ്ങൾ, അപ്രസക്തമായ പരസ്യങ്ങൾ, മെറ്റാഡാറ്റ എന്നിവ പോലെയുള്ള അനുബന്ധ ഘടകങ്ങളിലും കാണപ്പെടാം. ഡൗൺസ്ട്രീം ഏജന്റിലേക്ക് ഈ ശ്രദ്ധതിരിക്കുന്ന ഘടകങ്ങൾ കൈമാറുന്നത് മൂന്ന് പ്രശ്നങ്ങൾ ഉണ്ടാക്കുന്നു.

ഒന്നാമതായി, ഇത് കൃത്യതയെ ബാധിക്കുന്നു. ഏറ്റവും ശക്തമായ മോഡലുകൾക്ക് പോലും പരിമിതമായ ശേഷിയേ ഉള്ളൂ. അപ്രസക്തമായ വിവരങ്ങളുടെ നീണ്ട പ്രവാഹങ്ങൾ മോഡലിന്റെ ശേഷി പാഴാക്കുന്നു, ഇത് “സന്ദർഭ നശീകരണത്തിന്” (context rot) കാരണമാകുന്നു, ഇത് യഥാർത്ഥ ഉപയോക്തൃ അഭ്യർത്ഥന പരിഹരിക്കാനുള്ള മോഡലിന്റെ കഴിവിനെ തടസ്സപ്പെടുത്തുന്നു. ഫലമായി, അന്തിമ പ്രതികരണത്തിന് പ്രധാനപ്പെട്ട വസ്തുക്കൾ നഷ്ടപ്പെടാനോ, കുറഞ്ഞ നിലവാരമുള്ള വിവരങ്ങൾക്ക് കൂടുതൽ ഭാരം നൽകാനോ, അല്ലെങ്കിൽ ഉറവിടത്തിൽ ഉറപ്പിച്ചു പറയാൻ ബുദ്ധിമുട്ടുള്ള അവകാശവാദങ്ങൾ ഉന്നയിക്കാനോ ഉള്ള സാധ്യത കൂടുതലാണ്.

രണ്ടാമതായി, ഇത് ലേറ്റൻസി (latency) പിന്നോട്ട് നയിക്കുന്നു. നീളമേറിയ സന്ദർഭം എന്നാൽ ഡൗൺസ്ട്രീം മോഡലിന് പ്രോസസ്സ് ചെയ്യാൻ കൂടുതൽ ടോക്കണുകൾ എന്നാണ് അർത്ഥമാക്കുന്നത്, പ്രത്യേകിച്ചും ഒരു ചോദ്യത്തിന് നിരവധി കാൻഡിഡേറ്റ് പേജുകളിൽ നിന്നുള്ള തെളിവുകൾ ആവശ്യമുള്ളപ്പോൾ. ഈ ലേറ്റൻസി ചെലവിന്റെ ഒരു ഭാഗം പ്രീഫിൽ ഘട്ടത്തിലാണ് വഹിക്കുന്നതെങ്കിലും, കൂടുതൽ വ്യക്തമായ ചെലവ് നൽകുന്നത് റീസണിംഗിലാണ്, അപ്രസക്തമായ സന്ദർഭം കൈകാര്യം ചെയ്യാൻ മോഡലുകൾക്ക് കൂടുതൽ റീസണിംഗ് ടോക്കണുകൾ ആവശ്യമായി വരുന്നു.

മൂന്നാമതായി, ഇത് ചെലവ് വർദ്ധിപ്പിക്കുന്നു. മോഡലിലേക്ക് കൈമാറുന്ന ഓരോ അനാവശ്യ ടോക്കണും ഉപയോക്താവിന്റെ അഭ്യർത്ഥന സേവിക്കുന്നത് കൂടുതൽ ചെലവേറിയതാക്കുന്നു, കാരണം ശബ്ദമുഖരിതമായ സന്ദർഭത്തിനൊപ്പം ഇൻപുട്ട് ടോക്കണിന്റെയും റീസണിംഗ് ടോക്കണിന്റെയും ഉപയോഗം വർദ്ധിക്കുന്നു. ശ്രദ്ധതിരിക്കുന്ന ഘടകങ്ങൾ ഗുണനിലവാരം കുറയ്ക്കുക മാത്രമല്ല ചെയ്യുന്നത്; മോശമായ ആ ഗുണനിലവാരത്തിനായി കൂടുതൽ പണം നൽകാൻ അവ നിങ്ങളെ നിർബന്ധിക്കുകയും ചെയ്യുന്നു.

വലുതാക്കുക

Perplexity-യുടെ ആപ്ലിക്കേഷനുകളിലും API Platform-ലും കൃത്യത, വേഗത, ചെലവുസൂക്ഷ്മത എന്നിവ ഒരേസമയം മെച്ചപ്പെടുത്തുന്നതിനായി, സന്ദർഭ കൃത്യത മെച്ചപ്പെടുത്തുന്നതിൽ ഞങ്ങൾ വലിയ തോതിൽ മുതൽമുടക്കുന്നു. ഞങ്ങൾ അങ്ങനെ ചെയ്യുന്ന ഒരു വഴി ഞങ്ങളുടെ സ്നിപ്പെറ്റ് ജനറേഷൻ അൽഗോരിതങ്ങൾ പരിഷ്കരിക്കുക എന്നതാണ്. സ്നിപ്പെറ്റ് ജനറേഷനെ ഞങ്ങൾ ഒരു സന്ദർഭ കംപ്രഷൻ പ്രശ്നമായി കാണുന്നു. നിർദ്ദിഷ്ട വിവരങ്ങൾക്കായി തിരയുന്ന മോഡലുകൾക്ക് ഒരു പ്രമാണത്തിന്റെ പൊതുവായ സംഗ്രഹങ്ങളോ ഉദ്ധരണികളോ കൊണ്ട് പ്രയോജനമില്ല. മറിച്ച്, ഉപയോക്താവിന്റെ അഭ്യർത്ഥനയോട് പ്രതികരിക്കുന്നതിന് അവർക്ക് ഉറവിട വിവരങ്ങളുടെ ഏറ്റവും ചെറുതും ഏറ്റവും കൃത്യമായി എടുത്തതുമായ ഭാഗം ആവശ്യമാണ്. മറ്റെല്ലാം നീക്കം ചെയ്യാം, നീക്കം ചെയ്യേണ്ടതുമാണ്.

അതിനാൽ നല്ലൊരു സ്നിപ്പെറ്റ് മൂന്ന് കാര്യങ്ങൾ ചെയ്യണം:

മോഡലിന്റെ പ്രതികരണത്തിന് അടിത്തറയിടാൻ ആവശ്യമായ കൃത്യമായ തെളിവുകൾ അവതരിപ്പിച്ചുകൊണ്ട് കൃത്യത പ്രോത്സാഹിപ്പിക്കുക.

LLM കോളിന് മുമ്പ് അപ്രസക്തമായ സന്ദർഭം നീക്കം ചെയ്തുകൊണ്ട് ലേറ്റൻസിയും ചെലവും കുറയ്ക്കുക.

സൈറ്റേഷൻ ഫിഡിലിറ്റി സംരക്ഷിക്കുകയും ഉറവിട വാചകം കേടുകൂടാതെ സൂക്ഷിക്കുകയും ചെയ്തുകൊണ്ട് ട്രേസബിലിറ്റി ഉറപ്പാക്കുക.

ഈ മാസം, ഞങ്ങളുടെ ആപ്ലിക്കേഷനുകളിലും API Platform-ലും ഞങ്ങൾ പുതിയതും അത്യാധുനികവുമായ ഒരു സ്നിപ്പെറ്റ് ജനറേറ്റർ വിന്യസിച്ചു. ഈ മൊഡ്യൂളിന്റെ കാതൽ ഒരു ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള സന്ദർഭ കംപ്രഷൻ മോഡലാണ്, ഇത് ഓരോ ചോദ്യത്തിനും കാൻഡിഡേറ്റ് ഫലത്തിനും വേണ്ടി, സംരക്ഷിക്കേണ്ട സ്പാനുകളുടെ ഉപസെറ്റ് ഏതെന്ന് തീരുമാനിക്കുന്നു. ഈ നിർണായക ടാസ്കിൽ മികച്ച പ്രകടനം കൈവരിക്കുന്നതിനായി മോഡൽ നിർമ്മിക്കുന്നതിനും പരിശീലിപ്പിക്കുന്നതിനുമുള്ള ഞങ്ങളുടെ സമീപനത്തെ ഈ ലേഖനം വിവരിക്കുന്നു.

ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള കംപ്രഷൻ ആയി സ്നിപ്പെറ്റുകൾ

ആദ്യത്തെ കാര്യം ടാസ്ക് എന്താണെന്ന് നിർവചിക്കുക എന്നതാണ്. ഈ മോഡൽ എന്തുചെയ്യണമെന്നാണ് ഞങ്ങൾ ആഗ്രഹിക്കുന്നത്, ഇൻപുട്ടും ഔട്ട്പുട്ടും സ്കീമയും ഞങ്ങൾ എങ്ങനെ നിർവചിക്കണം?

സ്നിപ്പെറ്റ് രീതികൾ രണ്ട് വിശാലമായ വിഭാഗങ്ങളിൽ പെടുന്നു. ആദ്യത്തേത് സെലക്ഷൻ അടിസ്ഥാനമാക്കിയുള്ളതാണ്: പ്രസക്തമായ ഒരു വിൻഡോ, കങ്ക്, വാചകം, അല്ലെങ്കിൽ പാസേജ് കണ്ടെത്തി അത് താഴേക്ക് കൈമാറുക. രണ്ടാമത്തേത് ജനറേഷൻ അടിസ്ഥാനമാക്കിയുള്ളതാണ്: പേജിൽ നിന്ന് ചോദ്യ കേന്ദ്രീകൃതമായ ഒരു സംഗ്രഹം എഴുതാൻ ഒരു മോഡലിനോട് ആവശ്യപ്പെടുക.

കൃത്യത, ലേറ്റൻസി, ചെലവ് എന്നിവയിലുള്ള ഞങ്ങളുടെ ശ്രദ്ധ ഡിസൈൻ തിരഞ്ഞെടുപ്പ് വ്യക്തമാക്കുന്നു. എല്ലാ മൂന്ന് ലക്ഷ്യങ്ങളിലും പ്രകടനത്തെ ബാധിക്കുന്നതിനാൽ, ഓരോ പേജിലും പുതിയൊരു സംഗ്രഹം സൃഷ്ടിക്കുന്നത് ഒഴിവാക്കിക്കൊണ്ട് ജനറേഷൻ ഞങ്ങൾക്ക് ഒഴിവാക്കാം. നമ്മൾ ശ്രദ്ധിക്കുന്ന എവിഡൻസ് ലേയറിന് സംഗ്രഹം അനുയോജ്യമല്ല. ഇത് ഉറവിടത്തെ പുനരാഖ്യാനം ചെയ്തേക്കാം, ഇത് സൈറ്റേഷൻ അലൈൻമെന്റ് കൂടുതൽ ബുദ്ധിമുട്ടാക്കുന്നു. അന്തിമ ഉത്തരത്തിന് പകരം സ്നിപ്പെറ്റ് തെളിവായി ഉപയോഗിക്കുമ്പോൾ അപകടകരമായേക്കാവുന്ന, പേജിൽ ഇല്ലാത്ത പദപ്രയോഗങ്ങൾ അവതരിപ്പിക്കാനും ഇതിന് കഴിഞ്ഞേക്കും. ഇതിൽ ഉൾപ്പെട്ടിരിക്കുന്ന ലേറ്റൻസിയും ചെലവും ജനറേഷനെ കൂടുതൽ അസ്വീകാര്യമാക്കുന്നു.

പകരം, വീണ്ടെടുത്ത സന്ദർഭത്തിലെ സഹായകരമായ ഭാഗങ്ങളെ ശ്രദ്ധതിരിക്കുന്ന ഭാഗങ്ങളിൽ നിന്ന് വേർതിരിച്ചുകൊണ്ട്, ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള എക്സ്ട്രാക്റ്റീവ് കംപ്രഷൻ ആയി ഞങ്ങൾ ഞങ്ങളുടെ ടാസ്കിനെ നിർവചിക്കുന്നു. പ്രത്യേകിച്ചും, ഞങ്ങളുടെ മോഡൽ ഒരു ചോദ്യവും കാൻഡിഡേറ്റ് ഫലവും സ്വീകരിക്കുകയും, ചോദ്യത്തെ ഏറ്റവും മികച്ച രീതിയിൽ പിന്തുണയ്ക്കുന്ന ഏത് സ്പാനുകൾ സംരക്ഷിക്കണമെന്നും ബാക്കിയുള്ളവ ഏത് ഉപേക്ഷിക്കണമെന്നും തീരുമാനിക്കുകയും വേണം. മോഡൽ ഔട്ട്പുട്ട് ഉറവിട വാചകം തിരുത്തിയെഴുതുന്നതിന് പകരം അത് സംരക്ഷിക്കുന്നു. ഇത് ഫലം ഉദ്ധരിക്കാനും പരിശോധിക്കാനും ഡൗൺസ്ട്രീമിലേക്ക് കൈമാറാനും എളുപ്പമാക്കുന്നു.

ഉദാഹരണത്തിന്, ഈ ചോദ്യവും വീണ്ടെടുത്ത ഫലവും പരിഗണിക്കുക:

വലുതാക്കുക

ബോൾഡ് ചെയ്ത വാചകം തിരഞ്ഞെടുക്കുക എന്നതാണ് അനുയോജ്യമായ ഒരു മോഡൽ ഔട്ട്പുട്ട്: “ഇൻ കോമറ്റ്, അസിസ്റ്റന്റിന് കഴിയുന്നത് ...”.

ഉൽപ്പാദന തിരച്ചിൽ സംവിധാനത്തിൽ സ്നിപ്പെറ്റ് ജനറേഷനായി പൊരുത്തപ്പെടുത്തിക്കൊണ്ട്, FliCo, Provence, LooComp പോലുള്ള മുൻകാല സന്ദർഭ-കംപ്രഷൻ ജോലികളുടെ അതേ വിശാലമായ ആശയമാണ് ഞങ്ങളുടെ സമീപനം പിന്തുടരുന്നത്. പ്രധാനപ്പെട്ട കാര്യം, ഞങ്ങളുടെ റോ റിട്രീവൽ ഘട്ടത്തിന് ശേഷം മോഡൽ ഒരു പ്രിസിഷൻ ഘട്ടമായി പ്രവർത്തിക്കുന്നു എന്നതാണ്. ഞങ്ങളുടെ മുൻ Perplexity ഗവേഷണ ലേഖനമായ Introducing the Perplexity Search API-ൽ ചർച്ച ചെയ്തതുപോലെ, സബ്-ഡോക്ുമെന്റ് അല്ലെങ്കിൽ സ്നിപ്പെറ്റ് തലത്തിൽ നേറ്റീവ് ആയി പ്രവർത്തിക്കാൻ ഞങ്ങൾ ഞങ്ങളുടെ റിട്രീവൽ സിസ്റ്റങ്ങൾ ആർക്കിടെക്റ്റ് ചെയ്യുന്നു, ഇത് കൃത്യതയും റീകോളും വളരെ നന്നായി ബാലൻസ് ചെയ്യാൻ ഞങ്ങളെ ഇതിനകം അനുവദിക്കുന്നു. ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള സന്ദർഭ കംപ്രഷൻ മോഡൽ അവതരിപ്പിക്കുന്നത് കൃത്യത-റീക്കോൾ പരേട്ടോ അതിർത്തിയെ കൂടുതൽ പുറത്തേക്ക് മാറ്റുന്നു.

ഒരു സന്ദർഭ കംപ്രഷൻ മോഡൽ നിർമ്മിക്കുകയും പരിശീലിപ്പിക്കുകയും ചെയ്യുന്നു

മൂന്ന് പ്രധാന കാര്യങ്ങൾ മനസ്സിൽ വെച്ചുകൊണ്ടാണ് ഞങ്ങൾ ഞങ്ങളുടെ മോഡൽ വികസിപ്പിക്കുന്നത്: ചോദ്യത്തിന്റെയും സന്ദർഭത്തിന്റെയും സംയുക്ത ധാരണ, മികച്ച രീതിയിലുള്ള വാചക തലത്തിലുള്ള തിരഞ്ഞെടുപ്പ്, തീവ്രമായ ലേറ്റൻസി ബജറ്റിനുള്ളിൽ അനുയോജ്യമാകുന്നതിനുള്ള കാര്യക്ഷമത.

മോഡൽ ആർക്കിടെക്ചർ

ഞങ്ങൾ ബാക്ക്ബോൺ ആയി ഒരു pplx-ഡിഫ്യൂഷൻ മോഡൽ ഉപയോഗിക്കുന്നു. pplx-embed-v1-ന്റെ പിന്നിലുള്ള അതേ മോഡൽ കുടുംബമാണിത്, ഞങ്ങളുടെ മുൻ അക്കാദമിക് ജോലിയായ Diffusion-Pretrained Dense and Contextual Embeddings, ഞങ്ങളുടെ പ്രൊഡക്ഷൻ ബെഞ്ച്മാർക്കുകൾ എന്നിവ ചോദ്യ-സന്ദർഭ ജോഡികൾക്കായി ഇത് ശക്തമായ ഒരു ബിഡೈറക്ഷണൽ എൻകോഡർ ആണെന്ന് സ്ഥിരീകരിക്കുന്നു. ഈ മോഡൽ കുടുംബത്തിലെ പ്രധാന സവിശേഷതകളിൽ ഒന്നാണ് ബിഡൈറക്ഷണൽ സന്ദർഭം: മോഡൽ എന്ത് സൂക്ഷിക്കണമെന്ന് തീരുമാനിക്കുന്നതിന് മുമ്പ് ഓരോ ടോക്കൺ റെപ്രസന്റേഷനും മുഴുവൻ ചോദ്യത്തിലും മുഴുവൻ കാൻഡിഡേറ്റ് സന്ദർഭത്തിലും ശ്രദ്ധ കേന്ദ്രീകരിക്കാൻ കഴിയും.

ഈ ബാക്ക്ബോണിന് മുകളിൽ, സന്ദർഭത്തിന്റെ ഏത് ഭാഗങ്ങൾ സൂക്ഷിക്കണമെന്ന് പ്രവചിക്കുന്ന ഭാരം കുറഞ്ഞ ഒരു കംപ്രഷൻ ഹെഡ് ഞങ്ങൾ പരിശീലിപ്പിക്കുന്നു. ജനറേഷൻ ഒന്നും ഉൾപ്പെട്ടിട്ടില്ലാത്തതിനാൽ, ഈ പ്രവചനങ്ങൾ മുഴുവൻ സന്ദർഭത്തിലുമായി സമാന്തരമായിട്ടാണ് നടപ്പിലാക്കുന്നത്. സെർവിംഗ് സമയത്ത്, സ്നിപ്പെറ്റ് എൻജിൻ ഈ പ്രവചനങ്ങൾ വാചക തലത്തിൽ സംയോജിപ്പിക്കുകയും, ഒരു പരിധി (threshold) പ്രയോഗിക്കുകയും, അഭ്യർത്ഥിച്ച ടോക്കൺ ബജറ്റിലേക്ക് ഫലം വെട്ടിച്ചുരുക്കുകയും ചെയ്യുന്നു.

മേൽനോട്ട പൈപ്പ്‌ലൈൻ (Supervision pipeline)

ഈ കംപ്രസ്സറിനെ പരിശീലിപ്പിക്കുന്നതിന് ശരിയായ ഗ്രാനുലാരിറ്റിയിൽ മേൽനോട്ടം ആവശ്യമാണ്. പ്രമാണ തലത്തിലുള്ള പ്രസക്തി ലേബൽ ഞങ്ങളുടെ എക്സ്ട്രാക്റ്റീവ് കംപ്രഷൻ ടാസ്കിന് തീർത്തും അനുയോജ്യമല്ല. സൂപ്പർവൈസ്ഡ് ലേണിംഗിനായി വേണ്ടത്ര ഗ്രാനുലാർ ഡാറ്റ സൃഷ്ടിക്കുന്നതിനായി, ചോദ്യവുമായി ബന്ധപ്പെട്ട തെളിവ് സ്പാനുകളും നീക്കം ചെയ്യേണ്ട ഡിസ്ട്രാക്ടർ സ്പാനുകളും അടയാളപ്പെടുത്തുന്ന ഒരു സ്പാൻ ലേബലിംഗ് പൈപ്പ്‌ലൈൻ ഞങ്ങൾ നിർമ്മിച്ചു.

ഞങ്ങളുടെ പൈപ്പ്‌ലൈൻ LLM-as-a-judge സജ്ജീകരണമാണ് ഉപയോഗിക്കുന്നത്. ഒരു ഉപയോക്തൃ ചോദ്യവും അതിന്റെ ലിങ്ക്, ശീർഷകം, സംഗ്രഹം എന്നിവയോടുകൂടിയ കാൻഡിഡേറ്റ് വെബ് പേജും നൽകിക്കഴിഞ്ഞാൽ, ജഡ്ജി ആദ്യം ചോദ്യം മനസ്സിലാക്കുകയും ചോദ്യം വിശകലനം ചെയ്യുകയും സാധ്യമായ ഉപയോക്തൃ ഉദ്ദേശ്യങ്ങളുടെ ഒരു ലിസ്റ്റ് തയ്യാറാക്കുകയും ചെയ്യുന്നു. ഈ ഉദ്ദേശ്യങ്ങളിൽ ഊന്നിക്കൊണ്ട്, ജഡ്ജി തുടർന്ന് കാൻഡിഡേറ്റ് സന്ദർഭം പ്രോസസ്സ് ചെയ്യുകയും ടെക്സ്റ്റിൽ നിന്ന് കൃത്യമായി പകർത്തിയ സ്പാനുകൾ തിരികെ നൽകുകയും ചെയ്യുന്നു, കൂടാതെ ലേബലുകൾ പരിശോധിക്കാൻ എളുപ്പമാക്കുന്നതിന് ഓരോ സ്പാനിനും ഒരു വിഭാഗവും നൽകുന്നു.

തുടർന്ന് ഞങ്ങൾ മടക്കിനൽകിയ സ്പാനുകൾ ഉറവിട വാചകവുമായി വീണ്ടും പൊരുത്തപ്പെടുത്തി. ആശ്ചര്യകരമെന്നു പറയട്ടെ, മിക്ക ജഡ്ജി ഔട്ട്പുട്ടുകളും ഇതിനകം കൃത്യമായ പകർപ്പുകളായിരുന്നു: നേറ്റീവ് സ്ട്രിംഗ് മാച്ചിംഗ് 98% സ്പാനുകളും വീണ്ടെടുത്തു. റെജിക്സ് (regex) അടിസ്ഥാനമാക്കിയുള്ള ലളിതമായ മാച്ചിംഗ് പാസ് ചേർത്തത് സ്പാൻ വീണ്ടെടുക്കൽ 100% എത്തിച്ചു. ടോക്കൺ ലെവൽ സൂപ്പർവിഷനിലേക്ക് പരിവർത്തനം ചെയ്യാൻ കഴിയുന്ന വിശ്വസനീയവും ഗ്രാനുലാറുമായ സ്പാനുകൾ ഇത് ഞങ്ങൾക്ക് നൽകി.

മൂല്യനിർണയകൻ്റെ ഈ സൂപ്പർവിഷൻ പൈപ്പ്‌ലൈൻ ഞങ്ങൾ മാനുവൽ ആയി ലേബൽ ചെയ്ത സ്പാനുകളുള്ള ഒരു ചെറിയ ക്യൂറേറ്റഡ് ഡാറ്റാസെറ്റ് ഉപയോഗിച്ച് വിലയിരുത്തി; ചെറിയ ജഡ്ജ് മോഡലുകൾ, വ്യത്യസ്ത പ്രോംപ്റ്റുകൾ, വ്യത്യസ്ത സ്റ്റെപ്പ് കോൺഫിഗറേഷനുകൾ എന്നിവ തമ്മിൽ താരതമ്യം ചെയ്തു. ഏറ്റവും മികച്ച പ്രകടനം കാഴ്ചവെച്ച സജ്ജീകരണം രണ്ട്-ഘട്ട പൈപ്പ്‌ലൈൻ ആയിരുന്നു: ആദ്യം ക്വറി അർത്ഥഗ്രഹണം, തുടർന്ന് വർഗ്ഗീകരിച്ച സ്പാൻ ലേബലിംഗ്. BrowseComp , SimpleQA പോലുള്ള ഡൗൺസ്ട്രീം വെരിഫൈ ചെയ്യാവുന്ന മൂല്യനിർണയങ്ങളിലൂടെയും ഞങ്ങൾ പുറത്തെടുത്ത സ്പാനുകളുടെ സെറ്റ് സാധൂകരിച്ചു; ഇവിടെ നിലനിർത്തിയ തെളിവ് സ്പാനുകൾ മാത്രം ഉപയോഗിച്ചതിലൂടെ ശക്തമായ സ്കോറുകൾ നിലനിർത്തിക്കൊണ്ട് ഇൻപുട്ട് ടോക്കണുകൾ ഗണ്യമായി കുറച്ചു.

ഈ പൈപ്പ്‌ലൈൻ ഉപയോഗിച്ച്, ഞങ്ങൾ 750k ചോദ്യ-പ്രമാണ ജോഡികൾ ലേബൽ ചെയ്യുകയും ബൈനറി ക്രോസ്-എൻട്രോപ്പി ഉപയോഗിച്ച് കംപ്രഷൻ ഹെഡിനെ പരിശീലിപ്പിക്കാൻ ഫലമായുണ്ടായ സ്പാനുകൾ ഉപയോഗിക്കുകയും ചെയ്യുന്നു. ഉപയോക്താവിന്റെ അഭ്യർത്ഥന സേവിക്കാൻ ഡൗൺസ്ട്രീം മോഡലിനെ സഹായിക്കാൻ സാധ്യതയില്ലാത്ത സന്ദർഭം നീക്കം ചെയ്യുമ്പോൾ തന്നെ ഉറവിട വാചകം കേടുകൂടാതെ സൂക്ഷിക്കാൻ ഈ പ്രക്രിയ ഞങ്ങളുടെ ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള കംപ്രഷൻ മോഡലിനെ അനുവദിക്കുന്നു.

തത്സമയ ലേറ്റൻസി ഉറപ്പാക്കുന്നു

സന്ദർഭ കംപ്രഷൻ ഡൗൺസ്ട്രീം മോഡലിന് മുമ്പാണ് ഇരിക്കുന്നത്, ഇത് ഇതിനെ ഒരു ബ്ലോക്കിംഗ് പ്രവർത്തനമാക്കി മാറ്റുന്നു. മാത്രമല്ല, ഓരോ കംപ്രഷനും ചോദ്യത്തെ ആശ്രയിച്ചുള്ളതാണ്. അതിനാൽ, ഓൺലൈൻ പാതയ്ക്ക് കർശനമായ ലേറ്റൻസി പരിധിക്കുള്ളിൽ ഓരോ കാൻഡിഡേറ്റ് ഡോക്യുമെന്റിനുമുള്ള ചോദ്യ-സന്ദർഭ ജോഡികൾ സ്കോർ ചെയ്യേണ്ടതുണ്ട്. വേഗത കുറഞ്ഞ ഒരു കംപ്രഷൻ മോഡൽ സ്വയം പരാജയപ്പെടുത്തുന്ന ഒന്നാണ്, കാരണം ഉയർന്ന കൃത്യതയിൽ നിന്നുള്ള ലേറ്റൻസി നേട്ടങ്ങൾ കംപ്രഷൻ ലേറ്റൻസി തന്നെ ഇല്ലാതാക്കുന്നു. അതേസമയം, ബുദ്ധിശക്തി കുറഞ്ഞ ഒരു കംപ്രഷൻ മോഡൽ എന്ത് വെട്ടിക്കളയണം, എന്ത് നിലനിർത്തണം എന്നതിനെക്കുറിച്ച് മോശമായ തീരുമാനങ്ങൾ എടുക്കും.

കംപ്രഷൻ ഗുണനിലവാരം കുറയാൻ തുടങ്ങുന്നതിന് മുമ്പ് നമുക്ക് എത്രത്തോളം മോഡൽ ശേഷി സുരക്ഷിതമായി നീക്കം ചെയ്യാൻ കഴിയും എന്നതാണ് പ്രായോഗിക ചോദ്യം. ലെയർ പ്രൂണിംഗിലൂടെ നിർമ്മിച്ചതും തിരയൽ പാതയെ ലക്ഷ്യമിട്ടുള്ളതുമായ 11-ലെയർ, 17-ലെയർ വകഭേദങ്ങൾക്ക് എതിരായി ഞങ്ങൾ മുഴുവൻ 28-ലെയർ pplx-ഡിഫ്യൂഷൻ ബാക്ക്ബോണും താരതമ്യം ചെയ്യുന്നു. ഓരോന്നിനും, ഞങ്ങൾ കംപ്രഷൻ പരിധി സ്വീപ്പ് ചെയ്യുകയും രണ്ട് അളവുകൾ അളക്കുകയും ചെയ്യുന്നു: ഒരു ചോദ്യത്തിന് താഴേക്ക് അയച്ച സന്ദർഭ ടോക്കണുകളുടെ ശരാശരി എണ്ണം, കംപ്രഷന് ശേഷം സംരക്ഷിക്കപ്പെട്ട ഉപയോഗപ്രദമായ തെളിവുകളുടെ അനുപാതം.

ചിത്രം 2 ഗുണനിലവാര-കാര്യക്ഷമത അതിർത്തി കാണിക്കുന്നു. മുകളിലേക്ക് ഇടത്തേക്ക് നീങ്ങുമ്പോൾ ഒരു മോഡൽ മികച്ചതായിത്തീരുന്നു: കൂടുതൽ ഉപയോഗപ്രദമായ തെളിവുകൾ സംരക്ഷിക്കപ്പെട്ടുകൊണ്ട് ഡൗൺസ്ട്രീം ടോക്കണുകൾ കുറയുന്നു. 28-ലെയർ മോഡൽ ഗുണനിലവാര റഫറൻസ് നൽകുന്നു. 11-ലെയർ മോഡൽ മോഡലിനെ വളരെ ആക്രമണാത്മകമായി കംപ്രസ് ചെയ്യുന്നതിന്റെ അപകടസാധ്യതകൾ പ്രകടമാക്കുന്നു. പ്രൂൺ ചെയ്ത 17-ലെയർ മോഡൽ ഒരു ഇടനില നിലയെ പ്രതിനിധീകരിക്കുന്നു: സാച്ചുറേറ്റഡ് ഭരണകൂടത്തിൽ ഇത് 28-ലെയർ മോഡലിനെ കൃത്യമായി പിന്തുടരുന്നു, എന്നാൽ മിക്ക പ്രൊഡക്ഷൻ ട്രാഫിക്കും പ്രവർത്തിക്കുന്ന കർക്കശമായ വക്രത്തിന്റെ ഭാഗത്ത് ഒരു ചെറിയ അന്തരം തുറക്കപ്പെടുന്നു.

ആ അന്തരം നികത്താൻ, ഞങ്ങൾ ടോക്കൺ ലെവൽ നോളജ് ഡിസ്റ്റിലേഷൻ ഉപയോഗിക്കുന്നു. ഞങ്ങളുടെ സമീപനം പതിവുള്ളതാണ്: ഒരു ഡിസ്റ്റിലേഷൻ കോഫിഫിഷ്യന്റ് ഉപയോഗിച്ച് ഭാരം നിശ്ചയിച്ചുകൊണ്ട്, ടീച്ചർ മോഡലിന്റെ പ്രവചനങ്ങൾക്കനുസരിച്ച് ഞങ്ങൾ സോഫ്റ്റ് ക്രോസ്-എൻട്രോപ്പി ടേം ഉപയോഗിച്ച് സ്റ്റാൻഡേർഡ് ലോസ് വർദ്ധിപ്പിക്കുന്നു. സ്റ്റുഡന്റ് മോഡലിനെ തുല്യതയിലേക്ക് കൊണ്ട വരാൻ ഇത് മതിയാകും, ഉൽപ്പാദനത്തിൽ ഡിസ്റ്റിൽ ചെയ്ത 17-ലെയർ മോഡലിലേക്ക് പൂർണ്ണമായി മാറാൻ ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു. ഈ പുതിയ പ്രൊഡക്ഷൻ മോഡൽ 28-ലെയർ ടീച്ചറുമായി താരതമ്യം ചെയ്യുമ്പോൾ ഗുണനിലവാര നഷ്ടമില്ലാതെ ഇൻഫറൻസ് ലേറ്റൻസിയിൽ 35-40% കുറവും മൊത്തത്തിലുള്ള GPU കമ്പ്യൂട്ടിൽ 40-45% കുറവും നൽകുന്നു. പ്രൊഡക്ഷൻ ലേറ്റൻസി 20 മിസ് (p99)-ൽ താഴെയാണ്: ഉത്തരം നൽകുന്ന മോഡലിലേക്ക് കൈമാറിയ മൊത്തത്തിലുള്ള ടോക്കണുകൾ ഗണ്യമായി കുറയ്ക്കുമ്പോൾ തന്നെ സേവന പാതയിലേക്ക് ചേർക്കാൻ മാത്രം ചെറുതാണ്.

വലുതാക്കുക

ഗുണനിലവാരവും ടോക്കൺ കാര്യക്ഷമതയും

സന്ദർഭ കംപ്രഷന്റെ ഫലപ്രാപ്തി വിശകലനം ചെയ്യാൻ ഞങ്ങൾ Perplexity-യുടെ Agent API ഒരു ടെസ്റ്റ്ബെഡ് ആയി ഉപയോഗിക്കുന്നു. ഞങ്ങൾ മൂന്ന് Agent API പ്രീസെറ്റുകൾ വിലയിരുത്തുന്നു:

ഓരോ ഫല സെറ്റിനുമുള്ള ടോക്കൺ ബജറ്റ് 1000 ടോക്കണുകളായി പരിമിതപ്പെടുത്തുന്ന ഒരു “കുറഞ്ഞ” (low) സന്ദർഭ പ്രീസെറ്റ്.

ഓരോ ഫല സെറ്റിനുമുള്ള ടോക്കൺ ബജറ്റ് 4000 ടോക്കണുകളായി പരിമിതപ്പെടുത്തുന്ന ഒരു “ഇടത്തരം” (medium) സന്ദർഭ പ്രീസെറ്റ്.

ഓരോ ഫല സെറ്റിനുമുള്ള ടോക്കൺ ബജറ്റ് 10000 ടോക്കണുകളായി പരിമിതപ്പെടുത്തുന്ന ഒരു “ഉയർന്ന” (high) സന്ദർഭ പ്രീസെറ്റ്.

സ്റ്റാൻഡേർഡ്, കംപ്രഷൻ ഇല്ലാത്ത, കംപ്രഷൻ ക്രമീകരണങ്ങൾ എന്നിവ ഈ ടോക്കൺ ബജറ്റുകളെ മാനിക്കുന്നതിനാണ് കോൺഫിഗർ ചെയ്തിരിക്കുന്നത്.

ഏജന്റിക് മൾട്ടി-സ്റ്റെപ്പ് തിരയൽ (BrowseComp)

BrowseComp ബെഞ്ച്മാർക്കിലെ ഏജന്റിക് മൾട്ടി-സ്റ്റെപ്പ് തിരയൽ വർക്ക്ഫ്ലോകളിൽ കംപ്രഷന്റെ സ്വാധീനം ഞങ്ങൾ ആദ്യം പരിശോധിക്കുന്നു. ഞങ്ങളുടെ ഓപ്പൺ സോഴ്സ് search_evals ഹാർനെസ് ഉപയോഗിച്ചാണ് ഞങ്ങൾ ഈ വിലയിരുത്തൽ നടത്തുന്നത്. OpenAI-യുടെ കാനോനിക്കൽ BrowseComp LLM judge prompt ഉപയോഗിച്ച് എല്ലാ റണ്ണുകളിലും ഗ്രേഡിംഗ് ഒന്നുതന്നെയാണ്.

താൽപ്പര്യമുള്ള രണ്ട് അളവുകൾ ബെഞ്ച്മാർക്ക് കൃത്യതയും ടോക്കൺ ഉപയോഗവുമാണ്. പ്രധാനപ്പെട്ട കാര്യം, അഭ്യർത്ഥന ലൈഫ്സൈക്കിളിൽ ഉണ്ടാകുന്ന യഥാർത്ഥ ടോക്കൺ ലോഡ് അളക്കുന്നതിനായി ഞങ്ങൾ വ്യക്തിഗത സ്റ്റെപ്പ് ലെവലിനേക്കാൾ ചോദ്യ തലത്തിലാണ് ടോക്കൺ ഉപയോഗം അളക്കുന്നത്. ചിത്രം 3 “സ്കോർ-ടോക്കൺ” അതിർത്തി, കൃത്യത സ്കോർ vs. ടോക്കൺ ഉപയോഗം എന്നിവ കാണിക്കുന്നു.

വലുതാക്കുക

കംപ്രഷൻ എല്ലായിടത്തും ഒരു പുതിയ പരേട്ടോ അതിർത്തി നൽകുന്നു. ഓരോ ക്രമീകരണത്തിനും, കംപ്രഷൻ അവതരിപ്പിക്കുന്നത് ചോദ്യ ലെവൽ ടോക്കൺ ഉപയോഗം 10% മുതൽ 70% വരെ കുറയ്ക്കുന്നു, കൃത്യത നേട്ടങ്ങൾ 4 നും 4.81 ശതമാനത്തിനും ഇടയിലാണ്. കംപ്രഷൻ അവതരിപ്പിക്കുന്നത് ഞങ്ങളുടെ “കുറഞ്ഞ” പ്രീസെറ്റിനെപ്പോലും കംപ്രഷൻ ഇല്ലാത്ത “ഉയർന്ന” പ്രീസെറ്റിനേക്കാൾ മികച്ച രീതിയിൽ പ്രവർത്തിക്കാൻ അനുവദിക്കുന്നു, അതേസമയം ടോക്കൺ ഉപയോഗം മൂന്നിരട്ടിയിലധികം കുറയ്ക്കുകയും ചെയ്യുന്നു.

കംപ്രഷൻ ഉപയോഗിച്ച്, നമ്മൾ പ്രതീക്ഷിക്കുന്നത് പോലെ “ഉയർന്നത്” “ഇടത്തരത്തേക്കാൾ” ഉയർന്ന കൃത്യത നൽകുന്നു എന്ന് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു. എന്നിരുന്നാലും, കൗതുകകരമെന്നു പറയട്ടെ, കുറഞ്ഞ ടോക്കൺ ഉപയോഗത്തിലാണ് ഇത് സംഭവിക്കുന്നത്. ഇത് കംപ്രഷന്റെ സൂക്ഷ്മവും എന്നാൽ പ്രധാനപ്പെട്ടതുമായ ഒരു ഫലം വെളിപ്പെടുത്തുന്നു: കംപ്രഷൻ ഉപയോഗിച്ച്, പ്രതി-സ്റ്റെപ്പ് സന്ദർഭ വലുപ്പം വർദ്ധിപ്പിക്കുന്നത് പോലും ശരിയായ ഫലത്തിൽ എത്തിച്ചേരാൻ മോഡലിന് കുറച്ച് ഘട്ടങ്ങൾ മാത്രം എടുക്കാൻ പ്രാപ്തമാക്കിയേക്കാം. ഈ നോൺ-മൊണോടോണിസിറ്റി പര്യവേക്ഷണം ചെയ്യുന്നത് ഭാവിയിലെ ജോലികൾക്കായുള്ള ഒരു വാഗ്ദാനമായ ദിശയാണ്.

SimpleQA: സിംഗിൾ-സ്റ്റെപ്പ് ഫാക്ചുമാലിറ്റി

BrowseComp മൾട്ടി-സ്റ്റെപ്പ് ഗവേഷണത്തിന് പ്രാധാന്യം നൽകുന്നു, എന്നിരുന്നാലും പല പ്രൊഡക്ഷൻ വർക്ക്ഫ്ലോകളിലും സിംഗിൾ-സ്റ്റെപ്പ് ഫാക്ചുഅൽ ലുക്ക്അപ്പ് ഉൾപ്പെടുന്നു. സിംഗിൾ-സ്റ്റെപ്പ് ഭരണകൂടത്തിലും കംപ്രഷൻ സഹായിക്കുന്നുണ്ടോ എന്ന് നിർണ്ണയിക്കാൻ, ഒരു ഏജന്റിക് ലൂപ്പിന് പകരം ഒ ഒറ്റ തിരയൽ ഘട്ടത്തിൽ ഉത്തരം നൽകേണ്ട 4,326 ചോദ്യങ്ങൾ അടങ്ങിയ ബെഞ്ച്മാർക്കായ SimpleQA-യിലെ പ്രകടനവും ഞങ്ങൾ പരിശോധിക്കുന്നു.

മുമ്പത്തെപ്പോലെ, കാനോനിക്കൽ ജഡ്ജ് പ്രോംപ്റ്റ് ഉപയോഗിച്ച് ടാസ്കിന്മേലുള്ള ശരാശരി മൊത്തം ടോക്കണുകൾക്കെതിരെ ഞങ്ങൾ കൃത്യത പ്ലോട്ട് ചെയ്യുന്നു. ചിത്രം 4 ഈ സിംഗിൾ-സ്റ്റെപ്പ് ക്രമീകരണത്തിലെ സ്കോർ-ടോക്കൺ അതിർത്തി കാണിക്കുന്നു. സിംഗിൾ-സ്റ്റെപ്പ് ക്രമീകരണത്തിൽ ഇഫക്റ്റ് വലുപ്പങ്ങൾ കൂടുതൽ കംപ്രസ് ചെയ്യപ്പെട്ടിട്ടുണ്ടെങ്കിലും, കംപ്രഷൻ ഒരേസമയം എല്ലാ പ്രീസെറ്റുകളിലും കൃത്യതയും കാര്യക്ഷമതയും മെച്ചപ്പെടുത്തുന്നു എന്ന് ഞങ്ങൾ വീണ്ടും നിരീക്ഷിക്കുന്നു, അങ്ങനെ ഒരു പുതിയ പരേട്ടോ അതിർത്തി അവതരിപ്പിക്കുന്നു. കംപ്രഷൻ പ്രവർത്തനക്ഷമമാക്കുമ്പോൾ, ഇടത്തരം പ്രീസെറ്റ് ഡോക്യുമെന്റിന് ശരാശരി 200 ടോക്കണുകൾ മാത്രം ഉപയോഗിച്ച് 95% കൃത്യത കൈവരിക്കുന്നു. 10,000-ത്തിലധികം ടോക്കണുകളുടെ ശരാശരി ഡോക്യുമെന്റ് നീളം കണക്കിലെടുക്കുമ്പോൾ, ഇത് 50-ൽ കൂടുതൽ കംപ്രഷൻ അനുപാതത്തിൽ ഫ്രണ്ടിയർ ലെവൽ പ്രകടനത്തെ പ്രതിനിധീകരിക്കുന്നു.

വലുതാക്കുക

സ്നിപ്പെറ്റുകളിൽ എന്താണ് അവസാനിക്കുന്നത്?

വിഭാഗം 4.1-ലെയും 4.2-ലെയും ഡൗൺസ്ട്രീം നേട്ടങ്ങൾ എൻഡ്-ടു-എൻഡ് ആണ്. വ്യക്തിഗത സ്നിപ്പെറ്റുകളെ കംപ്രഷൻ എങ്ങനെ മാറ്റുന്നുവെന്ന് മനസിലാക്കാൻ, വീണ്ടെടുത്ത ഓരോ സ്നിപ്പെറ്റിന്റെയും ഓരോ ടോക്കണും ആറ് വിഭാഗങ്ങളിൽ ഒന്നായി തരംതിരിക്കാൻ ഒരു LLM ജഡ്ജിയെ ഉപയോഗിക്കുന്ന ഒരു പ്രത്യേക വിലയിരുത്തൽ ഞങ്ങൾ നടത്തുന്നു:

പ്രധാനം (Vital): ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ഉത്തരം നൽകാൻ ആവശ്യമായ തെളിവ്.

ഓഫ്-ടോപ്പിക്: മറ്റ് ചില ആവശ്യങ്ങൾക്ക് ഉപയോഗപ്രദമായേക്കാവുന്ന എന്നാൽ കൈയിലുള്ള ചോദ്യവുമായി ബന്ധമില്ലാത്ത വിവരങ്ങൾ.

പരസ്യങ്ങൾ (Ads): ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ഉത്തരം നൽകുന്നതിൽ നിന്ന് ശ്രദ്ധ തിരിക്കുന്ന അപ്രസക്തമായ പരസ്യങ്ങൾ.

മെറ്റാഡാറ്റ: പ്രമാണത്തിന്റെ ഉള്ളടക്കത്തെക്കുറിച്ചുള്ള മെറ്റാഡാറ്റ.

UI & നാവിഗേഷൻ: ഫ്രണ്ട്എൻഡ് ഡിസ്പ്ലേയ്ക്കും നാവിഗേഷനുമുള്ള ഘടകങ്ങൾ.

ഡ്യൂപ്ലിക്കേറ്റ്: മുമ്പ് ഉൾപ്പെടുത്തിയ വിവരങ്ങളുടെ ആവർത്തനം.

ഞങ്ങളുടെ മൂല്യനിർണയ റണുകൾ ഞങ്ങളുടെ വാലിഡേഷൻ സെറ്റിൽ നിന്നുള്ള 1,000 മിശ്ര-ഡൊമെയ്ൻ ക്വറികളിൽ പ്രവർത്തിക്കുന്നു; കംപ്രഷൻ അപ്രാപ്തമാക്കിയ, അതേപോലുള്ള ഒരു ബേസ്‌ലൈനുമായി പ്രൊഡക്ഷൻ സ്റ്റാക്കിനെ താരതമ്യം ചെയ്യുന്നു. Figure 5-ൽ കാണുന്നതുപോലെ, കംപ്രഷൻ ഓരോ സ്നിപ്പറ്റിലുമുള്ള അത്യാവശ്യ ടോക്കണുകളുടെ അനുപാതം കംപ്രഷൻ ഇല്ലാത്ത ബേസ്‌ലൈനിനെക്കാൾ ശരാശരി 63% വർധിപ്പിക്കുന്നു. ബന്ധപ്പെട്ട്, അപ്രസക്തമായ ടോക്കണുകളിൽ 29% കുറവ് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു; പ്രത്യേകിച്ച് UI/navigation (-58%), metadata (-46%), ads (-43%) എന്നിവയിൽ കുത്തനെ ഇടിവുകൾ കാണാം. മുകളിൽ ചർച്ച ചെയ്ത ഗുണനിലവാര-കാര്യക്ഷമത മെച്ചപ്പെടുത്തലുകളുടെ യന്ത്രവത്കരണം ഈ ഫലങ്ങൾ സ്ഥിരീകരിക്കുന്നു: ഓരോ വ്യക്തിഗത സ്നിപ്പറ്റിന്റെയും signal-to-noise അനുപാതം കുത്തനെ ഉയർത്തുന്നതിലൂടെ കംപ്രഷൻ ഇരുവശത്തും പ്രകടനം മെച്ചപ്പെടുത്തുന്നു.

വലുതാക്കുക

വ്യക്തിഗത ചോദ്യത്തിനായി ചിത്രം 6 ഈ മാറ്റം വ്യക്തമാക്കുന്നു. “6 day old newborn milk intake per feeding” എന്ന ചോദ്യത്തിനായി, കംപ്രസ് ചെയ്യാത്ത, ബേസ്‌ലൈൻ, കംപ്രസ് ചെയ്ത സ്നിപ്പെറ്റുകൾ ഞങ്ങൾ കാണിക്കുന്നു. കംപ്രഷൻ സുപ്രധാനമല്ലാത്ത ഉള്ളടക്ക വിഭാഗങ്ങളെ ഇല്ലാതാക്കുകയും നവജാതശിശുറുമായി ബന്ധപ്പെട്ട ഫീഡിംഗ് വിവരങ്ങൾ മാത്രം നിലനിർത്തുകയും ചെയ്യുന്നു. പ്രധാനപ്പെട്ട കാര്യം, പേജിന് പൊതുവെ വിഷയവുമായി ബന്ധപ്പെട്ടതായിരിക്കാമെങ്കിലും, ഈ നിർദ്ദിഷ്ട നവജാതശിശു-കേന്ദ്രീകൃത ചോദ്യത്തിന് അപ്രസക്തമായ ഉള്ളടക്കം കംപ്രഷൻ വിജയകരമായി ഇല്ലാതാക്കുന്നു.

വലുതാക്കുക

ഉപസംഹാരം

ഉപയോക്തൃ അഭ്യർത്ഥനകൾ ബുദ്ധിപരമായും കാര്യക്ഷമമായും സേവിക്കുന്നതിന് AI സിസ്റ്റങ്ങൾ ഉയർന്ന സിഗ്നൽ വിവരങ്ങളെ ആശ്രയിക്കുന്നു. ഓരോ അഭ്യർത്ഥനയ്ക്കുമുള്ള പ്രസക്തി പരമാവധിയാക്കാൻ ഈ വിവരങ്ങൾ കഴിയുന്നത്ര കൃത്യമായി അവതരിപ്പിക്കണം. ഞങ്ങളുടെ പുതിയ ചോദ്യത്തെ അടിസ്ഥാനമാക്കിയുള്ള കംപ്രഷൻ മോഡലുകൾ ഓരോ സ്നിപ്പെറ്റിലെയും ഓൺ-ടോപ്പിക് തെളിവുകൾ പരമാവധിയാക്കുകയും അപ്രസക്തമായ ഡിസ്ട്രാക്ടറുകൾ ആക്രമണാത്മകമായി ഒഴിവാക്കുകയും ചെയ്തുകൊണ്ട് കൃത്യമായി ഇതുതന്നെ ചെയ്യുന്നു.

ഞങ്ങളുടെ സെർച്ച് സ്റ്റാക്കിനുള്ളിൽ ഈ പുതിയ മോഡലുകൾ വിന്യസിക്കുന്നതിലൂടെ, ഞങ്ങളുടെ ഉൽപ്പന്നങ്ങളെയും API-കളെയും ആശ്രയിക്കുന്നവർക്ക് വേഗതയേറിയതും മികച്ചതുമായ പ്രതികരണങ്ങൾ നൽകാൻ ഞങ്ങൾക്ക് കഴിയുന്നു. ഞങ്ങളുടെ സമീപനം ലളിതമായ ഒരു നിയന്ത്രണ ഉപരിതലം സൃഷ്ടിക്കുന്നു, റീകോൾ, ലേറ്റൻസി, ചെലവ് എന്നിവ തമ്മിലുള്ള ബാലൻസ് നിലനിർത്താൻ കംപ്രഷൻ ഡിഗ്രി ട്യൂൺ ചെയ്യാൻ ഞങ്ങളുടെ സിസ്റ്റങ്ങളെയും API ഉപഭോക്താക്കളെയും ഇത് അനുവദിക്കുന്നു.

സന്ദർഭ ക്യൂറേഷൻ വളർന്നുവരുന്ന ഒരു മേഖലയാണ്, ഇന്നത്തെ ഫ്രണ്ടിയർ ഇന്റലിജൻസ് സിസ്റ്റങ്ങൾക്കുള്ളിൽ ഉപയോഗിക്കുന്ന ഓരോ ടോക്കണിന്റെയും മൂല്യം ഒപ്റ്റിമൈസ് ചെയ്യാൻ ഇനിയും ഒരുപാട് ചെയ്യാനുണ്ട്. ഈ മോഡലുകളുടെ കൂടുതൽ വിപുലമായ ഉപയോഗം നടത്തുന്നതിനായി മോഡൽ മെച്ചപ്പെടുത്തലുകൾ, സിസ്റ്റം ആർക്കിടെക്ചർ എന്നിവയിലൂടെ ഞങ്ങളുടെ സന്ദർഭ ക്യൂറേഷൻ സാങ്കേതിക വിദ്യകൾ കൂടുതൽ മെച്ചപ്പെടുത്താൻ ഞങ്ങൾ സജീവമായി പ്രവർത്തിക്കുന്നു.

റെഫറൻസുകൾ

N. Chirkova, T. Formal, V. Nikoulina, and S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Accepted to ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, and D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, and D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, and G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

ഉദ്ധരണി

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://www.perplexity.ai/hub/blog/query-aware-context-compression-for-better-snippets}
}