Uz vaicājumu orientēta konteksta saspiešana labākiem fragmentiem

Katra atbilde sākas ar pierādījumiem. Meklēšanas sistēmā šie pierādījumi parasti nāk no dokumentiem: virsrakstiem, kopsavilkumiem, fragmentiem un izgriezumiem, kas tiek nodoti kā konteksts atbilžu modelim vai aģentam.

Šis neapstrādātais konteksts ir trokšņains. Piemēram, tīmekļa lapā var būt informācija, kas nepieciešama lietotāja pieprasījumam, taču tajā var būt arī traucējoši elementi. Šie traucējošie elementi var parādīties gan pamattekstā, gan papildu elementos, piemēram, navigācijas teksta elementos, neatbilstošās reklamās, metadatos un citur. Šo traucējošo elementu nodošana pakārtotajam aģentam rada trīs problēmas.

Pirmkārt, tas mazina precizitāti. Pat visjaudīgākajiem modeļiem ir ierobežota kapacitāte. Garas neatbilstošas informācijas plūsmas izšķērdē modeļa kapacitāti, izraisot “konteksta panīkumu”, kas pasliktina modeļa spēju atbildēt uz reālo lietotāja pieprasījumu. Tā rezultātā galīgajā atbildē biežāk tiek izlaisti galvenie fakti, par zemu vai par augstu tiek novērtēta zemas kvalitātes informācija vai tiek radīti apgalvojumi, kurus ir grūtāk pamatot avotā.

Otrkārt, tas palielina aizturi. Garāks konteksts nozīmē vairāk marķieru, kas pakārtotajam modelim ir jāapstrādā, jo īpaši tad, ja vaicājumam nepieciešami pierādījumi no daudzām kandidātlapām. Lai gan daļa no šī aiztures laika tiek patērēta iepriekšējās sagatavošanas posmā, daudz nozīmīgākas izmaksas rodas spriešanas procesā, jo modelim ir nepieciešams vairāk spriešanas marķieru, lai tiktu galā ar neatbilstošu kontekstu.

Treškārt, tas palielina izmaksas. Katrs nevajadzīgs marķieris, kas tiek nodots modelim, sadārdzina lietotāja pieprasījuma apkalpošanu, jo, palielinoties konteksta troksnim, pieaug gan ievades marķieru, gan spriešanas marķieru izmantošana. Traucējošie elementi ne tikai samazina kvalitāti, bet galu galā liek jums maksāt vairāk par šo sliktāko kvalitāti.

Izvērst

Lai vienlaikus uzlabotu precizitāti, ātrumu un izmaksu efektivitāti visās Perplexity lietojumprogrammās un API Platform, mēs ieguldām ievērojamas pūles konteksta precizitātes uzlabošanā. Viens no veidiem, kā mēs to darām, ir mūsu fragmentu ģenerēšanas algoritmu pilnveidošana. Mēs uztveram fragmentu ģenerēšanu kā konteksta saspiešanas problēmu. Modeļiem, kas meklē konkrētu informāciju, nav ieguvuma no vispārinātiem dokumenta kopsavilkumiem vai izvilkumiem. Tā vietā tiem ir nepieciešams mazākais, ķirurģiski precīzāk izgūtais avota informācijas gabals, lai atbildētu uz lietotāja pieprasījumu. Viss pārējais var un ir jānoņem.

Tāpēc labam fragmentam vajadzētu veikt trīs lietas:

Veicināt precizitāti, uzrādot precīzus pierādījumus, kas nepieciešami modeļa atbildes pamatošanai.

Samazināt aizturi un izmaksas, pirms LLM izsaukuma noņemot neatbilstošo kontekstu.

Nodrošināt izsekojamību, saglabājot citātu precizitāti un avota formulējumu neskartu.

Šajā mēnesī mēs izvietojām jaunu, modernāko fragmentu ģeneratoru mūsu lietojumprogrammās un API Platform. Šī moduļa kodols ir uz vaicājumu orientēts konteksta saspiešanas modelis, kas katram vaicājumam un kandidāta rezultātam izlemj, kurš laidumu apakškopa ir jāsaglabā. Šajā rakstā ir aprakstīta mūsu pieeja modeļa izveidei un apmācībai, lai sasniegtu savā klasē labāko sniegumu šajā kritiskajā uzdevumā.

Fragmenti kā uz vaicājumu orientēta saspiešana

Pirmais uzdevums ir definēt pašu uzdevumu. Ko mēs vēlamies, lai šis modelis dara, un kā mums vajadzētu definēt ievades un izvades shēmu?

Fragmentu metodes iedalās divās plašās saimēs. Pirmā ir balstīta uz atlasi: atrast attiecīgu logu, bloku, teikumu vai pasāžu un nodot to tālāk. Otrā ir balstīta uz ģenerēšanu: lūgt modelim uzrakstīt uz vaicājumu orientētu kopsavilkumu no lapas.

Mūsu fokusēšanās uz precizitāti, aizturi un izmaksām padara dizaina izvēli skaidru. Mēs varam noraidīt ģenerēšanu, jo jauna kopsavilkuma izveide katrai lapai pasliktina veiktspēju visās trīs jomās. Kopsavilkumu veidošana slikti sader ar pierādījumu slāni, kas mums rūp. Tas var pārfrāzēt avotu, apgrūtinot citātu saskaņošanu. Tas var arī ieviest formulējumu, kas nebija sastopams lapā, kas ir riskanti, ja fragments tiek izmantots kā pierādījums, nevis kā galīgā atbilde. Saistītā aizture un izmaksas padara ģenerēšanu vēl nepieņemamāku.

Tā vietā mēs definējam savu uzdevumu kā uz vaicājumu orientētu izgūstošo saspiešanu: noderīgo iegūtā konteksta daļu atdalīšanu no traucējošajām daļām. Konkrēti, mūsu modelim ir jāpieņem vaicājums un kandidāta rezultāts, un jāizlemj, kuri laidumi jāsaglabā – tie, kas vislabāk atbalsta vaicājumu – un kuri jānoraida, proti, pārējie. Modeļa izvade saglabā avota tekstu, nevis to pārraksta. Tas padara rezultātu vieglāk citējamu, vieglāk pārbaudāmu un lētāk nododamu tālāk.

Piemēram, apsveriet šo vaicājumu un iegūto rezultātu:

Izvērst

Ticama modeļa izvade būtu trekrakstā iezīmētā teikuma atlasīšana: "Programmā Comet asistents var...".

Mūsu pieeja seko tai pašai vispārējajai idejai kā iepriekšējais darbs pie konteksta saspiešanas, piemēram, FliCo, Provence un LooComp, kas pielāgots fragmentu ģenerēšanai ražošanas meklēšanas sistēmā. Svarīgi ir tas, ka modelis darbojas kā precizitātes posms pēc mūsu neapstrādātās izgūšanas posma. Kā apspriests mūsu iepriekšējā Perplexity Research rakstā Introducing the Perplexity Search API, mēs veidojam savas izgūšanas sistēmas tā, lai tās darbotos dabiski apakšdokumentu vai fragmentu līmenī, kas mums jau tagad ļauj diezgan labi sabalansēt precizitāti un atsaukumu. Uz vaicājumu orientēta konteksta saspiešanas modeļa ieviešana virza precizitātes un atsaukuma Pareto robežu vēl tālāk uz āru.

Konteksta saspiešanas modeļa izveide un apmācība

Mēs izstrādājam savu modeli, paturot prātā trīs galvenos apsvērumus: kopīgu vaicājuma un konteksta izpratni, smalkgraudainu teikuma līmeņa atlasi un efektivitāti, lai iekļautos ārkārtīgi stingrā aiztures budžetā.

Modeļa arhitektūra

Mēs izmantojam pplx-diffusion modeli kā pamatsistēmu. Šī ir tā pati modeļu saime, kas stāv aiz pplx-embed-v1, un gan mūsu iepriekšējais akadēmiskais darbs Diffusion-Pretrained Dense and Contextual Embeddings, gan mūsu ražošanas etalontesti apstiprina, ka tas ir spēcīgs divvirzienu kodētājs vaicājumu un konteksta pāriem. Viena no šīs modeļu saimes galvenajām īpašībām ir divvirzienu konteksts: katrs marķiera attēlojums var ņemt vērā pilnu vaicājumu un pilnu kandidāta kontekstu pirms modelis izlemj, kas ir jāsaglabā.

Papildus šai pamatsistēmai mēs apmācām vieglu saspiešanas galviņu, kas prognozē, kuras konteksta daļas ir jāsaglabā. Tā kā netiek veikta ģenerēšana, šīs prognozes tiek veiktas paralēli visā kontekstā. Apkalpošanas laikā fragmentu dzinējs apkopo šīs prognozes teikuma līmenī, piemēro slieksni un apgriež rezultātu līdz pieprasītajam marķieru budžetam.

Uzraudzības konveijers

Šī kompresora apmācībai ir nepieciešama uzraudzība pareizajā granularitātes līmenī. Dokumenta līmeņa atbilstības marķējums ir acīmredzami nepiemērots mūsu izgūstošās saspiešanas uzdevumam. Lai ģenerētu pietiekami detalizētus datus uzraudzītai apmācībai, mēs izveidojām laidumu marķēšanas konveijeru, kas atzīmē vaicājumam atbilstošus pierādījumu laidumus kopā ar traucējošiem laidumiem, kuri būtu jānoņem.

Mūsu konveijers izmanto LLM-kā-tiesneša iestatījumu. Ņemot vērā lietotāja vaicājumu un kandidāta tīmekļa lapu ar tās saiti, virsrakstu un kopsavilkumu, tiesnesis vispirms veic vaicājuma izpratni, analizējot vaicājumu un izveidojot iespējamo lietotāja nolūku sarakstu. Balstoties uz šiem nolūkiem, tiesnesis pēc tam apstrādā kandidāta kontekstu un atgriež tieši no teksta nokopētus laidumus ar kategoriju katram laidumam, lai marķējumus būtu vieglāk pārbaudīt.

Pēc tam mēs saskaņojām atgrieztos laidumus ar avota tekstu. Nav pārsteidzoši, ka lielākā daļa tiesnešu izvadu jau bija precīzas kopijas: vienkārša virkņu salīdzināšana atguva 98% laidumu. Vienkāršas regulāro izteiksmju (regex) salīdzināšanas caurlaides pievienošana palielināja laidumu atgūšanu līdz 100%. Tas mums deva uzticamus, detalizētus laidumus, kurus varēja pārvērst marķiera līmeņa saglabāšanas/noraidīšanas uzraudzībā.

Mēs novērtējām šo uzraudzības konveijeru, izmantojot nelielu sagatavotu datu kopu ar manuāli marķētiem laidumiem, salīdzinot mazākus tiesneša modeļus, dažādas uzvednes un dažādas soļu konfigurācijas. Vislabāk strādājošais iestatījums bija divu posmu konveijers: vispirms vaicājuma izpratne, kam seko kategorizēta laidumu marķēšana. Mēs arī apstiprinājām izgūto laidumu kopu, izmantojot pakārtotos verificējamos novērtējumus, piemēram, BrowseComp un SimpleQA, kur tikai saglabāto pierādījumu laidumu izmantošana saglabāja spēcīgus rezultātus, vienlaikus būtiski samazinot ievades marķieru skaitu.

Izmantojot šo konveijeru, mēs marķējām 750 tūkstošus vaicājumu un dokumentu pāru un izmantojam iegūtos laidumus, lai apmācītu saspiešanas galviņu ar bināro krustenisko entropiju (binary cross-entropy). Šis process ļauj mūsu uz vaicājumu orientētajam saspiešanas modelim saglabāt avota tekstu neskartu, vienlaikus noņemot kontekstu, kas maz ticams, ka palīdzēs pakārtotajam modelim apkalpot lietotāja pieprasījumu.

Reāllaika aiztures nodrošināšana

Konteksta saspiešana atrodas pirms pakārtotā modeļa, padarot to par bloķējošu operāciju. Turklāt katra saspiešana ir atkarīga no vaicājuma. Tāpēc tiešsaistes ceļam ir jānovērtē vaicājumu un konteksta pāri katram kandidāta dokumentam stingrā aiztures ietvarā. Lēns saspiešanas modelis ir pašsabotējošs, jo aiztures ieguvumi no augstākas precizitātes tiek dzēsti pašas saspiešanas aiztures dēļ. Tajā pašā laikā mazāk inteliģents saspiešanas modelis pieņems sliktākus lēmumus par to, kas ir jāizgriež un kas jāsaglabā.

Praktiskais jautājums ir tāds, cik lielu modeļa kapacitāti mēs varam droši noņemt, pirms saspiešanas kvalitāte sāk pasliktināties. Mēs salīdzinām pilnu 28 slāņu pplx-diffusion pamatsistēmu ar 11 slāņu un 17 slāņu variantiem, kas iegūti, veicot slāņu apgriešanu un mērķējot uz meklēšanas ceļu. Katram mēs izskatām saspiešanas slieksni un izmērām divus lielumus: vidējo uz leju nosūtīto konteksta marķieru skaitu uz vienu vaicājumu un noderīgo pierādījumu daļu, kas saglabāta pēc saspiešanas.

2. attēls parāda kvalitātes un efektivitātes robežu. Modelis ir labāks, kad tas virzās uz augšējo kreiso stūri: mazāk pakārtoto marķieru ar vairāk saglabātiem noderīgiem pierādījumiem. 28 slāņu modelis nodrošina kvalitātes atskaites punktu. 11 slāņu modelis parāda riskus, pārāk agresīvi saspiežot modeli. Apgrieztais 17 slāņu modelis pārstāv vidusceļu: tas cieši seko 28 slāņu modelim piesātinātajā režīmā, bet neliela atšķirība parādās līknes stāvajā daļā, kur darbojas lielākā daļa ražošanas datu plūsmas.

Lai novērstu šo atšķirību, mēs izmantojam marķiera līmeņa zināšanu destilāciju. Mūsu pieeja ir ierasta: mēs papildinām standarta zudumu ar mīkstās krusteniskās entropijas (soft cross-entropy) terminu skolotājmodeļa prognozēs, svērtu ar destilācijas koeficientu. Ar to pietiek, lai studenta modeli tuvinātu līdzvērtīgumam, ļaujot mums pilnībā pāriet uz destilēto 17 slāņu modeli ražošanā. Šis jaunais ražošanas modelis nodrošina 35–40% inferences aiztures samazinājumu un 40–45% kopējo GPU skaitļošanas samazinājumu bez kvalitātes krituma salīdzinājumā ar 28 slāņu skolotājmokeli. Ražošanas aizture ir mazāka par 20 ms (p99): pietiekami maza, lai to pievienotu apkalpošanas ceļam, vienlaikus ievērojami samazinot kopējo atbildes modelim nodoto marķieru skaitu.

Izvērst

Kvalitāte un marķieru efektivitāte

Mēs izmantojam Perplexity Agent API kā testa vidi, lai analizētu konteksta saspiešanas efektivitāti. Mēs novērtējam trīs Agent API iepriekšējos iestatījumus:

“Zema” konteksta iepriekšējais iestatījums, kas ierobežo marķieru budžetu katrai rezultātu kopai līdz 1000 marķieriem.

“Vidēja” konteksta iepriekšējais iestatījums, kas ierobežo marķieru budžetu katrai rezultātu kopai līdz 4000 marķieriem.

“Augsta” konteksta iepriekšējais iestatījums, kas ierobežo marķieru budžetu katrai rezultātu kopai līdz 10000 marķieriem.

Gan standarta, gan bezsaspiešanas, gan saspiešanas iestatījumi ir konfigurēti tā, lai ievērotu šos marķieru budžetus.

Aģentu vairāku soļu meklēšana (BrowseComp)

Vispirms mēs izpētām saspiešanas ietekmi uz aģentu vairāku soļu meklēšanas darbplūsmām BrowseComp etalontestā. Mēs veicam šo novērtējumu, izmantojot mūsu atvērtā koda search_evals rīku. Vērtēšana visos izpildes gadījumos ir identiska, izmantojot OpenAI kanonisko BrowseComp LLM tiesneša uzvedni.

Divas interesējošās dimensijas ir etalontesta precizitāte un marķieru izmantošana. Svarīgi ir tas, ka mēs mērām marķieru izmantošanu vaicājuma līmenī, nevis atsevišķu soļu līmenī, lai izmērītu faktisko marķieru slodzi, kas rodas pieprasījuma dzīves cikla laikā. 3. attēls parāda “rezultāta un marķieru” robežu, precizitātes rezultātu pret marķieru izmantošanu.

Izvērst

Saspiešana nodrošina jaunu Pareto robežu visās jomās. Katram iestatījumam saspiešanas ieviešana samazina vaicājuma līmeņa marķieru izmantošanu par 10% līdz 70%, un precizitātes pieaugums svārstās no 4 līdz 4,81 procentu punktam. Saspiešanas ieviešana ļauj pat mūsu “zema” iepriekšējam iestatījumam pārspēt “augsta” iepriekšējo iestatījumu bez saspiešanas, vienlaikus samazinot marķieru izmantošanu vairāk nekā trīs reizes.

Mēs novērojam, ka ar saspiešanu “augsts” sniedz lielāku precizitāti nekā “vidējs”, kā mēs varētu gaidīt. Interesanti tomēr, ka tas notiek ar mazāku marķieru izmantošanu. Tas atklāj smalku, bet svarīgu saspiešanas efektu: ar saspiešanu pat katra soļa konteksta lieluma palielināšana var ļaut modelim veikt mazāk soļu, lai nonāktu līdz pareizajam rezultātam. Šīs nemotoniskas uzvedības izpēte ir daudzsolārs virziens turpmākajam darbam.

SimpleQA: viena soļa faktu meklēšana

BrowseComp akcentē vairāku soļu izpēti, tomēr daudzas ražošanas darbplūsmas ietver viena soļa faktoloģisko meklēšanu. Lai noteiktu, vai saspiešana palīdz arī viena soļa režīmā, mēs apskatām arī veiktspēju SimpleQA, etalontestā, kas ietver 4 326 jautājumus, uz kuriem jāatbild vienā meklēšanas solī, nevis aģenta ciklā.

Tāpat kā iepriekš, mēs attēlojam precizitāti pret vidējiem kopējiem marķieriem uz vienu uzdevumu, izmantojot kanonisko tiesneša uzvedni. 4. attēls parāda rezultāta un marķieru robežu šajā viena soļa iestatījumā. Lai gan ietekmes lielumi viena soļa iestatījumā ir vairāk saspiesti, mēs atkal novērojam, ka saspiešana vienlaikus uzlabo precizitāti un efektivitāti visos iepriekšējos iestatījumos, tādējādi ieviešot jaunu Pareto robežu. Ar iespējotu saspiešanu vidējais iepriekšējais iestatījums sasniedz 95% precizitāti ar vidēji tikai 200 marķieriem uz dokumentu. Ņemot vērā vidējo dokumenta garumu, kas pārsniedz 10 000 marķieru, tas ir augstākā līmeņa sniegums pie saspiešanas koeficienta, kas pārsniedz 50.

Izvērst

Kas nonāk fragmentos?

Pakārtotie ieguvumi 4.1. un 4.2. sadaļā ir pilnīgi (end-to-end). Lai saprastu, kā saspiešana maina atsevišķus fragmentus, mēs veicam atsevišķu novērtējumu, kurā izmantojam LLM tiesnesi, lai klasificētu katru katra iegūtā fragmenta marķieri vienā no sešām kategorijām:

Būtiski: pierādījumi, kas ir būtiski, lai atbildētu uz lietotāja pieprasījumu.

Neattiecas uz tēmu: informācija, kas var būt noderīga kādam citam nolūkam, bet nav saistīta ar konkrēto vaicājumu.

Reklāmas: neatbilstoša reklāma, kas novērš uzmanību no atbildes sniegšanas uz lietotāja pieprasījumu.

Metadati: metadati par dokumenta saturu.

Saskarne un navigācija: elementi priekšgala (frontend) attēlošanai un navigācijai.

Dublikāts: iepriekš iekļautās informācijas atkārtošanās.

Mūsu novērtējums tiek veikts ar 1 000 jauktu domēnu vaicājumiem no mūsu validācijas kopas, salīdzinot ražošanas steku ar citādi identisku bāzes līniju, kurai saspiešana ir atspējota. Kā parādīts 5. attēlā, saspiešana palielina būtisko marķieru īpatsvaru uz vienu fragmentu vidēji par 63% salīdzinājumā ar bāzes līniju bez saspiešanas. Mēs novērojam atbilstošu neatbilstošo marķieru samazinājumu par 29%, ar īpaši stāvu kritumu saskarnes/navigācijas (-58%), metadatu (-46%) un reklāmu (-43%) jomā. Šie rezultāti apstiprina iepriekš apspriesto kvalitātes un efektivitātes uzlabojumu mehānismu: saspiešana uzlabo veiktspēju abās dimensijās, strauji palielinot katra atsevišķā fragmenta signāla un trokšņa attiecību.

Izvērst

6. attēls ilustrē šīs izmaiņas atsevišķam vaicājumam. Vaicājumam “6 dienas veca jaundzimušā piena patēriņš vienā ēdienreizē” mēs parādām gan nesaspiestos bāzes līnijas, gan saspiestos fragmentus. Saspiešana novērš nebūtiskā satura kategorijas un saglabā tikai ar jaundzimušo saistīto barošanas informāciju. Svarīgi ir tas, ka saspiešana veiksmīgi novērš saturu, kas varētu būt vispārēji piemērots lapai, bet nav saistīts ar šo konkrēto uz jaundzimušo vērsto vaicājumu.

Izvērst

Secinājums

MI sistēmas paļaujas uz augsta signāla informāciju, lai inteliģenti un efektīvi apkalpotu lietotāju pieprasījumus. Šī informācija ir jāpasniedz pēc iespējas ķirurģiski precīzāk, lai maksimāli palielinātu atbilstību katram pieprasījumam. Mūsu jaunie uz vaicājumu orientētie saspiešanas modeļi dara tieši to, maksimāli palielinot uz tēmu vērstus pierādījumus uz fragmentu un agresīvi likvidējot neatbilstošos traucējošos elementus.

Izvietojot šos jaunos modeļus mūsu meklēšanas stekā, mēs varam sniegt ātrākas un labākas atbildes tiem, kuri paļaujas uz mūsu produktiem un API. Mūsu pieeja rada vienkāršu vadības virsmu, ļaujot mūsu sistēmām un API klientiem regulēt saspiešanas pakāpi, lai sabalansētu atsaukumu, aizturi un izmaksas.

Konteksta kurēšana ir attīstības joma, un ir vēl daudz darāmā, lai optimizētu katra marķiera vērtību, ko izmanto mūsdienu robežlīmeņa intelekta sistēmas. Mēs aktīvi strādājam, lai padarītu mūsu konteksta kurēšanas metodes vēl labākas, izmantojot gan modeļu uzlabojumus, gan sistēmas arhitektūru, lai vēl plašāk izmantotu šos modeļus.

Atsauces

N. Chirkova, T. Formal, V. Nikoulina, and S. Clinchant. Provence: Efficient and Robust Context Pruning for Retrieval-Augmented Generation, 2025. Apstiprināts ICLR 2025. arXiv:2501.16214.

T. Do, D. P. Tran, A. Vo, S. K. Kim, and D. Kim. LooComp: Leverage Leave-One-Out Strategy to Encoder-only Transformer for Efficient Query-Aware Context Compression, 2026. arXiv:2603.09222.

S. Eslami, M. Gaiduk, M. Krimmel, L. Milliken, B. Wang, and D. Bykov. Diffusion-Pretrained Dense and Contextual Embeddings, 2026. arXiv:2602.11151.

Z. Wang, J. Araki, Z. Jiang, M. R. Parvez, and G. Neubig. Learning to Filter Context for Retrieval-Augmented Generation, 2023. arXiv:2311.08377.

Citāts

@online{perplexity2026QueryAwareContextCompressionForBetterSnippets,
  author = {{Perplexity} and Bo Wang and Hao Zhang and Ismail Gadzhiev and Kirill Priemko and Markus Krimmel and Nandor Licker and Vitalii Polshkov and Sarah Eslami and Louis Milliken and Maksim Gaiduk and Nikita Kireev and Jerry Ma},
  title = {{Query-aware context compression for better snippets}},
  date = {2026-05-14},
  url = {https://www.perplexity.ai/hub/blog/query-aware-context-compression-for-better-snippets}
}