Алтын үзіндіден тыс контекстік эмбеддинг

Контекстік эмбеддингтер тұтас құжат контекстіндегі әрбір үзіндінің немесе фрагменттің мағынасын түсіреді. Оларды оқыту және бағалау әдетте «алтын үзінді» деп аталатын әр сұрауға шаққандағы бір сәйкес фрагментті болжайды. Дегенмен, алтын үзінді іс жүзінде көбінесе жеткіліксіз болады. Онда жауап болуы мүмкін, бірақ оны түсіну немесе тексеру үшін қажетті қосалқы контекст болмауы мүмкін, бұл оны жекелей алғанда түсініксіз етеді.

Біз жаңа контекстік эмбеддинг моделіміз — pplx-embed-v2-context-9b-preview таныстырамыз. Модель Perplexity компаниясының контексті сығу моделін мұғалім ретінде пайдаланатын жаңа тәсілмен оқытылады. Біз оның токен деңгейіндегі болжамдарын фрагмент деңгейіндегі өзектілік ұпайларына жинақтаймыз, бұл эмбеддинг моделіне жалғыз алтын фрагментті емес, жауап фрагменттері мен қосалқы контекстті де іздеуді үйретеді. Модель қосымша қорытынды шығынынсыз әр фрагментке бір эмбеддинг шығарады және 1024 өлшемді және int8 эмбеддингтерін қолдайды.

Ол turbopuffer жасаған және жеке сақтайтын контекстті сезінетін іздеуге арналған жаңа тест — context-bench жүйесінде және кеңінен қолданылатын жалпыға қолжетімді тест — ConTEB жүйесінде озық нәтижелерге қол жеткізеді. Біздің модель context-bench тестінен тәуелсіз түрде әзірленді және соқыр тапсырма ретінде бағаланды.

Context-bench 21 домендегі 38 894 ұзақ құжат бойынша 2,099 сұраудан тұрады және контекстік эмбеддингтердің үш мүмкіндігін бағалайды: бірдей құжаттардың арасынан құжатты ажырату, алыс контекстке тәуелді алтын фрагменттерді іздеу және жауапты тексеру үшін қажетті қосалқы дәлелдерді қайта шақыру.

Модельдің превью нұсқасы Hugging Face сайтында көпшілікке қолжетімді. Тест оқытудың ластану қаупін азайту және прогресті өлшеу құндылығын сақтау үшін turbopuffer компаниясында құпия түрде сақталады. Бағалауды сұрау үшін turbopuffer компаниясына contextbench@turbopuffer.com арқылы хабарласыңыз.

Context-bench жүйесіндегі құжатты, жауапты және дәлелдерді іздеу нәтижелері — 1-сурет: Perplexity v2 preview 9B моделін Voyage Context 4, Voyage 4 Large және Perplexity context v1 4B модельдерімен салыстыра отырып, context-bench жүйесіндегі Answer@K, Document@K, Evidence Recall@K және All-Evidence@10.

Іздеу жүйелері әдетте ұзақ құжаттарды тәуелсіз түрде индекстеуге және іздеуге болатын кішірек фрагменттерге бөледі. Фрагменттерге бөлу тәжірибеде ыңғайлы, бірақ ол әр фрагмент бастапқыда пайда болған контексті жояды, бұл ақпаратты сығу гранулярлығы мен кодтау кезінде пайдаланылатын контекст арасындағы ымыраны тудырады. Фрагмент бұрын енгізілген нысанға сілтеме жасай алады, оның мағынасын бөлім атауынан ала алады немесе құжаттың басқа жерінде орналасқан анықтамаларға сүйене алады. Шығарылғаннан кейін ол сұрауға сенімді түрде сәйкестендіру үшін жеткілікті ақпаратты қамтымауы мүмкін. Бүкіл құжатты бір вектор ретінде кодтау мұны шешпейді, өйткені бір біріктірілген көрініс ұзақ құжаттың әрбір қырын шынайы түрде түсіре алмайды.

Контекстік эмбеддинг модельдері бұл шектеуді әрбір фрагментті өзінің айналасындағы мазмұн контекстінде, көбінесе кеш фрагменттеу (late chunking) арқылы ұсыну арқылы шешеді: құжат бір өту арқылы кодталады және фрагмент көріністері кейіннен біріктіріледі, осылайша әрбір фрагмент векторы бүкіл құжат көрінісімен есептеледі. ConTEB және біздің меншікті pplx-embed-context-v1 сияқты алдыңғы жұмыстар контекстті енгізілген фрагмент көріністері тәуелсіз түрде кодталған фрагменттермен салыстырғанда, әсіресе ұзақ құжаттарда іздеуді айтарлықтай жақсартатынын көрсетті.

Контекстік эмбеддинг модельдерін оқыту құжаттың қай бөліктері берілген сұрауға қатысты екенін анықтайтын қадағалауды талап етеді. Кең таралған тәсіл — алтын фрагмент аннотациялары: әрбір сұрау үшін аннотатор, әдетте үлкен тілдік модель (LLM), құжаттың оған жауап беретін фрагментін анықтайды.

Оқыту әдетте екі контрастты шығынды біріктіреді: алтын фрагментті басқа құжаттардың фрагменттеріне қарсы қоятын құжаттаралық контрастты шығын және оны сол құжаттағы басқа фрагменттерге қарсы қоятын құжатішілік контрастты шығын.

Бұл тәсілдің бірнеше шектеулері бар:

Тек бір фрагмент қатысты. Ол құжаттағы басқа әрбір фрагментті, соның ішінде пайдалы қосалқы ақпараты барларды да негатив ретінде қарастырады. Құжат деңгейіндегі қадағалау басқа шекте разылықпен жұмыс істейді. Ол құжаттың қай фрагменттері маңызды екенін көрсетпестен, құжатты қатысты деп анықтайды. Іс жүзінде өзектілік жиі осы шектен тыс жерлерде жатады. Жауап беретін фрагмент нысанды енгізетін, сілтемені шешетін немесе қосымша факт беретін бірнеше қосалқы фрагменттерге тәуелді болуы мүмкін, ал құжаттың қалған бөлігі өзекті емес. Сондықтан модель талғампаздықтың дұрыс деңгейін үйренуі тиіс: жалғыз алтын фрагменттен кеңірек, бірақ тұтас құжатқа қарағанда бағдарланған.
Бюджетті бақылау шамасы. Әрбір аннотация құжат бойынша өзектілік дәрежелерін түсірудің орнына бір ғана алтын фрагментті анықтайтындықтан, ол оны өндіруге жұмсалатын есептеу көлемі үшін шектеулі оқыту сигналдарын береді.
Масштабтау қымбат. Әрбір оқыту жұбы LLM-нен құжатты оқып шығуды және сәйкес фрагментті таңдауды талап етеді, сондықтан аннотация құны оқыту жиынтығының өлшеміне байланысты сызықты түрде өседі және оқыту деректерінің қаншалықты көп әрі әртүрлі бола алатынын шектейді.
Фрагмент шекараларына сезімтал. Белгілер сондай-ақ аннотация кезінде пайдаланылатын фрагмент шекараларымен байланысты. Белгіленген токен өлшемі терезесіне тағайындалған алтын белгі қысқа сөйлемдердің немесе ұзағырақ абзацтардың қайсысы өзекті екенін көрсетпейді. Сондықтан фрагменттеу стратегиясын өзгерту немесе құжаттардың индекстеу кезінде қалай бөлінетініне төзімділікті жақсарту үшін бірнеше фрагменттеу бойынша оқыту корпусты қайта аннотациялауды талап етуі мүмкін.

Сұрауды білетін контексті сығу моделінен өзектілік бағалауларын дистилляциялау арқылы алтын фрагментті қадағалаудың шектеулерін шешеміз. Бұл модель мұғалім ретінде қызмет етеді: ол сұрау мен құжатты бірлесіп оқиды және әрбір құжат токеніне өзектілік ұпайын тағайындайды. Оның болжамдары контекстік эмбеддингтерді оқыту үшін бірнеше артықшылықтар ұсынады:

Икемді фрагмент шекаралары. Токен деңгейіндегі өзектілік ұпайлары кез келген таңдалған фрагмент шекаралары бойынша жинақталуы мүмкін, бұл мұғалімнің бірдей болжамдарына қайта аннотациясыз әртүрлі фрагменттерді қадағалауға мүмкіндік береді.
Үздіксіз өзектілік. Екілік алтын фрагмент белгілерінен айырмашылығы, мұғалім жауап беретін фрагменттерді, қосалқы контекстті және өзекті емес мазмұнды табиғи түрде ажырататын өзектілік дәрежелерін түсіретін үздіксіз ұпайларды береді.
Төмен аннотация құны. Мұғалім ықшам және өзектілікті бағалауға мамандандырылған, бұл оны масштабта жалпы мақсаттағы LLM-ге қарағанда әлдеқайда арзан қадағалауға мүмкіндік береді.

Біз моделімізді сұрау-құжат жұптарының топтамалары бойынша құжат деңгейіндегі контрастты шығын мен фрагмент деңгейіндегі дистилляция шығынының өлшенген қосындысымен оқытамыз. Әрбір сұрау үшін жұптастырылған құжат оң мән ретінде қызмет етеді, ал сол топтамадағы қалған құжаттар негативтер ретінде қызмет етеді.

Әрбір топтама үшін біз кездейсоқ түрде фрагменттеу стратегиясын таңдаймыз, құжаттарды тиісінше бөлеміз және фрагменттер арасына ажыратқыш токендерді енгіземіз. Содан кейін біз әр құжатты бір тура өту арқылы өңдейміз және контекстік фрагмент эмбеддингтерін алу үшін әр фрагмент ішіндегі токен көріністерін орташалаймыз. Сұраулар олардың токен көріністері бойынша орташалау арқылы бөлек кодталады. Соңында біз топтамадағы әрбір сұрау эмбеддингі мен әрбір фрагмент эмбеддингі арасындағы косинустық ұқсастықты есептейміз.

Эмбеддинг моделіміз тек фрагмент деңгейіндегі ұқсастықтарды шығарса да, біз олардан құжат деңгейіндегі ұқсастықтарды табиғи түрде шығара аламыз. Біз d құжатын q сұрауына оның ең өзекті фрагменті сияқты өзекті деп санаймыз. Бұл бағалау ережесі мұнда токендердің орнына фрагменттерге қолданылатын ColBERT MaxSim операциясынан шабыттанған.

Атап айтқанда, q эмбеддингі бар q сұрауы және c эмбеддингтері бар c фрагменттерінің реттелген тізімі ретінде d құжаты берілген болса, біз құжат деңгейіндегі ұқсастықты келесідей анықтаймыз:

s(q,d):=\max_{c\in d}\mathbf{q}^{\top}\mathbf{c}.

Осы құжат деңгейіндегі ұқсастықтар ескерілсе, біз топтамаішілік негативтер бойынша құжат деңгейіндегі InfoNCE мақсатын тұжырымдай аламыз.

q сұрауы үшін d⁺ оның тиісті құжатын және 𝒟 топтамадағы құжаттарды белгілесін. Контрастты шығын оқуды жеңілдету үшін температураларды елемей, келесідей болады:

\mathcal{L}_{\mathrm{doc}}(q,d^{+})=-\log\frac{\exp(s(q,d^{+}))}{\sum_{d\in\mathcal{D}}\exp(s(q,d))}

Контрастты шығын модельге қай құжаттың сұрауға өзекті екенін үйретеді. Дистилляция шығыны оған өзектіліктің сол құжаттың қай жерінде жатқанын үйретеді, бұл контекстік модель үшін өте маңызды.

Оқыту кезінде біз әрбір оң сұрау-құжат жұбын құжаттағы әрбір токенге өзектілік ұпайын тағайындайтын контекстті сығу моделіне жібереміз. Құжат деңгейіндегі бағалау сияқты, біз әр фрагменттің өзектілігін оның ең өзекті мазмұнынан шығарамыз. Аномальды токендерге, соның ішінде фрагмент шекараларындағыларға сезімталдықты азайту үшін біз фрагмент деңгейіндегі өзектілікті фрагмент ішіндегі ең жоғары n токен ұпайларының орташа мәні ретінде анықтаймыз.

Әр сұрау үшін біз оң құжат ішіндегі мұғалімнің фрагмент деңгейіндегі релеванттылық ұпайларына температурамен масштабталған softmax қолдана отырып, мақсатты үлестіруді аламыз. Пакеттегі басқа құжаттардағы фрагменттерге нөлдік мақсатты ықтималдық беріледі. Біз ендіру моделін мақсатты үлестіру мен оның пакеттің барлық фрагменттері бойынша болжанған үлестіруі арасындағы тура KL дивергенцияны азайту арқылы осы мақсатқа сәйкестендіруге үйретеміз:

\mathcal{L}_{\mathrm{dist}}(q,d^{+})=\mathrm{KL}\!\left(p^{\mathrm{T}}\parallel p^{\mathrm{S}}\right)

p^{\mathrm{T}}(c_j)=\frac{\exp(r_j)}{\sum_{c_k\in d^{+}}\exp(r_k)}

p^{\mathrm{S}}(c)=\frac{\exp(\mathbf{q}^{\top}\mathbf{c})}{\sum_{d\in\mathcal{D}}\sum_{c_k\in d}\exp(\mathbf{q}^{\top}\mathbf{c}_k)}

Мұнда T және S жоғарғы индекстері мұғалім мен студентті көрсетеді, ал rⱼ — d⁺ оң құжатындағы cⱼ фрагменті үшін мұғалімнің өзектілік ұпайы. Мұғалімнің нысаналы бөлінісі топтамадағы барлық басқа құжаттардағы фрагменттерге нөлдік ықтималдық тағайындайды.

Жалғыз алтын фрагмент белгісінен айырмашылығы, бұл нысан өзектілік дәрежелерін түсіреді. Қолдау көрсететін фрагменттер негатив ретінде қарастырылудың орнына мұғалімнің ұпайларына сәйкес салмақ алады, бұл модельге жауаппен қатар қолдау көрсететін контекстті де іздеуді үйретеді.

Біріктірілген оқыту мақсатымыз — құжат деңгейіндегі контрастты шығын мен фрагмент деңгейіндегі дистилляция шығынының өлшенген қосындысы. Біз бұл өлшенген шығынды сұрау-құжат жұптарының топтамасы бойынша орташалаймыз.

2-сурет біздің оқыту тәсілімізді көрсетеді. Контекст компрессоры тек оқыту кезінде мұғалім ретінде қызмет етеді. Қорытынды жасау кезінде эмбеддинг моделі ешқандай қосымша сығу немесе қайта рангілеу сатысынсыз әр фрагментке бір контекстік эмбеддинг шығарады. Бұл тәсіл индексті сақтауды арттырмай немесе іздеу кезінде мұғалім-модельдің кідірісін қоспай, контекстік эмбеддингтердің қалай үйренетінін жақсартады.

Контекстік эмбеддингті дистилляциялауға арналған оқыту параметрлері — 2-сурет: Біздің модельдің оқыту параметрлері. Контекстік кодтаушы (студент, сол жақта) әрқайсысы бірнеше фрагменттен тұратын құжаттарды өңдейді. Әрбір фрагмент өзінің айналасындағы құжат контекстіне қатысты ендіріледі. А сұрауы — А құжаты үшін белгілі сәйкестік және болжанған ұқсастықтарды алу үшін барлық құжаттардың фрагменттеріне қарсы бағаланады. Бұл фрагмент деңгейіндегі ұпайлар құжат деңгейіндегі ұпайларға max-pooled жасалады. Біз фрагмент деңгейіндегі болжамдар мен құжат деңгейіндегі болжамдарды нысаналы бөліністерге (оң жақта) сәйкестендіру үшін оқытамыз. Фрагмент деңгейіндегі нысан оқыту кезінде белгілі тиісті құжат ішіндегі контекст компрессорының болжамы ретінде есептеледі және белгілі өзекті емес құжаттар ішінде нөлге орнатылады. Құжат деңгейіндегі нысаналы бөлініс белгілі тиісті құжатта one-hot етіп орнатылады.

Оқыту деректері 50-ден астам тілді қамтитын шамамен 430 жария және меншікті сұрау-құжат деректер жиынтығынан тұрады.

Біз жеке деректерді қорғау (PII) сүзгісінен өткен өндірістік деректер негізінде және ұзақ құжаттар бойынша тиісті сұрауларды синтездеу арқылы меншікті жұптық деректер жиынтығын құрамыз. Әрбір тура өту үшін біз бір деректер жиынтығын таңдаймыз және топтағы негативтердің қиындығын арттыру және төте жолмен оқытуды болдырмау үшін одан тұтас топтаманы (батчты) аламыз. Оқыту деректер жиынтықтарымыздың ешқайсысында фрагмент деңгейіндегі анотациялар жоқ: құжатішілік барлық қадағалау сығу моделінен келеді және оқыту үшін ешқандай ConTEB деректері пайдаланылмайды. Сонымен қатар, модельді әзірлеу барысында ешқандай context-bench деректері қолжетімді болған жоқ.

Модель меншікті 9 миллиард параметрлі ColBERT іздеу моделінен басталады және сызықтық проекция қабаты арқылы 2048 өлшемді эмбеддингтерді шығарады. Біз фрагмент шекараларын үйретілген <|chunk_sep|> токенімен белгілейміз және әрбір фрагменттің эмбеддингін оның токен эмбеддингтерін орташалау арқылы құраймыз. Сұраулар олардың токен эмбеддингтері бір векторға орташаланған сол модель арқылы кодталады.

Біз 1024 және 2048 өлшемді эмбеддингтерді қолдау үшін Matryoshka оқытуын және жергілікті int8 эмбеддингтерін қолдау үшін кванттауды ескеретін оқытуды қолданамыз. Оқыту кезінде біз оқу жылдамдығын біртіндеп арттырамыз, оны тұрақты ұстаймыз, содан кейін азайтамыз.

Шығарылған модель — бұл бірдей оқыту цикліндегі бірнеше бақылау нүктелерінің салмақтарын орташалайтын модель супы (model soup).

ConTEB сияқты жалпыға қолжетімді контекстік іздеу тесттері алтын фрагментті қадағалау артындағы болжамды бөліседі: әрбір сұраудың бір сәйкес фрагменті болады және модельге тек сол фрагментті бірінші орынға қойғаны үшін ғана ұпай беріледі. Олар сондай-ақ оның шектеулерін де қабылдайды.

Біріншіден, ConTEB іздеуді фрагмент айналасындағы контекстсіз түсініксіз болатын тапсырмаларда сынайды. Бұл тапсырмаларда контекстік модельдер әр фрагментті тәуелсіз түрде кодтайтын модельдерден асып түсті. Дегенмен, бұл модель фрагментті түсінікті ететін құжаттың басқа бөліктерін де көрсете ме екенін тексермейді.

Екіншіден, ол бірдей корпустағы бір-біріне өте ұқсас құжаттар тек басқа жағынан бірдей сөйлемді қоршайтын контекст бойынша ғана ерекшеленген жағдайда дұрыс құжаттың табылатынын жүйелі түрде сынамайды.

Іздеу агенті немесе пайдаланушы тұтас құжаттан емес, бірнеше алынған сөйлемнен жауапты түсініп, тексеруі қажет болғанда екі мүмкіндік те маңызды болады. Сондықтан біз құжат контекстін жалпы іздеу сапасынан ажыратуға арналған ұзақ құжаттарды іздеуге арналған басқарылатын тест — context-bench жасадық. Ол контекстік эмбеддингтер үш мүмкіндікті қолдау үшін құжаттың басқа жеріндегі ақпаратты пайдаланатынын тексереді:

Құжатты ажырату: Бір-біріне ұқсас баламалар арасынан дұрыс құжатты анықтау.
Жауапты іздеу: Мағынасы құжаттың басқа бөліктеріндегі мәліметтерге тәуелді болатын жауап беретін фрагменттерді іздеу.
Дәлелдерді іздеу: Жауапты нақтылайтын немесе растайтын қосалқы фрагменттерді іздеу.

Context-bench 2 099 сұрау мен 38 894 құжатты қамтиды. Сөйлем ұзындығындағы фрагменттер қолданылады, нәтижесінде барлығы 2 458 072 фрагмент түзіледі. Сұраулар корпоративтік есептерді, клиникалық зерттеулерді, саяхатты, ойын-сауықты, білім беруді, үкіметті, заңды келісімшарттарды және бағдарламалық қамтамасыз ету құжаттамасын қоса алғанда, 21 доменді қамтиды.

Әрбір сұрау он екі контекстік мүмкіндіктің бірін сынауға арналған. Негізгі нысаналы құжаттар қасақана ұзақ етіп жасалған: 1 197 бөлек негізгі нысаналы құжаттың 1 061-інде кемінде 200 сөйлем бар, ал орташа ұзындығы шамамен 6 100 токенді құрайды. Әрбір сұраудың корпуста дәл бір дұрыс жауабы бар. Егер бірдей факт алтын құжатта бір реттен артық айтылса, мысалы, қорытынды сөйлемде және кесте жолында, осы сөйлемдердің кез келгені жауап ретінде қабылданады.

Жауап бағыты — бұл жауап фрагменті мен оны түсіндіру немесе тексеру үшін қажетті қосалқы дәлелдің бір жарамды комбинациясы. 2 099 сұрау бойынша негізгі нысаналы құжаттың жауап бағыты 964 сұрау үшін бір дәлелдер тобына, 735 сұрау үшін екі топқа, 332 сұрау үшін үш немесе одан да көп топқа және 68 сұрау үшін ешқандай топқа ие емес. Баламалы жауап бағыттары әртүрлі дәлелдер топтарын талап етуі мүмкін.

1-кесте: Тест статистикасы.

Статистика	Мәні
Сұраулар	2 099
Құжаттар	38 894
Сөйлем фрагменттері	2 458 072
Негізгі нысаналы құжаттың орташа ұзындығы	6 100 токен
Домендер	21
Әр сұрауға арналған дәлелдер топтары (негізгі нысаналы құжаттың жауап бағыты)	1: 964; 2: 735; 3+: 332; жоқ: 68

2-кесте: Context-bench сынайтын он екі контекстік мүмкіндік, мысалдарымен.

Мүмкіндік	Мысал сұрау	Жауап фрагменті	Қажетті құжат контексті
1. Нысанның бірегейлігі	Northlake компаниясы акцияларды сатып алуға қанша қаражат жұмсады?	Компания 12,8 миллиард долларлық акция сатып алды.	Кіріспеде Northlake компаниясы «компания» ретінде анықталған. Southlake ұқсас есебі бұған қатысты емес.
2. Кезең немесе нұсқа	Қай картридж M40 B ревизиясына сәйкес келеді?	KC-42 картриджін орнатыңыз.	Қолданылуы бөлімі бұл нұсқаулар C ревизиясын емес, B ревизиясын қамтитынын көрсетеді.
3. Анықтамалар мен бүркеншік аттар	15 мг тобында шығып кету көрсеткіші қандай болды?	Зета тобының шығып кету көрсеткіші 12,7% құрады.	Есеп Зета тобын 15 мг тобы ретінде анықтайды. Бұл анықтама болмаса, фрагмент сұралған топты анықтай алмайды.
4. Кесте құрылымы	Max моделінің батарея сыйымдылығы қандай?	Әдеттегі сыйымдылығы: 4 250 \| 4 700 \| 5 150.	Кесте тақырыбы mAh өлшенетін Mini \| Base \| Max модельдерін белгілейді. Сондықтан жауап — 5 150 mAh.
5. Шарттар мен ерекшеліктер	Коммерциялық мақсатта пайдалану үшін батареяға кепілдік мерзімі қанша уақытқа созылады?	Батареяға кепілдік 18 айға созылады.	Бөлімнің кіріспесі бұл кепілдікті коммерциялық қондырғылармен шектейді; тұрмыстық қондырғылардың басқа кепілдігі бар.
6. Сілтемелер мен есімдіктер	Мара қашан вице-мэр болды?	Ол 2021 жылы қызметке кірісті.	Бұрынғы баяндау «ол» сөзі сондай-ақ талқыланып жатқан Элинге емес, Мараға қатысты екенін көрсетеді.
7. Тізім реті және орналасуы	Бистен кейінгі қосымша концерт (бис) қай әнмен басталды?	14. Lantern Road.	Басқа жердегі ескерту 14-16 әндер бисті құрағанын айтады. Сондықтан 14-трек оның ашылу әні болып табылады.
8. Бөлімнің ауқымы	Фильмнің операторлық жұмысы үшін қай линза пайдаланылды?	Барлық жерде 35 мм фокустық қашықтықтағы линза қолданылды.	Бұл үзінді жарнамалық фотосуреттер туралы жеке бөлімге емес, «Негізгі түсірілім» бөліміне жатады.
9. Сөйлеушіні анықтау	Мэр қай қайта ашу күніне уәде берді?	Біз маусымның 12-сінде қайта ашамыз.	Стенограмма мэрді сөйлеуші ретінде анықтайды. Мердігердің айтқан сол сөздері мэрдің уәдесін растай алмас еді.
10. Уақыт өте келе өзгерістер	Мамыр айындағы түзетуден кейін қандай хабардар ету мерзімі қолданылды?	Хабардар ету мерзімі қазір 45 күнді құрайды.	Түзетулер тарихы бұл өзгерістің мамыр айында күшіне енгенін және бұрынғы 30 күндік ережені алмастырғанын көрсетеді.
11. Себеп-салдарлық байланыстар	Батыс сорғы неге тоқтап қалды?	Ақаулық жұмыстың тоқтауына себеп болды.	Зерттеу «бұл ақаулықты» батыс сорғыдағы ұсталып қалған мойынтірек ретінде анықтайды және оны қатысы жоқ кіріс кедергісінен ажыратады.
12. Ауыспалы немесе тіларалық мағына	Ауыспалы: Өлеңдегі «қысқы бөлме» нені білдіреді? Тіларалық: Француз тіліндегі нұсқаулық техникке қай компонентті алып тастауды бұйырады?	Ауыспалы: Бұл физикалық бөлмені емес, жер аударылуды білдіреді. Тіларалық: Retirez le capot. (Қақпақты алып тастаңыз.)	Ауыспалы: Түсініктеме «оны» өлеңдегі қайталанатын «қысқы бөлме» бейнесі ретінде анықтайды. Тіларалық: Нұсқаулықтың сөздігі «capot» сөзі жеткізілім қақпағын емес, мотордың қорғаныш каппотын білдіретінін көрсетеді.

Сыналып жатқан сұраулар, құжаттар және мүмкіндіктер turbopuffer тұтынушыларымен сөйлесулер арқылы шабыттандырылған.

Мысал келтірсек, мүлікті басқару фирмасының іздеу қажеттіліктерін қарастырайық. Бұл фирмаларда жүздеген, кейде мыңдаған жалдау шарттары бар, олар тек жалға алушылардың аты-жөнімен, күндерімен және бірнеше басқа негізгі мәліметтерімен ғана ерекшеленеді. Бұл деректер жиынтығы үшін жиі қойылатын сұрау «5 park avenue жалдау шарты қашан аяқталады және ағымдағы жалдау ақысы қандай?» болуы мүмкін. Жалдау шарттары ұзақ болуы мүмкін және дұрыс құжатты тапқаныңызды растайтын маңызды ажыратушы компоненттер (күні, мекенжайы, жалға алушының аты және т.б.) көбінесе ай сайынғы жалдау төлемі сомасы бар негізгі жауап сөйлемінен өте алыс орналасуы мүмкін. Іс жүзінде корпустағы көптеген құжаттарда «Ай сайынғы жалдау ақысы — $X,XXX» сияқты бірдей сөйлемдер кездесуі мүмкін.

Жақсы контекстік эмбеддинг моделі дұрыс құжатты анықтау және жауапты да, оны қолтайтын сөйлемдерді де алу үшін құжаттың барлық бөлігіндегі контекстті пайдалануы тиіс. Бұл пайдаланушыға немесе іздеу агентіне жауапты тез тексеруге және оның дұрыс құжаттан шыққанын растауға мүмкіндік береді.

Әрбір сұрау үшін біз нысаналы құжаттағы «жауап» және «дәлел» сөйлемдерін белгілейміз. Егер модель жауап сөйлемін әрбір дәлелдер тобынан кемінде бір сөйлеммен бірге алса, ол біздің «оқырманның жеткіліктілігі» тестінен өтеді. Бұл сөйлемдер бірлесіп оқырманға жауапты қосалқы дәлелдермен тексеруге жеткілікті контекст береді.

Контекстік эмбеддинг модельдері мұны жақсы орындаған кезде, олар іздеу агенттеріне қарап шығу қажет токендер санын айтарлықтай азайта алады, сонымен қатар адамға тұтас құжатты оқымай-ақ, бастапқы сұрауына дұрыс жауап тапқанын жылдам растауды әлдеқайда жеңілдетеді.

Әрбір дәлелдер тобы қалпына келтірілуі тиіс, бірақ топтың баламаларының кез келгені оны қалпына келтіру үшін жеткілікті. Бұл ұзақ құжаттардың әр жерінде бірдей фактінің бірнеше рет айтылғанын көру жиі кездеседі. Әрбір дәлелдер тобынан тек бір сөйлемді алу оқырманның жеткіліктілігі критерийлеріне сай келеді және осылайша тамаша дәлелдерді қайта шақыру ретінде қабылданар еді.

Әрбір құжат сөйлемдерге бөлінеді және барлық модельдер үшін бірдей шекаралар қолданылады. Контекстік емес эмбеддинг модельдері үшін екі шарт сынақтан өтеді: әрбір сөйлем тәуелсіз түрде ендірілетін бірінші шарт және бүкіл құжат бір фрагмент ретінде ендірілетін екінші шарт.

Біз жауапты қайта шақыруды және дәлелдерді қайта шақыруды өлшеу үшін сөйлем деңгейіндегі шартты қолданамыз. Бұл контекстік емес модельдің әрбір сөйлем айналасындағы құжатқа қол жеткізбей ендірілген кезде дұрыс жауап пен қосалқы дәлелді анықтай алатынын тексереді. Бұл қасақана күрделі етіп жасалған. Көптеген сұрауларда жауап сөйлемінің өзінде оны корпустың басқа жеріндегі ұқсас сөйлемдерден ажырату үшін қажетті мәліметтер жетіспейді.

Біз құжат деңгейіндегі шартты құжатты қайта шақыру көрсеткіші ретінде қолданамыз. Бұл дәл сөйлем эмбеддингтері әр құжатқа бір векторды сақтауға қарағанда қосымша сақтау шығындарын ақтау үшін жеткілікті іздеу артықшылығын бере ме екенін тексереді. Сөйлем деңгейіндегі индекс құжат деңгейіндегі индекске қарағанда әлдеқайда көп векторларды жасайды, сондықтан бұл шығынды ақтау үшін ол құжатқа бір вектордан тұратын көрсеткіштен асып түсуі тиіс.

Барлық бағалаулар барлық 2 458 072 фрагментке қарсы толық рангілеуді пайдаланады. Сондықтан модельдер арасындағы айырмашылықтар индекстің конфигурациясын емес, көріністерді көрсетеді. Біз үш негізгі көрсеткішке назар аударамыз:

Document@K келесідей анықталады:

\text{Document@K}=1[\operatorname{rank}(d^{*})\le K]

мұндағы $d^{*}$ — $D_q$ ішіндегі ең жоғары рейтингі бар құжат.

Answer@K келесідей анықталады:

\text{Answer@K}=1[A_q\cap C_K(q)\ne\varnothing]

мұндағы $C_K(q)$ бүкіл корпус бойынша ең жоғарғы $K$ фрагменттер және $A_{q}$ — қабылданған жауап фрагменттерінің жиынтығы.

Evidence Recall@K $d^{*}$ ішінде келесідей өлшенеді: $d^{*}$ сөйлемдерін ұқсастығы бойынша рангілеңіз, ең жоғары рейтингі бар жауап сөйлемін алып тастаңыз және $R_K(q)$ қалған ең жоғарғы $K$ болсын. $G_q=\{g_1,\ldots,g_m\}$ дәлелдер топтары үшін $g_j$ тобы егер қандай да бір балама $E\in g_j$ $E\subseteq R_K(q)$ шартты қанағаттандырса, қалпына келтіріледі, және

\text{EvidenceRecall@K}=1[\operatorname{rank}(d^{*})\le10]\cdot\frac{1}{m}\sum_{j=1}^{m}1[g_j\ \text{recovered}].

Document@K контекстті енгізу дұрыс құжатқа оның сөздік қорын бөлісетін бауырлас құжаттар мен алаңдататын факторларды жеңуге мүмкіндік бере ме екенін сұрайды.

Answer@K жауап сөйлемінің өзі ең жақсы фрагменттердің қатарына кіре ме екенін сұрайды.

Evidence Recall@K ең жоғары рейтингі бар жауап фрагментін алып тастағаннан кейін, қолдау көрсетілетін контексттің қанша бөлігі дұрыс құжаттың алғашқы K фрагментінің арасынан қалпына келтірілетінін сұрайды. Жауапты алып тастау дәлелдерді қайта шақыру көрсеткішіне Answer@K қазірдің өзінде өлшейтін нәрсені екі рет есептеуге жол бермейді және қолдау көрсетілетін контекст үшін барлық $K$ слоттарын қалдырады. Алтын құжаттың ең жақсы алынған 10 құжаттың қатарында болуын талап ету ешбір модельдің өзі шығармайтын құжат үшін дәлелдер кредиттерін алмайтынын білдіреді. Сондай-ақ біз әрбір тобы қалпына келтірілген сұраулардың үлесі болып табылатын All-Evidence@10 көрсеткішін хабарлаймыз.

Біріктірілген бұл көрсеткіштер контекстік эмбеддинг модельдері кездесетін қиындықтарды көрсетеді: дұрыс құжатты табу, дұрыс жауапты табу және жауаптың неге дұрыс екенін көрсететін ең аз контекстті қалпына келтіру.

3-суретте метрикалар мүлікті басқару мысалы арқылы көрсетілген.

Context-bench құжаты, жауабы және дәлелдерді іздеу қалай бағаланады — 3-сурет: Жалдау сұрауы арқылы көрсетілген Context-bench метрикалары. Document@K дұрыс құжатты іздеуді тексереді; Answer@K оның жауап фрагментін іздеуді тексереді; Evidence Recall@K нысаналы құжат ішіндегі қосалқы дәлелдер топтарының қалпына келтірілуін өлшейді. Бұл мысалда жалдау ақысын тексеру мекенжай мен жалдау жылы туралы дәлелдерді де талап етеді. Дәлелдерді қайта шақыру ең жоғарғы жауап фрагментін алып тастайды және нысаналы құжаттың алғашқы 10 орында тұруын талап етеді.

Біз өз моделімізді төрт бағыт бойынша контекстік және контекстік емес эмбеддинг модельдерімен салыстыра отырып бағалаймыз.

Біздің контекстік базалық модельдеріміз — pplx-embed-context-v1-4B және voyage-context-4. Контекстік емес базалық модельдеріміз — фрагменттерді тәуелсіз түрде кодтайтын voyage-4-large және NVIDIA компаниясының Nemotron-3-Embed-8B-BF16 моделі. Базалық жиынтық әр суретте көрсетілгендей, экспериментке байланысты өзгереді.

Біз бұл жұмыстың негізін қалайтын мүмкіндіктерді тікелей сынайтын context-bench тестінен бастаймыз, содан кейін контекстік эмбеддингтерге арналған стандартты жалпыға қолжетімді тест — ConTEB бойынша нәтижелерді хабарлаймыз. Бұл өсімдер жалпы іздеу сапасының есебінен келмегенін тексеру үшін біз сондай-ақ жалпыға қолжетімді деректер жиынтығынан құрастырған доменге тән құжат пен фрагменттерді іздеу тесттерін бағалаймыз. Соңында біз орналастыру үшін екі практикалық қасиетті қарастырамыз: вектор үшін іздеу сапасы мен сақтау шығындары, және индекстеу кезінде пайдаланылатын фрагмент өлшеміне сезімталдық. Барлық бағалаулар 32 768 токенге дейінгі құжаттарды бір өту арқылы кодтайды.

Кіріспедегі 1-суретте көрсетілгендей, біздің превью нұсқамыз Answer@K және Evidence Recall@K бойынша хабарланған әрбір шектеу кезінде, сондай-ақ All-Evidence@10 бойынша көш бастап тұр. K = 10 болғанда, ол 45,5% жауапты қайта шақыру, 40,6% дәлелдерді қайта шақыру және 31,1% барлық дәлелдерді қайта шақыру көрсеткішіне қол жеткізеді. Сондай-ақ ол Document@1 және Document@10 бойынша сәйкесінше 15,2% және 61,6% жетіп, көш бастап тұр. K = 10 болғанда, біздің превью нұсқамыз жауапты қайта шақыру бойынша voyage-context-4 моделінен 14,4 пайыздық тармаққа, ал дәлелдерді қайта шақыру бойынша 5,0 тармаққа асып түседі.

Біздің превью моделіміз 4-суреттегі ConTEB жүйесінде көрсетілген модельдер арасында ең жоғары орташа nDCG@10 көрсеткішіне қол жеткізеді. Ол әрбір тапсырмада көш бастап тұрған жоқ: pplx-context-v1-4B моделі NarrativeQA бойынша жоғарырақ ұпай жинаса, Nemotron-3-8B моделі COVID-QA бойынша ең жоғары ұпай жинайды. Негізгі авторлар ConTEB туралы мақалада атап өткендей, COVID-QA негізінен өте экстрактивті болып келетін және техникалық медициналық терминдерде қарапайым беткі лексикалық сәйкестікпен қанағаттандырылатын сұрау-фрагмент жұптарын қамтиды. Нәтижесінде, контексті түсіну бұл тапсырма үшін онша пайдалы емес және контекстік емес модельдер әдетте контекстік модельдерден асып түседі.

ConTEB жүйесіндегі 10 деңгейіндегі тапсырма деңгейіндегі nDCG — 4-сурет: Сұраудан фрагментке параметрдегі ConTEB жүйесіндегі тапсырма деңгейіндегі nDCG@10. Орташа мән — сегіз тапсырма бойынша өлшенбеген орташа мән.

Контекстік эмбеддингтерге арналған тесттерден басқа, біз моделіміздің доменге тән өнімділігін бағалаймыз.

Біздің сұраудан фрагментке (Q2C) жиынтығымыз LegalBench және FinanceBench сияқты MTEB тапсырмаларын, сонымен қатар қоғамдық деректер жиынтығынан өзіміз құрастырған қосымша іздеу тапсырмаларын пайдаланады. Әрбір сәйкес құжатта фрагмент, егер тапсырма нақты жауап ауқымын қамтамасыз етсе, дәл сол ауқымды қамтыса, ал басқа жағдайда LLM оның сұрауға өзектілігін бағалауы арқылы өзекті деп белгіленеді. Сұраудан құжатқа (Q2D) жиынтығы сол тапсырмаларды пайдаланады және тиісті құжаттың алынғанын бағалайды.

Біздің модель 5-суреттегі фрагменттерді іздеу бойынша ең жоғары орташа ұпайға қол жеткізеді және заң, техника және денсаулық сақтау домендерінде көш бастап тұр. Ол барлық доменде көш бастап тұрған жоқ: voyage-context-4 қаржы және көптілді іздеуде жоғарырақ ұпай жинайды, ал Nemotron-3-8B сұхбатты іздеуде ең жоғары ұпай жинайды. 6-суреттегі құжаттарды іздеуде біздің модель орташа есеппен voyage-context-4 моделінен сәл төмен ұпай жинайды, сонымен бірге техникалық доменде көш бастап тұр. pplx-context-v1-4B базалық моделі екі жиынтықта да орташа есеппен төменірек ұпай жинайды, бұл оның тек ConTEB оқыту жиынтығында ғана оқытылғанына сәйкес келеді және бір тесттің алтын фрагменттерімен байланысты қадағалаудың басқа домендерге нашар ауысатынын көрсетеді.

Домендер бойынша сұраудан фрагментке іздеу ұпайлары — 5-сурет: Домендер бойынша топтастырылған сұраудан фрагментке (Q2C) тапсырмаларындағы орташа nDCG@10. Домен бағандары сол домендегі тапсырма деңгейі ұпайларының өлшенбеген орташа мәндері болып табылады; жалпы орташа мән көрсетілген барлық тапсырмалар бойынша өлшенбеген орташа мән болып табылады.

Домендер бойынша сұраудан құжатқа іздеу ұпайлары — 6-сурет: Домендер бойынша топтастырылған сұраудан құжатқа (Q2D) тапсырмаларындағы орташа іздеу ұпайы. Домендегі әрбір баған оның тапсырма деңгейіндегі негізгі ұпайларының өлшенбеген орташа мәні болып табылады; жалпы орташа мән көрсетілген барлық тапсырмалар бойынша өлшенбеген орташа мән болып табылады.

Контекстік эмбеддинг моделі әр фрагментке бір вектор шығарады, сондықтан біздің модельмен жасалған индекс дәл сол фрагменттеу стратегиясы бар кәдімгі фрагмент деңгейіндегі индекс сияқты көп векторды қамтиды. Контекстті енгізу қанша вектор сақталатынын емес, әрбір вектордың нені кодтайтынын өзгертеді. Сондықтан сақтау көлемі әрбір вектордың өлшемімен анықталады. Модель оны азайтудың екі жолын ұсынады: эмбеддингті 2048 өлшемнен 1024 өлшемге дейін қысқарту және оны int8 форматына кванттау.

7-сурет іздеу сапасы мен векторды сақтау арасындағы қолайлы ымыраны көрсетеді. 1024 өлшемде біздің int8 эмбеддингтеріміз вектор үшін 1 КБ пайдаланады, сонымен бірге вектор үшін 8 КБ пайдаланатын float32 форматындағы 2048 өлшемдегі voyage-context-4 фрагментті іздеу ұпайынан сәл асып түседі. Эмбеддинг өлшемін 2048 өлшемге дейін арттыру вектор үшін 2 КБ кезінде іздеу сапасын одан әрі арттырады. Бұл сақтау көрсеткіштері индекстің қалған бөлігін емес, тек векторлардың өзін білдіреді.

Фрагментті іздеу сапасы мен векторға шаққандағы сақтау көлемі — 7-сурет: Векторға шаққандағы сақтау көлемінің функциясы ретіндегі фрагментті іздеу сапасы (орташа nDCG@10). Тұтас сызықтар float32 форматын, ал үзік сызықтар int8 форматын білдіреді; белгілер эмбеддинг өлшемін көрсетеді.

8-сурет фрагмент өлшемі 64-тен 512 токенге дейін ұлғайған кезде іздеу сапасының тек шамалы ғана өзгеретінін көрсетеді: орташа ұпай 81,0%-дан 79,9%-ға дейін төмендейді, бұл 1,1 пайыздық тармаққа азаюды білдіреді. Бұл модельдің сынақтан өткен фрагмент өлшемдері бойынша тиімді болып қала беретінын көрсетеді, бұл индекстеу конвейерлеріне құжаттардың қалай бөлінетінін анықтауда икемділік береді.

Фрагмент өлшемінің сезімталдығы: 64-тен 512 токенге дейінгі фрагменттерге арналған іздеу ұпайлары — 8-сурет: Біздің модельдің фрагмент өлшеміне сезімталдығы. Әрбір нүкте берілген фрагмент өлшемінде индекстелген құжаттары бар 74 MTEB тапсырмасы бойынша өлшенбеген орташа nDCG@10 мәні болып табылады.

turbopuffer context-bench деректерінің толық жиынтығын, сұрауларын және белгілерін құпия сақтайды және жіберілген модельдер бойынша нәтижелерді жариялайды. Мұндай түрі жария тест оның сұраулары мен құжаттарында тікелей оқытуға итермелейді, бұл оны біртіндеп толықтырып, уақыт өте келе прогресті бақылау құндылығын жояды. Егер моделіңіздің осы тестте бағаланғанын қаласаңыз, turbopuffer компаниясына contextbench@turbopuffer.com электрондық поштасы арқылы хабарласыңыз.

Модельіміздің превью нұсқасы Hugging Face сайтында қолжетімді және осы жазбадағы барлық нәтижелер осы превью үшін хабарланады. Біз моделімізді Perplexity API арқылы қолжетімді ету және turbopuffer компаниясымен бірге ұзақ құжаттар бойынша іздеуді одан әрі жақсарту бағытында жұмыс істеп жатырмыз.

BibTeX

@online{perplexity2026ContextualEmbeddingBeyondTheGoldPassage,
  author = {{Perplexity} and Sarah Eslami and William Barber and Markus Krimmel and Antoine Chaffin and Bo Wang and Louis Milliken and Jarrod Bryan and Claire Beamer and Jeremy Yang},
  title = {{Contextual embedding beyond the gold passage}},
  date = {2026-09-30},
  url = {https://www.perplexity.ai/hub/blog/contextual-embedding-beyond-the-gold-passage}
}

Кіріспе

Іздеу үшін контекстің неге маңызды екендігі

Алтын фрагментті қадағалаудың шектеулері

Контекстік оқытуға арналған жаңа тәсіл

Шығын функциясы

Құжат деңгейіндегі контрастты шығын

Фрагмент деңгейіндегі дистилляция шығыны

Біріктірілген шығын

Оқыту деректері

Оқыту параметрлері

Фрагмент деңгейіндегі іздеуге арналған жаңа тест

Құжаттар мен сұраулар

Жауап және дәлел белгілері

Метрикалар

Бағалау нәтижелері

Context-bench

ConTEB

Домендер бойынша жалпы іздеу сапасы

Іздеу сапасы және сақтау шығындары

Фрагмент өлшемінің сезімталдығы

Шығарылым

Дәйексөз