Kā Perplexity iebūvē precizitāti progresīvajā AI

Mūsu misija ir veicināt zinātkāri cilvēkiem, kuri vēlas uzzināt vairāk un sasniegt vairāk, izmantojot pasaules zināšanas. Lai to panāktu, mūsu galvenais fokuss vienmēr ir bijis padarīt labākos progresīvākos AI modeļus precīzākus platformā Perplexity.

Pirmoreiz mēs dalāmies ar vienu no tehnoloģijām, kas stāv aiz šī procesa. Šodien mūsu pētniecības komanda publicēja meklēšanā balstītu LLM tehnisko izpēti.

Ir desmitiem procesu, ko mēs izmantojam precizitātes attīstīšanai, un šis ir retkārtisks ieskats vienā no tiem: progresīvāko AI modeļu pēctreniņš, lai tie uzrādītu vislabākos rezultātus pret Perplexity produktu, piemēram, Search, Comet un Computer, precizitātes standartiem.

Mēs trenējam uzvedību pirms meklēšanas

Atbilžu dzinējam ir nepieciešams, lai pamatā esošie modeļi darītu vairāk nekā tikai ģenerētu plūstošu tekstu. Tiem ir jāatrod pierādījumi, jāizpilda lietotāja pieprasījums, pareizi jāizmanto rīki un jāpārvērš šis darbs mērķtiecīgā atbildē.

Mēs veicam pēctreniņu šim nolūkam divos posmos. Pirmkārt, mēs iemcām modelim, kā uzvesties produktā, tostarp kā ievērot norādījumus, saglabāt konsekvenci un pareizi lietot rīkus. Pēc tam mēs to trenējam sarežģītākos meklēšanas uzdevumos, lai tas kļūtu labāks pierādījumu atrašanā, to prasmīgā izmantošanā un efektīvāku atbilžu sniegšanā.

Šī posmu pieeja ir viena no vienkāršajām atšķirībām starp Perplexity un tradicionālo čaula iestatījumu ar modeļa un tīmekļa piekļuvi. Tāpēc viens un tas pats modelis var radīt atšķirīgus rezultātus dažādos produktos un tāpēc tas var darboties labāk Perplexity nekā vienkāršākā izvietojumā.

Jautājumi, kas prasa sintēzi

Daži jautājumi ir vienkārša informācijas meklēšana. Citi pieprasa, lai modelis savienotu pierādījumus dažādos avotos.

Mēs trenējamies ar jautājumiem, kas pieprasa modelim savienot pierādījumus dažādos avotos. Faktoloģiskiem jautājumiem mēs izmantojam uzdevumus, kas piespiež modeli meklēt, spriest un verificēt, nevis uzreiz ķerties pie atbildes no vienas acīmredzamas norādes. Daudzi jautājumi prasa informācijas savienošanu vairākos avotos. Tie pieprasa modelim pāriet no viena pierādījuma uz nākamo un veidot atbildi no šīs ķēdes.

Mēs trenējamies arī dažādos atbilžu formātos, lai modelis saglabātu precizitāti neatkarīgi no tā, vai lietotājs vēlas rindkopu, sarakstu, tabulu vai citu struktūru. Rezultāts ir labāka sintēze, kas sastāv no atbildēm, kuras savieno pierādījumus dažādos avotos, nevis tikai izgūst izolētus faktus.

Atklāta tipa uzdevumiem ir nepieciešami standarti

Perplexity tiek izmantots vairāk nekā tikai faktoloģiskai uzziņai. Liela daļa darba ir atklāta tipa, tostarp pārrakstīšana, rediģēšana, apkopošana, skaidrošana un plānošana.

Šiem uzdevumiem nav vienas precīzas pareizas atbildes, taču tiem joprojām ir vajadzīgi standarti. Atklāta tipa darbam mēs izmantojam rubrikas, kas ir strukturētas pārbaudes tam, vai atbilde tiešām paveica uzdevumu. Vai tā izpildīja norādījumus? Vai tā saglabāja nozīmi? Vai tā atrisināja lietotāja problēmu?

Tas ļauj mums trenēt atklāta tipa uzdevumus ar skaidriem standartiem, nevis attiekties pret tiem kā pret brīvas formas rakstīšanu.

Precizitāte ir pirms preferences

Faktoloģiskiem uzdevumiem atbildi ir jābūt pareizai pirms tā saņem kredītus par to, ka tā ir noderīgāka vai labāk uzrakstīta. Atklāta tipa uzdevumiem atbildei ir jāapmierina rubrika, pirms stājas spēkā citas īpašības.

Tas uztur sistēmu fokusētu uz saturu, nevis stilu. Tas palīdz novērst izplatītu atbilžu kļūdas režīmu, kas izklausās labāk, pašām nebūtiski labākām. Ieguvums ir mazāk noslīpētu atbilžu, kas sabrūk pārbaudes laikā.

Efektivitāte veicina atbildes kvalitāti

Mēs arī trenējam modeli izmantot meklēšanu ar disciplīnu.

Jebkuram papildu meklēšanas solim ir jāuzlabo atbilde, un garākai atbildei ir jānopelna tās garums. Kad papildu meklēšana vai papildu vārdi nepalīdz, sistēmai vajadzētu apstāties.

Tas rada atbildes, kuras ir vieglāk lietot, un saglabā modeli fokusētu, kad tas strādā cauri garākām darbību ķēdēm, kur mazas kļūdas uzkrājas.

Labākām atbildēm ir nepieciešams pastāvīgs darbs

Meklēšanas kvalitāte nāk no tā, kā produkts trenē modeli vākt pierādījumus, atbildēt ar disciplīnu, apstrādāt atklāta tipa darbu un apstāties, kad tam ir pietiekams atbalsts.

Tā kā AI sistēmas uzņemas garāku un autonomāku darbu, šis treniņš veido atsevišķu atbilžu kvalitāti un visu, kas būvēts uz tām. Mēs nekad neesam apgalvojuši, ka Perplexity ir 100% precīzs, bet mēs apgalvojam, ka esam tā AI kompānija, kurai tas rūp visvairāk un kura pie tā strādā nenogurstoši. Mēs aicinām visus lietotājus sniegt atsauksmes par savām Perplexity atbildēm, jo mēs pastāvīgi iterējam un uzlabojamies.