Presentació dels LLM en línia PPLX

La primera API de LLM en línia de la seva classe.

Ens complau presentar dos nous models PPLX: pplx-7b-online i pplx-70b-online! Els nostres models en línia se centren a oferir respostes útils, actualitzades i basades en fets, i estan disponible públicament mitjançant pplx-api, convertint-la en una API única en la seva classe. pplx-7b-online i pplx-70b-online també són accessibles a través de Perplexity Labs, el nostre entorn de proves d'LLM.

Els LLM han transformat la manera com trobem informació. No obstant això, hi ha dues limitacions amb la majoria de LLM actuals:

Actualització: els LLM sovint tenen dificultats per compartir informació actualitzada.

Al·lucinacions: els LLM també poden generar declaracions inexactes.

Els nostres models pplx-7b-online i pplx-70b-online aborden les limitacions actuals proporcionant addicionalment informació útil, basada en fets i actualitzada en les seves respostes.

LLM en línia PPLX

Els nostres LLM, pplx-7b-online i pplx-70b-online, són LLM en línia perquè poden utilitzar coneixements d'internet i, per tant, poden aprofitar la informació més actualitzada a l'hora de formular una resposta. En proporcionar als nostres LLM coneixements de la web, els nostres models responen amb precisió a consultes sensibles al temps, desbloquejant coneixements més enllà del seu corpus d'entrenament. Això significa que els LLM en línia de Perplexity poden respondre consultes com ara “Quin va ser el resultat del partit dels Warriors ahir a la nit?” que són difícils per als models fora de línia. A alt nivell, així és com funciona el nostre LLM en línia:

1. Aprofitament de models de codi obert: els nostres models PPLX es basen en els models base mistral-7b i llama2-70b.
2. Tecnologia de cerca pròpia: la nostra infraestructura pròpia de cerca, indexació i rastreig ens permet augmentar els LLM amb la informació més rellevant, actualitzada i valuosa. El nostre índex de cerca és gran, s'actualitza regularment i utilitza algorismes de classificació sofisticats per garantir que es prioritzaran els llocs d'alta qualitat i sense SEO. Els extractes de llocs web, que anomenem «fragments», es proporcionen als nostres models pplx-online per permetre respostes amb la informació més actualitzada.
3. Ajust fi: els nostres models PPLX s'han ajustat amb precisió per utilitzar eficaçment els fragments per informar de les seves respostes. Mitjançant els nostres contractistes de dades interns, seleccionem acuradament conjunts d'entrenament d'alta qualitat, diversos i grans per aconseguir un alt rendiment en diversos eixos com ara la utilitat, la veracitat i la frescor. Els nostres models s'ajusten regularment per millorar contínuament el rendiment.

Avaluació dels LLM en línia de Perplexity

La missió de Perplexity és construir el millor motor de respostes del món, un en el qual la gent confia per descobrir i ampliar el seu coneixement. Per aconseguir-ho, estem profundament centrats a proporcionar informació útil, basada en fets i actualitzada. Per avaluar el rendiment dels nostres LLM en aquests eixos, vam seleccionar conjunts de dades d'avaluació per reflectir casos d'ús desafiants però realistes per a motors de resposta. Per a cada consulta de cada conjunt d'avaluació, es van donar dues respostes de models als contractistes i se'ls va instruir que seleccionessin la resposta que funcionés millor per als criteris següents:

• Utilitat: quina resposta respon a la consulta i segueix millor les instruccions especifícades?
• Veracitat: quina resposta proporciona respostes més precises sense al·lucinacions, fins i tot per a preguntes que requereixen coneixements molt precisos o nínxols?
• Actualització (inspirada en FreshLLMs): quina resposta conté informació més actualitzada? Un model destaca en aquest criteri si és capaç de respondre consultes amb informació «fresca».

A més dels tres criteris anteriors, les respostes del model també es van avaluar de manera holística. Per avaluar les respostes de manera holística, es va demanar als avaluadors que triessin la resposta que preferirien rebre d'un assistent humà que ajudi amb la consulta.

Selecció del conjunt d'avaluació

Per a aquesta avaluació, hem seleccionat acuradament un conjunt divers de indicacions amb l'objectiu d'avaluar eficaçment la utilitat, la veracitat i l'actualització. Cada indicació es va seleccionar manualment, garantint un alt nivell de control sobre la qualitat i la rellevància de les dades. El conjunt de dades abasta una àmplia gamma de indicacions de motors de resposta i inclou una visió general completa del que volem que Perplexity destaqui. Això és fonamental perquè les nostres avaluacions de rendiment del model tinguin un senyal alt.

Cada un dels tres conjunts d'avaluació conté 50 indicacions. Alguns exemples d'aquests conjunts inclouen:

• Utilitat: Creeu una taula de tots els jugadors de futbol dels EUA que van jugar a la final de la Copa del Món i feu columnes per a les seves estadístiques com ara gols, assistències, etc.
• Veracitat: expliqueu la tenacitat dels acers AISI 1015 i AISI 1040.
• Actualització: Quina empresa de cotxes autònoms va ser prohibida a San Francisco el 2023?

Generació de respostes de models

Hem evaluat quatre models:

pplx-7b-online: el model de Perplexity, que inclou accés a informació d'internet. Aquest model s'ha ajustat amb precisió utilitzant mistral-7b.

pplx-70b-online: el model de Perplexity, que inclou accés a informació d'internet. Aquest model s'ha ajustat amb precisió utilitzant llama2-70b.

gpt-3.5-turbo-1106: el model d'OpenAI, accessible mitjançant l'API i sense augments addicionals. Tingueu en compte que hem dut a terme aquesta avaluació utilitzant el model gpt-3.5 més recent.

llama2-70b-chat: el model de Meta AI, accessible a través de la nostra pplx-api i sense augments addicionals.

Per a cada indicació, es van proporcionar els mateixos resultats de cerca i fragments als models pplx-7b-online i pplx-70b-online. Totes les respostes es van generar utilitzant els mateixos hiperparàmetres i indicació de sistema.

Indicació del sistema

Classificació de les respostes del model amb avaluació humana

Per a cada comparació per parelles, es va proporcionar als nostres contractistes interns la indicació en si, els criteris d'avaluació (és a dir, utilitat, veracitat o actualització) i les respostes del model mostrades braç a braç. L'ordre de les respostes es va aleatoritzar a cada torn, i els models font no es van revelar a l'avaluador. Es va instruir als avaluadors que seleccionessin la resposta que prefereixen de manera holística, així com quina funciona millor en el criteri d'avaluació específic, amb empats permesos per a ambdós. Finalment, es va permetre als avaluadors utilitzar la cerca d'internet per verificar la precisió de les respostes. Hem construït la nostra pròpia eina de classificació de preferències interna per dur a terme aquesta avaluació.

Resultats de l'avaluació

Utilitzem les classificacions de preferències per parelles recollides de l'avaluació humana per calcular les puntuacions Elo per tasca per a cada model. Les puntuacions Elo s'utilitzen habitualment per classificar una població de jugadors en competicions d'estil torneig per mesurar el rendiment relatiu dels jugadors. Quan s'apliquen a grans models de llenguatge, aquestes puntuacions proporcionen una predicció de la probabilitat que un avaluador humà afavoreixi la sortida d'un model per sobre d'un altre.

Tot i que les puntuacions Elo es calculen normalment per a una seqüència de comparacions per tenir en compte els canvis en les capacitats dels jugadors, pretenem quantificar el rendiment de models les capacitats dels quals no poden canviar. En conseqüència, adoptem la metodologia Bootstrap Elo descrita per Duan et al i també utilitzada per lmsys per al seu Chatbot Arena, que comporta el càlcul de puntuacions Elo per a moltes permutacions aleatòries de les comparacions. Per als nostres càlculs, hem calculat les puntuacions Elo durant 5000 permutacions i hem utilitzat les distribucions d'aquestes puntuacions Elo per calcular intervals de confiança del 95%.

Els resultats, mostrats a la Figura 1, demostren que els nostres models PPLX poden igualar i fins i-tot superar el rendiment de gpt-3.5 en casos d'ús relacionats amb Perplexity. En particular, les respostes dels models pplx-7b-online i pplx-70b-online són preferides a les respostes dels models gpt-3.5 i llama2-70b per part dels avaluadors humans per les seves respostes precises i actualitzades.

El pplx-7b-online i el pplx-70b-online funcionen millor que gpt-3.5 i llama2-70b, en els criteris d'actualització, veracitat i holístic.

Amplia

També hem calculat les taxes de victòria per parelles de l'avaluació. Els resultats, mostrats a la Figura 2, il·lustren, potser no sorprenentment, que les respostes del model en línia pplx es prefereixen a les d'altres en actualització i en veracitat.

Amplia

Aquí teniu un exemple del nostre conjunt de dades d'avaluació d'actualització.

Indicació: Quantes persones als EUA tenen permís de conduir?

pplx-7b-online

El 2023, es projecten 243,4 milions de conductors amb llicència als Estats Units, la qual cosa inclou el 89% dels adults dels EUA. Aquest nombre ha augmentat respecte als 238,6 milions del 2022. El percentatge de conductors amb llicència varia segons els diferents grups d'edat i estats. Per exemple, el 2019, el 84,1% de la població dels EUA tenia permís de conduir. El percentatge més alt de conductors amb llicència es troba entre els joves de 25 a 49 anys, amb un 90,1% de la població que té permís de conduir. a Califòrnia, hi havia 27 milions de conductors amb llicència, el que el converteix en l'estat amb el nombre més alt de conductors amb llicència.

pplx-70b-online

El 2021, al voltant de 233 milions de persones tenien permisos de conduir vàlids als Estats Units. El 2023, es preveu que el nombre de conductors amb llicència als EUA arribi als 243,4 milions, la qual cosa inclou el 89% dels adults dels EUA. Això representa un augment respecte als 238,6 milions del 2022.

gpt-3.5

Com a model de llenguatge d'IA, no tinc accés a dades en temps real. No obstant això, a partir del 2021, es va estimar que al voltant de 227 milions de persones als Estats Units tenien un permís de conduir vàlid. Tingueu en compte que aquest nombre pot haver canviat des de llavors, de manera que sempre és millor consultar les estadístiques oficials més recents per obtenir la informació més precisa.

llama2-70b

No tinc accés a dades en temps real, però puc proporcionar informació sobre el nombre aproximat de persones als Estats Units que tenen permís de conduir. Segons la Federal Highway Administration, hi havia aproximadament 227,8 milions de conductors amb llicència als Estats Units a partir del 2020. Aquest nombre inclou tant conductors comercials com no comercials. Val la pena assenyalar que aquest nombre és probablement una subestimació, ja que no té en compte les persones que poden tenir un permís de conduir però no condueixen regularment o gens. A més, aquest nombre no inclou les persones que no compleixen els requisits per a un permís de conduir, com ara els menors de 16 anys o aquells amb determinades discapacitats. També és important tenir en compte que el nombre de conductors amb llicència pot variar segons l'estat, i alguns estats tenen un percentatge més alt de conductors amb llicència que d'altres.

En general, els resultats de l'avaluació demostren que els nostres models PPLX poden igualar i fins i tot superar gpt-3.5 i llama2-70b en casos d'ús relacionats amb Perplexity, particularment per proporcionar respostes precises i actualitzades.

Accés als models en línia de Perplexity

Ens emociona anunciar que pplx-api està sortint de la fase beta per passar a una llicència pública general! Aquesta és la primera vegada que els nostres models pplx-7b-online i pplx-70b-online són accessibles a través de pplx-api. A més, els nostres models pplx-7b-chat i pplx-70b-chat estan fora de la fase alfa i ara són accessibles amb la nostra llicència general.

Amb això, estem introduint una nova estructura de preus basada en l'ús. Ens entusiasma que els nostres usuaris utilitzin la nostra infraestructura d'última generació, que utilitza NVIDIA H100s per proporcionar una inferència increïblement ràpida. Els usuaris Pro rebran un crèdit mensual recurrent de 5 $ per a pplx-api. Per a tots els altres usuaris, els preus es determinaran en funció de l'ús. Per registrar-vos com a usuari Pro, feu clic aquí. Poseu-vos en contacte amb api@perplexity.ai per a consultes comercials.

Amplia

Recursos addicionals:

• Comenceu amb pplx-api aquí.
• Proveu els nostres models en línia de manera gratuïta amb Perplexity Labs.
• Obteniu més informació sobre la nostra API a través de la documentació de pplx-api.
• T'interessa treballar en un equip d'alt impacte i alta velocitat que construeixi el millor motor de respostes? Uneix-te a nosaltres!
• Uniu-vos a la nostra comunitat de Discord en creixement!

Col·laboradors:

Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats