Kynnum PPLX veffræðileg stór málmódel

Fyrsta veffræðilega stóra málmódelaforritaskilaveitan af sinni tegund.

Við erum spennt að kynna tvö ný PPLX-módel: pplx-7b-online og pplx-70b-online! Veffræðilegu módelin okkar leggja áherslu á að skila gagnlegum, uppfærðum og staðreyndatengdum svörum, og eru aðgengileg almenningi í gegnum pplx-api, sem gerir það að fyrsta forritaskilaviðmótinu af sinni tegund. pplx-7b-online og pplx-70b-online eru einnig aðgengileg í gegnum Perplexity Labs, tilraunasvæði okkar fyrir stór málmódel.

Stór málmódel hafa breytt því hvernig við finnum upplýsingar. Hins vegar eru tvær takmarkanir á flestum stórum málmódelum í dag:

Ferskleiki: Stór málmódel eiga oft í erfiðleikum með að deila uppfærðum upplýsingum.

Ofskynjanir: Stór málmódel geta einnig skilað ónákvæmum fullyrðingum.

pplx-7b-online og pplx-70b-online módelin okkar taka á núverandi takmörkunum með því að veita að auki gagnlegar, staðreyndatengdar og uppfærðar upplýsingar í svörum sínum.

PPLX Veffræðileg stór málmódel

Stóru málmódelin okkar, pplx-7b-online og pplx-70b-online, eru veffræðileg stór málmódel vegna þess að þau geta nýtt sér þekkingu af internetinu, og geta þannig nýtt sér nýjustu upplýsingar þegar þau setja saman svar. Með því að veita stóru málmódulunum okkar þekkingu af vefnum svara módelin okkar tímanæmisbundnum fyrirspurnum nákvæmlega og opna fyrir þekkingu umfram þjálfunargögn þeirra. Þetta þýðir að veffræðileg stór málmódel Perplexity geta svarað fyrirspurnum eins og „Hver var staðan í leik Warriors í gærkvöldi?“ sem eru áskorun fyrir ótengd módel. Á heildstæðan hátt virkar veffræðilega stóra málmódelið okkar svona:

1. Nýta opinn hugbúnað (open source) módel: PPLX módelin okkar byggja ofan á mistral-7b og llama2-70b grunnmódelum.
2. Innlend leitartækni: Innlend leit, skráning og netþreifingarinnviðir okkar kleift að bæta við stór málmódel með viðeigandi, uppfærðustu og verðmætustu upplýsingunum. Leitaskráin okkar er stór, uppfærð reglulega og notar háþróaða röðunarreiknirit til að tryggja að hágæða, ekki-SEO vefsvæði séu í forgangi. Úrdrættir af vefsíðum, sem við köllum „búta“ (snippets), eru veittir pplx-online módelunum okkar til að gera svör við nýjustu upplýsingum möguleg.
3. Fíntilling: PPLX módelin okkar hafa verið fínstillt til að nota búta á áhrifaríkan hátt til að upplýsa svör sín. Með því að nota innlenda gagnasérfræðinga okkar, söfnum við vandlega hágæða, fjölbreyttum og stórum þjálfunargagnasöfnum til að ná háum árangri á ýmsum þáttum eins og gagnsemi, staðreyndasemi og ferskleika. Módelin okkar eru fínstillt reglulega til að bæta árangur stöðugt.

Mat á veffræðilegum stórum málmódelum Perplexity

Markmið Perplexity er að byggja bestu svarvél heims - eina sem fólk treystir til að uppgötva og stækka þekkingu sína. Til að ná þessu erum við djúpt einbeitt að því að veita gagnlegar, staðreyndatengdar og uppfærðar upplýsingar. Til að mæla árangur stóru málmódelanna okkar á þessum ásum tókum við saman matsgagnasöfn til að endurspegla áskorunarrík en raunhæf notkunartilvik fyrir svarvélar. Fyrir hverja fyrirspurn í hverju matssetti fengu verktakar svör frá tveimur módelum og var kennt að velja það svar sem stóð sig betur fyrir eftirfarandi viðmið:

• Gagnsemi: hvaða svar svaraði fyrirspurninni og fylgdi tilgreindum leiðbeiningum betur?
• Staðreyndasemi: hvaða svar veitir nákvæmari svör án ofskynjana, jafnvel fyrir spurningar sem krefjast mjög nákvæmrar þekkingar eða sessþekkingar?
• Ferskleiki (innblásið af FreshLLMs): hvaða svar inniheldur nýjustu upplýsingar? Módel stendur sig vel í þessu viðmiði ef það getur svarað fyrirspurnum með „ferskum“ upplýsingum.

Til viðbótar við þrjú viðmiðin hér að ofan voru svör módelanna einnig metin í heild sinni. Til að meta svör í heild sinni voru matsaðilar beðnir um að velja það svar sem þeir vildu frekar fá frá mannlegum aðstoðarmanni sem aðstoðar við fyrirspurnina.

Umsjón matssettisins

Fyrir þetta mat söfnuðum við vandlega fjölbreyttu seti af beiðnum með það markmið að meta gagnsemi, staðreyndasemi og ferskleiki á áhrifaríkan hátt. Hver beiðni var valin handvirkt, sem tryggir mikið eftirlit með gæðum og mikilvægi gagnanna. Gagnasettið spannar breitt svið af fyrirspurnum svarvéla og nær yfir yfirgripsmikið yfirlit yfir það sem við viljum að Perplexity skara fram úr í. Þetta er mikilvægt til þess að árangursmat módelanna okkar hafi hátt merki.

Hvert af þremur matssettunum inniheldur 50 beiðnir. Nokkur dæmi úr þessum settum eru:

• Gagnsemi: Búðu til töflu yfir alla knattspyrnumenn Bandaríkjanna sem spiluðu í úrslitaleikjum heimsmeistaramótsins og búðu til dálka fyrir tölfræði þeirra eins og mörk, stoðsendingar osfrv.
• Staðreyndasemi: Útskýrðu seiglu AISI 1015 og AISI 1040 stáls.
• Nýleiki: Hvaða sjálfkeyrandi bílafyrirtæki var bannað frá San Francisco árið 2023?

Búa til svör módelanna

Við metuðum fjögur módel:

pplx-7b-online: Módel Perplexity, sem felur í sér aðgang að upplýsingum af internetinu. Þetta módel var fínstillt með því að nota mistral-7b.

pplx-70b-online: Módel Perplexity, sem felur í sér aðgang að upplýsingum af internetinu. Þetta módel var fínstillt með því að nota llama2-70b.

gpt-3.5-turbo-1106: Módel OpenAI, sem nálgast er í gegnum forritaskil og án frekari viðbóta. Athugið að við framkvæmdum þetta mat með því að nota nýjasta gpt-3.5 módel.

llama2-70b-chat: Módel Meta AI, nálgast í gegnum pplx-api okkar og án frekari viðbóta.

Fyrir hverja beiðni voru sömu leitarniðurstöður og bútar látnir í té fyrir pplx-7b-online og pplx-70b-online módelin. Öll svör voru búin til með sömu breytum og kerfisbeiðni.

Kerfisbeiðni

Röðun svvara módel með mannlegu mati

Fyrir hvern paraskilning fengu innlendu verktakar okkar beiðnina sjálfa, matsviðmiðin (þ.e. gagnsemi, staðreyndasemi eða ferskleika) og svör módelsins sýnd hlið við hlið. Röðun svaranna var slembiraðað í hverri umferð og upprunamódelin voru ekki gefin upp fyrir matsaðilann. Matsaðilar fengu fyrirmæli um að velja það svar sem þeir kjósa heildrænt, ásamt því hver stendur sig betur á hinu sérstaka matsviðmiði, með jafntefli leyft fyrir bæði. Að lokum var matsaðilum leyft að nota internetleit til að staðfesta nákvæmni svara. Við byggðum okkar eigið innra forrit til að raða eftir valmyndum til að framkvæma þetta mat.

Matsniðurstöður

Við notum paravalraðir sem safnað er úr mannlegu mati til að reikna út verkefnasértæk Elo-stig fyrir hvert módel. Elo-stig eru almennt notuð til að raða hópi leikmanna í mótum til að mæla hlutfallslega frammistöðu leikmanna. Þegar þeim er beitt á stór málmódel veita þessi stig spá um hversu líklegt er að mannlegur matsaðili hafi hlutdrægni í garð framleiðslu eins módel yfir annað.

Þótt Elo-stig séu venjulega reiknuð út fyrir röð samanburða til að taka tillit til breytinga á getu leikmanna, stefnum við að því að mæla afköst módela sem geta ekki breytt getu sinni. Samkvæmt því tökum við upp Bootstrap Elo aðferðafræðina sem lýst er í Duan et al og er einnig nýtt af lmsys fyrir Chatbot Arena þeirra, sem felur í slíku að reikna út Elo-stig fyrir margar slembiraðaðar útgáfur af samanburðinum. Fyrir útreikninga okkar reiknuðum við út Elo-stig yfir 5000 slembiraðanir og tókum dreifingu þessara Elo-stiga til að reikna út 95% öryggisbil.

Niðurstöðurnar, sem sýndar eru á mynd 1, sýna að PPLX módelin okkar geta jafnað sig og jafnvel farið fram úr gpt-3.5 árangri við notkunartilvik sem tengjast Perplexity. Sérstaklega eru pplx-7b-online og pplx-70b-online módelssvör valin umfram gpt-3.5 og llama2-70b módelssvör af mannlegum matsaðilum vegna nákvæmra og uppfærðra svara þeirra.

pplx-7b-online og pplx-70b-online standa sig betur en gpt-3.5 og llama2-70b, á ferskleiki, staðreyndasemi, og heildrænt viðmiðum.

Stækka

Við reiknuðum einnig út sigurhlutfall para úr matinu. Niðurstöðurnar, sýndar á mynd 2, sýna ef til vill ekki á óvart, að pplx veffræðilegu módelssvörin eru valin umfram annarra á ferskleiki og á staðreyndasemi.

Stækka

Hér er dæmi úr matssettinu okkar fyrir ferskleika.

Fyrirspurn: Hversu margir í USA eru með ökuskírteini?

pplx-7b-online

Árið 2023 er áætlað að það séu 243,4 milljónir ökumanna með leyfi í Bandaríkjunum, sem inniheldur 89% af fullorðnum í Bandaríkjunum. Þessi tala hefur aukist úr 238,6 milljónum árið 2022. Hlutfall ökumanna með leyfi er breytilegt eftir mismunandi aldurshópum og ríkjum. Til dæmis, árið 2019, voru 84,1% íbúa Bandaríkjanna með ökuskírteini. Hæsta hlutfall ökumanna með leyfi er meðal 25 til 49 ára, þar sem 90,1% íbúa eru með ökuskírteini. Í Kaliforníu voru 27 milljónir ökumanna með leyfi, sem gerir það að ríkinu með hæsta fjölda ökumanna með leyfi.

pplx-70b-online

Árið 2021 höfðu um 233 milljónir manna gild ökuskírteini í Bandaríkjunum. Árið 2023 er áætlað að fjöldi ökumanna með leyfi í Bandaríkjunum nái 243,4 milljónum, sem inniheldur 89% af fullorðnum í Bandaríkjunum. Þetta þýðir aukning úr 238,6 milljónum árið 2022.

gpt-3.5

Sem gervigreindarmálmódel hef ég ekki aðgang að rauntímagögnum. Hins vegar, frá og með 2021, var áætlað að um 227 milljónir manna í Bandaríkjunum hefðu gilt ökuskírteini. Vinsamlegast athugið að þessi tala gæti hafa breyst síðan þá, svo það er alltaf best að vísa til nýjustu opinberu tölfræðinnar til að fá nákvæmustu upplýsingarnar.

llama2-70b

Ég hef ekki aðgang að rauntímagögnum, en ég get veitt nokkrar upplýsingar um áætlaðan fjölda fólks í Bandaríkjunum sem er með ökuskírteini. Samkvæmt alríkisvegastofnuninni (Federal Highway Administration) voru um það bil 227,8 milljónir ökumanna með leyfi í Bandaríkjunum frá og með 2020. Þessi tala inniheldur bæði atvinnubílstjóra og almenna ökumenn. Það er þess virði að taka fram að þessi tala er líklega vanmat, þar sem hún tekur ekki tillit til einstaklinga sem gætu verið með ökuskírteini en aka ekki reglulega eða yfirhöfuð. Að auki inniheldur þessi tala ekki einstaklinga sem eru ekki hæfir í ökuskírteini, svo sem þá sem eru undir 16 ára aldri eða með ákveðna fötlun. Það er einnig mikilvægt að hafa í huga að fjöldi ökumanna með leyfi getur verið breytilegur eftir ríkjum, þar sem sum ríki eru með hærra hlutfall ökumanna með leyfi en önnur.

Á heildina litið sýna matsniðurstöðurnar að PPLX módelin okkar geta jafnað sig og jafnvel farið fram úr gpt-3.5 og llama2-70b á notkunartilvikum sem tengjast Perplexity, sérstaklega við að veita nákvæm og uppfærð svör.

Aðgangur að veffræðilegum módelum Perplexity

Við erum himinlifandi yfir því að tilkynna að pplx-api er að færa sig úr beta-útgáfu yfir í almenna útgáfu fyrir almenning! Þetta er í fyrsta sinn sem pplx-7b-online og pplx-70b-online módelin okkar eru aðgengileg í gegnum pplx-api. Að auki eru pplx-7b-chat og pplx-70b-chat módelin okkar úr alfa, og eru nú aðgengileg með almennri útgáfu okkar.

Með þessu kynnum við til sögunnar nýja verðlagningarbyggingu sem byggir á notkun. Við erum spennt fyrir því að notendur okkar nýti nýjustu innviði okkar, sem nota NVIDIA H100s til að veita eldsnögga ályktun. Pro-notendur fá endurtekna $5 mánaðarlega pplx-api einingar. Fyrir alla aðra notendur verður verðlagning ákveðin út frá notkun. Til að skrá þig sem Pro-notendur, smelltu hér. Hafðu samband við api@perplexity.ai fyrir viðskiptalegar fyrirspurnir.

Stækka

Viðbótarauðlindir:

• Komdu þér af stað með pplx-api hér.
• Prófaðu veffræðilegu módelin okkar ókeypis með Perplexity Labs.
• Lærðu meira um forritaskil okkar í gegnum pplx-api skjölin.
• Hefur þú áhuga á að vinna í hástyrks-, hraðskreitu teymi sem byggir bestu svarvélina? Vertu með okkur!
• Vertu með í vaxandi Discord samfélagi okkar!

Þátttakendur:

Lauren Yang, Kevin Hu, Aarash Heydari, Gradey Wang, Dmitry Pervukhin, Nikhil Thota, Alexandr Yarats, Max Morozov, Denis Yarats