Kynnum til sögunnar pplx-api

Vinsamlegast athugaðu: Eftirfarandi atriði hafa verið gerð úrelt fyrir núverandi gerðir. Lærðu meira um API okkar

Við erum spennt að kynna pplx-api, sem er hannað til að vera ein af hraðustu leiðunum til að nálgast Mistral 7B, Llama2 13B, Code Llama 34B, Llama2 70B, replit-code-v1.5-3b gerðirnar. pplx-api gerir forriturum auðvelt fyrir að samþætta nýjustu opnu stóru málmódelin (LLM) í sín verkefni.

Okkkar pplx-api býður upp á:

Auðveld í notkun: forritarar geta notað hátækni opna módel beint úr kassanum og komist af stað á örfáum mínútum með kunnuglegu REST API.

Eldhröð ályktun: vandað ályktunarkerfi okkar er skilvirkt og nær allt að 2,9x minni töf en Replicate og 3,1x minni töf en Anyscale.

Raunprófaður innviður: pplx-api hefur reynst áreiðanlegt og þjónar umferð á framleiðslustigi bæði í Perplexity svara- og leitarkerfinu okkar og í Labs leiksvæðinu okkar.

Alhliða lausn fyrir opin stór málmódel: teymi okkar leggur áherslu á að bæta við nýjum opnum módelum um leið og þau koma út. Til dæmis bættum við Llama og Mistral módelum við innan nokkurra klukkustunda frá útgáfu án þess að hafa aðgang fyrirfram.

pplx-api er í opinberu beta-prófunarstigi og er ókeypis fyrir notendur með Perplexity Pro áskrift.

Notaðu pplx-api fyrir afslappaðan helgarhakkþjón eða sem viðskiptalausa til að byggja nýjar og nýstárlegar vörur. Við vonumst til að læra hvernig fólk getur byggt flottar og nýstárlegar vörur með API okkar í gegnum þessa útgáfu. Vinsamlegast hafðu samband við api@perplexity.ai ef þú ert með viðskiptaleg notkunartilvik fyrir pplx-api. Við viljum mjög gjarna heyra frá þér!

Uppsetning og ályktun stórra málmódela (LLM) krefst gríðarlegra innviðaverkefna til að gera þjónustu módelanna afkastamikla og kostnaðarhagkvæma. Forritarar geta notað API okkar beint úr kassanum, án djúpstæðrar þekkingar á C++/CUDA eða aðgangs að GPU, og samt notið nýjustu afkasta. Ályktun LLM okkar dregur einnig úr flækjustiginu og nauðsyn þess að stjórna eigin vélbúnaði, sem eykur enn frekar á þægindi í notkun.

LLM API frá Perplexity er vandlega hannað og fínstillt fyrir hraða ályktun. Til að ná þessu bjuggum við til sérstakan LLM ályktunarinnvið í kringum TensorRT-LLM frá NVIDIA sem keyrir á A100 GPU-skjákortum frá AWS. Lærðu meira í hlutanum Yfirlit yfir innviði pplx-api. Fyrir vikið er pplx-api eitt af hraðustu Llama og Mistral API sem völ er á á markaðnum.

Til að bera okkur saman við núverandi lausnir bárum við saman töf (latency) á pplx-api við önnur LLM ályktunarsöfn. Í tilraunum okkar nær pplx-api allt að 2,92x meiri heildarhraða miðað við Text Generation Inference (TGI), og allt að 4,35x meiri upphafs-svörunartöf. Fyrir þessa tilraun bárum við saman TGI og ályktun Perplexity fyrir einstreymis- og þjónssenariur á 2 A100 GPU-skjákortum með Llama-2-13B-chat módeli deildu á milli skjákorta. Fyrir einstreymissenariuna vinnur þjónninn úr einni beiðni á fætur annarri. Í þjónssenariunni sendir biðlarinn beiðnir í samræmi við Poisson-dreifingu með breytilegum beiðnitíðnum til að líkja eftir breytilegu álagi. Fyrir beiðnitíðnina gerum við litla leit upp að hámarki 1 beiðni á sekúndu, sem er hámarks afköst sem TGI þolir. Við notuðum raunveruleg gögn með margvíslegum inntaks- og úttakstáknalengdum til að líkja eftir hegðun í framleiðslu. Beiðnirnar eru að meðaltali ~700 inntakstákn og ~550 úttakstákn.

Með sömu inntökum og með því að senda einfalt straum af beiðnum mældum við einnig meðaltöf Replicate og Anyscale API fyrir sama módel til að fá frammistöðuviðmið miðað við önnur núverandi API.

Með sömu tilraunauppsetningu bárum við saman hámarksafköst pplx-api á móti TGI, þar sem afkóðunarhraði var notaður sem skilyrði fyrir töf. Í tilraunum okkar vinnur pplx-api úr táknum 1,90x-6,75x hraðar en TGI, og TGI mistekst alveg að uppfylla ströngustu skilyrði okkar um töf við 60 og 80 tákn á sekúndu. Við metum TGI við sömu vélbúnaðar- og álagsskilyrði og við notuðum til að meta pplx-api. Ekki er hægt að bera þennan mælikvarða saman við Replicate og Anyscale þar coð við getum ekki stjórnað vélbúnaði þeirra og álagisþáttum.

Til hliðsjónar er meðallestrarhraði manneskju 5 tákn á sekúndu, sem þýðir að pplx-api getur þjónað á meiri hraða en hægt er að lesa.

Til að ná þessum töfustigum þarf blöndu af nýjasta hugbúnaði og vélbúnaði.

AWS p4d tilvik knúin áfram af NVIDIA A100 GPU-skjákortum mynda grunninn sem hagkvæmasti og áreiðanlegasti kosturinn til að stækka GPU með bestu klukkuhraða í flokki.

Til að hugbúnaður nýti þennan vélbúnað keyrum við TensorRT-LLM frá NVIDIA, opið safn sem flýtir fyrir og fínstillir LLM ályktun. TensorRT-LLM pakkar inn djúpnámsþýðanda TensorRT og inniheldur nýjustu fínstilltu kjarna gerða fyrir hátækniútfærslur af FlashAttention og grímuklæddri fjölhöfðaathygli (MHA) fyrir samhengis- og kynningarfasa við keyrslu LLM módela.

Héðan í frá gerir hryggjarstykki AWS og öflug samþætting þess við Kubernetes okkur kleift að stækka teygjanlega um hundruð GPU og lágmarka niðritíma og netálag.

API okkar knýr nú þegar einn af kjarnaeiginleikum vöru Perplexity. Bara það að skipta út einum eiginleika úr ytra API yfir í pplx-api leiddi til kostnaðarsparnaðar upp á $0,62M á ári, sem er um það bil 4x minnkun á kostnaði. Við gerðum A/B prófanir og fylgdumst með mælingum á innviðum til að tryggja að engin gæðaskerrnun ætti sér stað. Yfir 2 vikna tímabil sáum við engan tölfræðilega marktækan mun á A/B prófuninni. Að auki gat pplx-api þolað daglegt álag yfir einnar milljónar beiðna, samtals næstum ein milljarður unninna tákna á dag.

Niðurstöður þessarar fyrstu könnunar eru mjög hvetjandi og við gerum ráð fyrir að pplx-api muni knýja fleiri vöruaeiginleika okkar með tímanum.

pplx-api í Perplexity Labs: Vistkerfi opins hugbúnaðar til ályktunar

Við notum einnig pplx-api til að knýja Perplexity Labs, leiksvæði módelanna okkar sem þjónar ýmsum opnum módelum.

Teymi okkar leggur áherslu á að veita aðgang að nýjustu og fullkomnustu opnu stóru málmódelunum (LLM). Við samþættum Mistral 7B, Code Llama 34b og öll Llama 2 módelin innan nokkurra klukkustunda frá útgáfu þeirra, og ætlum að gera það þegar fleiri öflug og opin LLM verða tiltæk.

Þú getur nálgast pplx-api REST API með HTTPS beiðnum. Auðkenning í pplx-api felur í sér eftirfarandi skref:

Búðu til API lykil í gegnum reikningsstillingasíðu Perplexity. API lykillinn er langlivist aðgangstákn sem hægt er að nota þar til honum er handvirkt breytt eða hann eyddu.

Sendu API lykilinn sem bera-tákn (bearer token) í Authorization hausnum með hverri pplx-api beiðni.

Í eftirfarandi dæmi er PERPLEXITY_API_KEY umhverfisbreyta sem bundin er við lykil sem búinn var til með leiðbeiningunum hér að ofan. CURL er notað til að senda inn beiðni um spjallútfyllingu.

bash

curl -X POST \
     --url https://api.perplexity.ai/chat/completions \
     --header 'accept: application/json' \
     --header 'content-type: application/json' \
     --header "Authorization: Bearer ${PERPLEXITY_API_KEY}" \
     --data '{
	"model": "mistral-7b-instruct",
  "stream": false,
  "max_tokens": 1024,
  "frequency_penalty": 1,
  "temperature": 0.0,
  "messages": [
		{
			"role": "system",
			"content": "Be precise and concise in your responses."
		},
		{
			"role": "user",
			"content": "How many stars are there in our galaxy?"
		}
	]
}'

Sem skilar eftirfarandi svari, með content-type: application/json

json

{
  "id": "3fbf9a47-ac23-446d-8c6b-d911e190a898",
  "model": "mistral-7b-instruct",
  "object": "chat.completion",
  "created": 1765322,
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": " The Milky Way galaxy contains an estimated 200-400 billion stars.."
      },
      "delta": {
        "role": "assistant",
        "content": " The Milky Way galaxy contains an estimated 200-400 billion stars.."
      }
    }
  ],
  "usage": {
    "prompt_tokens": 40,
    "completion_tokens": 22,
    "total_tokens": 62
  }
}

Hér er dæmi um Python kall:

python

from openai import OpenAI

YOUR_API_KEY = "INSERT API KEY HERE"

messages = [
    {
        "role": "system",
        "content": (
            "You are an artificial intelligence assistant and you need to "
            "engage in a helpful, detailed, polite conversation with a user."
        ),
    },
    {
        "role": "user",
        "content": (
            "Count to 100, with a comma between each number and no newlines. "
            "E.g., 1, 2, 3, ..."
        ),
    },
]

client = OpenAI(api_key=YOUR_API_KEY, base_url="https://api.perplexity.ai")

# demo chat completion without streaming
response = client.chat.completions.create(
    model="mistral-7b-instruct",
    messages=messages,
)
print(response)

# demo chat completion with streaming
response_stream = client.chat.completions.create(
    model="mistral-7b-instruct",
    messages=messages,
    stream=True,
)
for response in response_stream:
    print(response)

Við styðjum nú Mistral 7B, Llama 13B, Code Llama 34B, Llama 70B, og API-ið er á þægilegan hátt samhæft við OpenAI biðlara til auðveldrar samþættingar við núverandi forrit.

Fyrir frekari upplýsingar, vinsamlegast farðu á API skjöl okkar og flýtileiðbeiningar.

Í nánustu framtíð mun pplx-api styðja:

Sérsniðin Perplexity LLM og önnur opin LLM.

Sérsniðin Perplexity innfelling (embeddings) og opin innfelling.

Sérstök API verðlagningartöflu með almennum aðgangi eftir að almennri beta-prófun lýkur.

Perplexity RAG-LLM API með jarðtengingu fyrir staðreyndir og tilvísanir.

Hafðu samband við api@perplexity.ai ef þú hefur áhuga á einhverju þessara notkunartilvika.

Þetta er einnig upphafið að bloggritaflokki Perplexity. Í næstu færslu munum við deila ítarlegri greiningu á samanburði á afköstum A100 og H100 fyrir LLM ályktun. Fylgstu með!

Við erum að ráða! Ef þú vilt vinna að vöru sem dreift er í miklum mæli og byggja vandlega hannaða, vandlega fínstillta skapandi og stóra málmódela innviði með okkur, vinsamlegast vertu með okkur.

Fylgdu okkur á Twitter, LinkedIn og vertu með á Discord spjallþræðinum okkar fyrir frekari umræður.

Lauren Yang, Kevin Hu, Aarash Heydari, William Zhang, Dmitry Pervukhin, Grigorii Alekseev, Alexandr Yarats

Með því að velja pplx-api geturðu nýtt þér allan möguleika stórra málmódela á meðan þú verndar friðhelgi og traust notenda þinna og viðskiptavina. Við skiljum mikilvægi þess að vernda persónuupplýsingar þínar og erum staðráðin í að viðhalda öryggi og friðhelgi notenda okkar. API gögnum er sjálfkrafa eytt eftir 30 daga og við þjálfum aldrei á gögnum sem send eru í gegnum pplx-api. Notendur hafa val um að afþakka gagnaðsöfnun í reikningsstillingum sínum. Finndu persónuverndarstefnu API okkar hér.

Kostir pplx-api

Auðvelt í notkun

Eldhröð ályktun

Yfirlit yfir innviði pplx-api

Notkunartilvik: API okkar í framleiðslu

pplx-api í Perplexity: Kostnaðarsamdráttur og áreiðanleiki

Komdu þér af stað með gervigreindar-API frá Perplexity

Hvað er framundan

Höfundar:

Meðferð gagna