הצגת מודלי PPLX online LLMs

ממשק ה-API הראשון מסוגו המבוסס על מודל שפה גדול מקוון.

אנו נרגשים להציג שני מודלי PPLX חדשים: pplx-7b-online ו-pplx-70b-online! המודלים המקוונים שלנו מתמקדים באספקת מענות מועילים, עדכניים ועובדתיים, והם זמינים לציבור באמצעות pplx-api, מה שהופך אותו לממשק ה-API הראשון מסוגו. pplx-7b-online ו-pplx-70b-online זמינים גם דרך Perplexity Labs, סביבת הפיתוח שלנו למודלי שפה גדולים.

מודלי שפה גדולים שינו את הדרך שבה אנו מוצאים מידע. עם זאת, ישנן שתי מגבלות ברוב מודלי השפה הגדולים כיום:

עדכניות: מודלי שפה גדולים מתקשים לעיתים קרובות בשיתוף מידע מעודכן.

הזיות (Hallucinations): מודלי שפה גדולים עשויים גם להפיק הצהרות לא מדויקות.

מודלי ה-pplx-7b-online ו-pplx-70b-online שלנו מטפלים במגבלות הנוכחיות על ידי אספקה נוספת של מידע מועיל, עובדתי ומעודכן בתשובותיהם.

מודלי שפה גדולים מקוונים מסוג PPLX

מודלי השפה הגדולים שלנו, pplx-7b-online ו-pplx-70b-online, הם מודלי שפה גדולים מקוונים מכיוון שהם יכולים להשתמש בידע מהאינטרנט, וכך לנצל את המידע המעודכן ביותר בעת יצירת מענה. על ידי מתן ידע מהווב למודלי השפה הגדולים שלנו, הם מגיבים במדויק לשאילתות הרגישות לזמן, ופותחים גישה לידע מעבר למאגר האימונים שלהם. המשמעות היא שמודלי השפה הגדולים המקוונים של Perplexity יכולים לענות על שאילתות כמו “מה הייתה תוצאת משחק הווריורס אתמול בלילה?” המהוות אתגר עבור מודלים לא מקוונים. ברמה הכללית, כך פועל מודל השפה הגדול המקוון שלנו:

1. ניצול מודלים בקוד פתוח: מודלי ה-PPLX שלנו בנויים על גבי מודלי הבסיס mistral-7b ו-llama2-70b.
2. טכנולוגיית חיפוש פנימית: תשתית החיפוש, האינדוקס והסריקה הפנימית שלנו מאפשרת לנו להעשיר מודלי שפה גדולים במידע הרלוונטי, המעודכן והבעל הערך הרב ביותר. אינדקס החיפוש שלנו גדול, מעודכן בקצב סדיר, ומשתמש באלגוריתמי דירוג מתוחכמים כדי להבטיח מתן עדיפות לאתרים איכותיים שאינם מותאמים למנועי חיפוש (non-SEOed). קטעים מתוך אתרי אינטרנט, שאותם אנו מכנים "קטעי טקסט" (snippets), מסופקים למודלי ה-pplx-online שלנו כדי לאפשר מתן מענים הכוללים את המידע המעודכן ביותר.
3. כוונון עדין (Fine-tuning): מודלי ה-PPLX שלנו עברו כוונון עדין כדי להשתמש ביעילות בקטעי טקסט (snippets) כדי להזין את התשובות שלהם. באמצעות קבלני משנה פנימיים לניהול נתונים, אנו אוצרים בקפידה מערכי אימון איכותיים, מגוונים וגדולים כדי להשיג ביצועים גבוהים בצירים שונים כמו תועלת, עובדתיות ועדכניות. המודלים שלנו עוברים כוונון עדין באופן קבוע כדי לשפר את הביצועים ללא הרף.

הערכת מודלי השפה הגדולים המקוונים של Perplexity

החזון של Perplexity הוא לבנות את מנוע התשובות הטוב ביותר בעולם - כזה שאנשים סומכים עליו כדי לגלות ולהרחיב את הידע שלהם. כדי להשיג זאת, אנו מתמקדים עמוקות באספקת מידע מועיל, עובדתי ומעודכן. כדי לבצע בנצ'מרק לביצועי מודלי השפה הגדולים שלנו בצירים אלו, אוצרנו מערכי נתונים להערכה שישקפו מקרי שימוש מאתגרים אך ריאליסטיים עבור מנועי תשובות. עבור כל שאילתת חיפוש בכל מערך הערכה, קבלני המשנה קיבלו שני מענים ממודלים והונחו לבחור את המענה שהציג ביצועים טובים יותר לפי הקריטריונים הבאים:

• תועלת (Helpfulness): איזה מענה עונה על השאילתא ומציית להנחיות המפורטות בצורה טובה יותר?
• עובדתיות (Factuality): איזה מענה מספק תשובות מדויקות יותר ללא הזיות, אפילו עבור שאלות הדורשות ידע מדויק מאוד או נישתי?
• עדכניות (Freshness) (בהשראת FreshLLMs): איזה מענה מכיל מידע מעודכן יותר? מודל מצטיין בקריטריון זה אם הוא מסוגל לענות על שאילתות עם מידע "טרי".

בנוסף לשלושת הקריטריונים לעיל, מעני המודלים הוערכו גם באופן הוליסטי. כדי להעריך מענים באופן הוליסטי, המעריכים התבקשו לבחור את המענה שהיו מעדיפים לקבל מעוזר אנושי המסייע בשאילתא.

אצירת מערך ההערכה

עבור הערכה זו, אצנו בקפידה סט מגוון של הנחיות (prompts) במטרה להעריך ביעילות תועלת, עובדתיות ועדכניות. כל הנחיה נבחרה ידנית, מה שהבטיח רמה גבוהה של בקרה על האיכות והרלוונטיות של הנתונים. מערך הנתונים משתרע על פני מגוון רחב של הנחיות למנועי תשובות ומקיף סקירה מקיפה של מה שאנו רוצים ש-Perplexity תצטיין בו. זה קריטי עבורנו כדי להבטיח שלערכות ביצועי המודל שלנו יהיה אות גבוה.

כל אחד משלושת מערכי ההערכה מכיל 50 הנחיות. כמה דוגמאות מתוך מערכים אלה כוללות:

• תועלת: צור טבלה של כל שחקני הכדורגל מארה"ב ששיחקו בגמר גביע העולם וצור עמודות סטטיסטיקה עבורם כמו שערים, בישולים וכו'.
• עובדתיות: הסבר את הקשיחות של פלדות AISI 1015 ו-AISI 1040.
• עדכניות: איזו חברת מכוניות אוטונומיות נחסמה בסן פרנסיסקו בשנת 2023?

הפקת מעני מודל

הערכנו ארבעה מודלים:

pplx-7b-online: המודל של Perplexity, הכולל גישה למידע מהאינטרנט. מודל זה עבר כוונון עדין באמצעות mistral-7b.

pplx-70b-online: המודל של Perplexity, הכולל גישה למידע מהאינטרנט. מודל זה עבר כוונון עדין באמצעות llama2-70b.

gpt-3.5-turbo-1106: המודל של OpenAI, אליו ניגשים באמצעות ה-API וללא העשרה נוספת. שים לב שביצענו הערכה זו באמצעות מודל gpt-3.5 האחרון.

llama2-70b-chat: המודל של Meta AI, הנגיש דרך ה-pplx-api שלנו וללא הרחבות נוספות.

עבור כל הנחיה (prompt), אותן תוצאות חיפוש וקטעי טקסט (snippets) סופקו למודלים pplx-7b-online ו-pplx-70b-online. כל המענים הופקו באמצעות אותם היפר-פרמטרים והנחיית מערכת (system prompt).

הנחיית מערכת (System Prompt)

דירוג מעני מודלים באמצעות הערכה אנושית

עבור כל השוואה זוגית, קבלני המשנה הפנימיים שלנו קיבלו את ההנחיה עצמה, קריטריוני ההערכה (כלומר, תועלת, עובדתיות או עדכניות), ואת מעני המודלים שהוצגו זה לצד זה. סדר הצגת המענים עבר רנדומיזציה בכל סבב, ומודלי המקור לא נחשפו למעריך. המעריכים הונחו לבחור את המענה שהם מעדיפים באופן הוליסטי, וכן איזה מהם מתפקד טוב יותר לפי קריטריון ההערכה הספציפי, כאשר אפשרות לתיקו הותרה בשניהם. לבסוף, למעריכים ניתנה רשות להשתמש בחיפוש באינטרנט כדי לאמת את דיוק המענים. בנינו כלי דירוג העדפות פנימי משלנו כדי לבצע הערכה זו.

תוצאות ההערכה

אנו משתמשים בדירוגי ההעדפות הזוגיים שנאספו מההערכה האנושית כדי לחשב ציוני Elo לכל משימה עבור כל מודל. ציוני Elo משמשים בדרך כלל לדירוג אוכלוסיית שחקנים בתחרויות בסגנון טורניר כדי למדוד את הביצועים היחסיים של השחקנים. כאשר הם מיושמים על מודלי שפה גדולים, ציונים אלו מספקים תחזית לגבי הסבירות שמעריך אנושי יעדיף את הפלט של מודל אחד על פני משנהו.

בעוד שציוני Elo מחושבים בדרך כלל עבור רצף של השוואות כדי לתת מענה לשינויים ביכולות השחקנים, אנו שואפים לכמת את הביצועים של מודלים שיכולותיהם אינן יכולות להשתנות. בהתאם לכך, אנו מאמצים את מתודולוגיית Bootstrap Elo המתוארת על ידי Duan et al המשמשת גם את lmsys עבור ה-Chatbot Arena שלהם, הכוללת חישוב ציוני Elo עבור תמורות אקראיות רבות של ההשוואות. לחישובים שלנו, חישבנו ציוני Elo על פני 5000 תמורות והשתמשנו בהתפלגויות של ציוני Elo אלו כדי לחשב מרווחי סמך של 95%.

התוצאות, המוצגות באיור 1, ממחישות שמודלי ה-PPLX שלנו יכולים להשתוות ואפילו לעלות על הביצועים של gpt-3.5 במקרי שימוש הקשורים ל-Perplexity. בפרט, מעני המודלים pplx-7b-online ו-pplx-70b-online זוכים להעדפה מצד מעריכים אנושיים על פני מעני המודלים gpt-3.5 ו-llama2-70b הודות לתשובותיהם המדויקות והמעודכנות.

ה-pplx-7b-online ו-pplx-70b-online מתפקדים טוב יותר מ-gpt-3.5 ו-llama2-70b, בקריטריונים של עדכניות, עובדתיות ו-הוליסטיות.

הגדלה

חישבנו גם את שיעורי הניצחון הזוגיים מתוך ההערכה. התוצאות, המוצגות באיור 2, ממחישות, אולי ללא הפתעה, שמעני המודל המקוון של pplx עדיפים על אחרים מבחינת עדכניות ועובדתיות.

הגדלה

הנה דוגמה ממערך ההערכה של העדכניות שלנו.

שאילתא: לכמה אנשים בארה"ב יש רישיון נהיגה?

pplx-7b-online

בשנת 2023, יש צפי ל-243.4 מיליון נהגים בעלי רישיון בארצות הברית, הכוללים 89% ממבוגרי ארה"ב. מספר זה עלה מ-238.6 מיליון בשנת 2022. אחוז הנהגים בעלי הרישיון משתנה בין קבוצות גיל ומדינות שונות. לדוגמה, בשנת 2019, ל-84.1% מאוכלוסיית ארה"ב היה רישיון נהיגה. האחוז הגבוה ביותר של נהגים מורשים הוא בקרב בני 25 עד 49, כאשר ל-90.1% מהאוכלוסייה יש רישיון נהיגה. בקליפורניה היו 27 מיליון נהגים בעלי רישיון, מה שהופך אותה למדינה עם מספר הנהגים המורשים הגבוה ביותר.

pplx-70b-online

בשנת 2021, כ-233 מיליון איש החזיקו ברישיונות נהיגה תקפים בארצות הברית. עד שנת 2023, מספר הנהגים בעלי הרישיון בארה"ב צפוי להגיע ל-243.4 מיליון, הכוללים 89% ממבוגרי ארה"ב. הדבר מהווה עלייה מ-238.6 מיליון בשנת 2022.

gpt-3.5

כמודל שפה מבוסס בינה מלאכותית, אין לי גישה לנתונים בזמן אמת. עם זאת, נכון לשנת 2021, ההערכה הייתה שכ-227 מיליון איש בארצות הברית החזיקו ברישיון נהיגה בתוקף. שים לב שמספר זה עשוי להשתנות מאז, ולכן תמיד עדיף לעיין בסטטיסטיקות הרשמיות האחרונות לקבלת המידע המדויק ביותר.

llama2-70b

אין לי גישה לנתונים בזמן אמת, אך אני יכול לספק מידע מסוים על המספר המשוער של אנשים בארצות הברית שיש לו רישיון נהיגה. על פי מינהל הכבישים הפדרלי (Federal Highway Administration), היו בארצות הברית כ-227.8 מיליון נהגים בעלי רישיון נכון לשנת 2020. מספר זה כולל נהגים מסחריים ולא-מסחריים כאחד. ראוי לציין שמספר זה הוא ככל הנראה הערכת חסר, שכן הוא אינו מביא בחשבון אנשים שעשויים להחזיק ברישיון נהיגה אך אינם נוהגים באופן קבוע או כלל. בנוסף, מספר זה אינו כולל אנשים שאינם זכאים לרישיון נהיגה, כגון מי שמתחת לגיל 16 או בעלי מוגבלויות מסוימות. כמו כן, חשוב לציין שמספר הנהגים בעלי הרישיון עשוי להשתנות בהתאם למדינה, כאשר בחלק מהמדינות יש אחוז גבוה יותר של נהגים מורשים מאשר באחרות.

בסך הכל, תוצאות ההערכה ממחישות שמודלי ה-PPLX שלנו יכולים להשתוות ואפילו להתעלות על gpt-3.5 ו-llama2-70b במקרי שימוש הקשורים ל-Perplexity, ובמיוחד באספקת מענים מדויקים ומעודכנים.

גישה למודלים המקוונים של Perplexity

אנו נרגשים להכריז ש-pplx-api יוצא משלב הבטא ועובר להשקה ציבורית כללית! זו הפעם הראשונה שמודלי ה-pplx-7b-online ו-pplx-70b-online שלנו נגישים דרך ה-pplx-api. בנוסף, מודלי ה-pplx-7b-chat ו-pplx-70b-chat שלנו יצאו משלב האלפא, וכעת הם נגישים בהשקה הכללית שלנו.

עם זאת, אנו מציגים מבנה תמחור חדש מבוסס שימוש. אנו נרגשים מכך שהמשתמשים שלנו יעשו שימוש בתשתית המתקדמת שלנו, המשתמשת ב-NVIDIA H100s כדי לספק הסקה מהירה במיוחד. משתמשי Pro יקבלו קרדיטים חוזרים בסך 5 דולר לחודש עבור pplx-api. לכל שאר המשתמשים, התמחור ייקבע על בסיס שימוש. כדי להירשם כמשתמש Pro, לחץ כאן. פנה אל api@perplexity.ai לפניות מסחריות.

הגדלה

משאבים נוספים:

• התחל לעבוד עם pplx-api כאן.
• נסה את המודלים המקוונים שלנו בחינם עם Perplexity Labs.
• למד עוד אודות ה-API שלנו באמצעות תיעוד pplx-api.
• מעוניין לעבוד בצוות בעל השפעה רבה וקצב עבודה מהיר הבונה את מנוע התשובות הטוב ביותר? הצטרף אלינו!
• הצטרף לקהילת ה-Discord הצומחת שלנו!

תורמים:

לורן יאנג, קווין הו, אראש היידארי, גריידי וואנג, דמיטרי פרבוחין, ניקיל טוטה, אלכסנדר יאראץ, מקס מורוזוב, דניס יאראץ