סוכן מבוסס-מקומית תחילה לעבודת ידע פרטית וחסכונית

Perplexity Portable Computer הוא סוכן מבוסס-מקומית תחילה.

כל ה-stack פועל מקומית כברירת מחדל. המודל, ה-harness, השיחה והמסלול – כולם יושבים במכונה של המשתמש. עבודה הדורשת את העולם החיצוני, כגון חיפוש באינטרנט, מחברים, או הסלמה למודל יועץ חזק יותר בענן, מופעלת רק בעת הצורך ותמיד כפופה לאישור המשתמש. לכן, נתונים רגישים לעולם אינם עוזבים את המכשיר ללא הרשאה, ומודלים מקומיים אינם כרוכים בעמלת הסקת מסקנות: המערכת פרטית וחסכונית מטבעה.

סוכן מבוסס-מקומית תחילה אפקטיבי דורש שהמודל וה-harness תוכננו יחד. מנגנוני harness כלליים מניחים קיומו של מודל חזית שיכול להכיל הקשרים ארוכים, לנווט במשטח כלים רחב ולתכנן לאורך טווחים ארוכים. מודלים מקומיים אמינים פחות תחת דרישות אלו. במקום לבקש ממודל קטן לנהל harness שנבנה עבור מודל גדול, עיצבנו את השניים זה סביב זה: harness המותאם לפרופיל היכולות של המודל, ומודל שאומן לאחר מכן להשתמש ב-harness זה ביעילות.

מבוא

בחודשים האחרונים, יכולות סוכנותיות התקדמו במהירות על פני מגוון רחב של משימות עבודה מבוססות-ידע. למרות שהתקדמויות אלו מביאות שיפורים גדולים בפריון וביעילות, הן גם מציבות שני אתגרים.

צריכת ה-Token נמצאת בעלייה מהירה, וכך גם ההוצאה הכוללת. כאשר הגישה לבינה מלאכותית מתבצעת דרך ממשקי ה-API של מודלים קדודים-מקור הפועלים באשכולות מרוחקים, מידע פרטי וקניין רוחני עוזבים את מכשיר המשתמש בכל בקשה. ככל שסוכנים מתרחבים על פני תהליכי עבודה אישיים וארגונים שלמים, הוצאות ה-Token ותנועת הנתונים הופכים קשים יותר ויותר לשליטה.

במקביל, מודלים פתוחי-מקור השתפרו בקצב מהיר אף יותר. ההתקדמות בולטת במיוחד במודלים קטנים ויעילים מאוד כגון NVIDIA Nemotron 3.5 Lightning (30B פרמטרים בסך הכל), Qwen 3.6 (35B), ו-Qwen 3.8 (27B). מודלים קטנים אלו עולים על משקלם וכעת מסוגלים לבצע תהליכי עבודה סוכנותיים מורכבים. חומרת הסקה מקומית מתקדמת במקביל: מערכות כגון NVIDIA DGX Spark יכולות כעת להריץ מודלים אלו מקומית. יחד, מגמות אלו הופכות פעולה המתרחבת כולה על גבי המכשיר למעשית, תוך שהן מאפשרות למשתמשים לבחור ביכולות חיצוניות בעת הצורך, כגון חיפוש באינטרנט, מחברים או הסלמה למודל ענן.

גישה מבוססת-מקומית זו מאפשרת חיסכון משמעותי בעלויות, שכן הסקה מקומית נמנעת מעמלות API לכל-token. היא גם פותרת באופן טבעי את חששות הפרטיות והקניין הרוחני: tokens פרטיים לעולם אינם צריכים להיות מועברים לאשכולות מרוחקים ונשארים בבטחה בגבולות המכשיר המקומי.

בחודש יוני, השקנו את מארגן ההסקה ההיברידי מקומי-שרת הראשון שמחליט איזו עבודה תרוץ על גבי המכשיר ואיזו עבודה תועבר לסוכנים בענן. כאן אנו מסבירים כיצד בנינו סוכן מבוסס-מקומית תחילה שכזה, כולל ה-harness והמודלים שעברו אופטימיזציה משותפת.

אנו מספקים סקירה של בחירות העיצוב המרכזיות, ומעריכים את Computer מול מנגנוני harness פתוחי-מקור פופולריים כלליים (Hermes ו-Pi) על פני שלושה מבחני השוואה פומביים ומבחן העבודה המקומית המבוססת-ידע הפנימי שלנו. במבחן ההשוואה שלנו, עם מודל Qwen 3.8 27B הפועל על NVIDIA DGX Spark, Computer משיג את הציון הגבוה ביותר, 82.6% לעומת 77.6% עבור Pi ו-74.0% עבור Hermes. PPLX 27B, המודל שלנו שעבר אימון נוסף על גבי Qwen 3.8 27B, מעלה את הציון עוד יותר ל-85.4%.

הגדלה

עיצוב ה-harness סביב המודל המקומי

אף על פי שמודלים קומפקטיים על גבי המכשיר כבר די יכולים, הם עדיין מפגרים אחר מודלי חזית גדולים בביצועים. נדרש harness המעוצב בקפדנות כדי לכוון מודלים אלו ביעילות ולטפל במגבלות שלהם.

מנגנוני harness פתוחי-מקור פופולריים כמו Pi ו-Hermes הוכיחו את עצמם ככלליים: הם פועלים היטב עם מגוון רחב של מודלים על פני גדלים וסוגים שונים. אך הם אינם עוברים אופטימיזציה עבור היכולות של מודלים על גבי המכשיר. עיצבנו את ה-harness המקומי במיוחד עבור סביבה זו, סביב מספר עקרונות מפתח.

יעילות הקשר

המוקד העיקרי בעיצוב ה-harness שלנו היה להפיק את המיטב מההקשר של המודל.

אף על פי שמודלים על גבי המכשיר כגון Qwen 3.8 27B מציעים חלונות הקשר של 260K tokens, גילינו אמפירית שהם מתחיל מעבר ל-100K tokens להתקשות. לכן אנו שומרים על ה-harness המרכזי תמציתי: הנחיית מערכת מינימלית וסט קטן של כלים מרכזיים.

כל שאר היכולות מחולקות לכישורים לפי דרישה הנטענים ומתפרקים לאורך המסלול. עיצבנו כישורים אלו עבור משימות עבודה מבוססות-ידע נפוצות: מחקר, מדעי הנתונים, ויזואליזציה של נתונים, יצירת מסמכים, הנדסת תוכנה ועוד.

ה-harness תומך גם בדחיסת הקשר, ומסכם הקשר מיושן כאשר מסלול הופך ארוך כך שהמודל נשאר בתוך חלונו האפקטיבי.

מחברים ככלי שורת פקודה

עבודת ידע שוטפת דורשת לעיתים קרובות מחברים כגון Gmail, GitHub, Outlook ו-Google Calendar. אלו נחשפים בדרך כלל ל-harness כשרתי MCP, שהגדרות הכלים הגדולות שלהם צורכות נתח משמעותי מההקשר. במקום זאת, המרנו את ה-MCPs הנפוצים ביותר לכלי שורת פקודה קומפקטיים וקלים לשימוש, המלווים בכישורים מותאמים אישית שעושים שימוש טוב הרבה יותר בהקשר האפקטיבי המוגבל.

אימות עצמי

הביצועים משתפרים גם כאשר הסוכן מאמת את עבודתו שלו. אימות מוסיף צעדים נוספים, אך הוא משפר מאוד את התוצאות הסופיות ומצמצם משמעותית את הפער ממודלי חזית. הוא יכול להיות מופעל על ידי המודל עצמו או על ידי קבוצת hooks המנטרים את תקינות המסלול ומבקשים אימות עצמי כאשר משהו משתבש.

ביצוע בארגז חול

ה-harness מריץ כלים בארגז חול ברמת מערכת ההפעלה במכשיר המשתמש. הגבול מגביל תהליכים, נתיבי מערכת קבצים וגישה לרשת בהתאם למדיניות. הדבר מגביל את רדיוס הפיצוץ של פקודה שגויה. אם ארגז החול אינו זמין, ה-harness משבית את עצמו לפני כל קריאת כלי במקום להתדרדר לביצוע ללא ארגז חול.

זה שונה ממנגנוני harness פתוחי-מקור כמו Pi ו-Hermes, המריצים פקודות ישירות עם הרשאות המשתמש כברירת מחדל. ב-Computer, הבידוד תמיד פועל, אינו דורש הגדרה, וכלים אינם יכולים לפעול בלעדיו.

התרשים שלהלן מראה כיצד עקרונות אלה משתלבים יחד בלולאת הביצוע. האורקסטרטור הוא קוד תשתית דטרמיניסטי, לא LLM: הוא מנהל את הלולאה, מרכיב את ההקשר ומאכוף את המדיניות. המודל המקומי מציע את הפעולה הבאה; האורקסטרטור מבצע קריאות לכלים שאושרו בארגז החול ומחזיר את התוצאות שלהן למודל. חיפוש באינטרנט, מחברים וקריאות ליועץ חוצים את גבול המכשיר רק כשהם מופעלים ומאושרים.

הגדלה

harness מקומי מפיק יותר מאותו מודל

באמצעות אותו מודל בסיס על גבי המכשיר, אנו משווים את ה-harness המקומי שלנו לחלופות כלליות על מחקר אינטרנט והבנת מסמכים מולטימודלית. כל מנגנוני ה-harness משתמשים במודל Qwen 3.8 27B עם חשיבה בינונית, הפועל על NVIDIA DGX Spark. השוואה זו מבודדת את היכולות המנופקות על ידי ה-harness עצמו, לפני כל אימון נוסף של המודל.

אנו מתמקדים בשתי יכולות אלו מכיוון שעבודת ידע משלבת לעיתים קרובות מסמכים פרטיים במכשיר המשתמש עם מידע ציבורי מהאינטרנט כדי לייצר תוצר מבוסס. חיפוש באינטרנט דורש קישוריות, אך הסקת מסקנות של המודל ועיבוד מסמכים פרטיים נשארים מקומיים. קבצים מקומיים משמשים כמקור המוסמך, מקורות ציבוריים מוסיפים הקשר, ומששתמשים יכולים להשבית את החיפוש באינטרנט לחלוטין לצורך עבודה לא מקוונת מלאה.

מחקר אינטרנט

אנו בונים את ה-harness המקומי שלנו לצד מנוע החיפוש של Perplexity, שהשיג דירוגים מובילים ב-הערכות עצמאיות. ה-harness גושת אליו דרך ממשק Search as Code.

אנו מעריכים את איכות המחקר על 1,266 משימות BrowseComp. Computer משתמש בתשתית החיפוש של Perplexity יחד עם ה-harness המקומי שלנו, בעוד ש-Pi ו-Hermes מסתמכים על Brave, ספק החיפוש המומלץ שלהם. Computer מגיע ל-66.7% דיוק, בהשוואה ל-50.2% עבור Pi ו-43.9% עבור Hermes.

ל-Computer יש גם את זמן הקיר הממוצע המתועד וצריכת ה-token הנמוכים ביותר: 402.1 שניות ו-852k tokens למשימה, לעומת 1,020.9 שניות ו-1.01 מיליון tokens עבור Hermes, ו-826.0 שניות ו-2.82 מיליון tokens עבור Pi. לכן Computer משתמש ב-61% פחות זמן קיר ו-16% פחות tokens מאשר Hermes, וב-51% פחות זמן קיר ו-70% פחות tokens מאשר Pi.

הגדלה

הבנת מסמכים מולטימודלית על גבי המכשיר

מסמכים רבים נושאים מידע באופן ויזואלי וקשה לנתח אותם כטקסט פשוט: קובצי PDF, דפים סרוקים, צילומי מסך, תרשימים ומצגות. תהליכי עבודה אלו תלויים ב-OCR ובהבנת תמונות, ומפיקים את התועלת הרבה ביותר ממודל מולטימודלי מטבעו.

ה-harness מעביר דפי מסמכים ותמונות ישירות למודל, שמבין אותם ומשלב ראיות חזותיות עם הטקסט שחולץ. עיבוד קבצים אלה על המכשיר שומר על מסמכים רגישים ועל התוכן שחולץ מהם פרטיים.

אנו מעריכים הבנת מסמכים מולטימודלית על ParseBench-100, תת-קבוצה של 100 משימות ממבחן ההשוואה ParseBench, עם 20 משימות לכל אחד מהתחומים: תרשימים, פריסה, טבלאות, תוכן טקסט ועיצוב.

Computer מגיע לציון ממוצע של 65.1%, בהשוואה ל-34.6% עבור Hermes ו-13.9% עבור Pi. הוא גם משלים משימות עם הזמן המינימלי ופחות ה-tokens: בממוצע 60.6 שניות ו-20.1k tokens למשימה, לעומת 108.3 שניות ו-32.1k tokens עבור Hermes, ו-410.5 שניות ו-829.1k tokens עבור Pi. Computer מוביל בכל חמש קטגוריות המסמכים, כאשר היתרון הגדול ביותר שלו הוא בתרשימים. פריסה נשארת קשה עבור כל שלושת מנגנוני ה-harness.

הגדלה

טבלה 1. ציון ממוצע ב-ParseBench-100 לפי קטגוריית מסמך עבור מנגנוני ה-harness של Computer, Hermes ו-Pi עם מודל Qwen 3.8 27B המקומי. Computer מוביל בכל חמש הקטגוריות.

צמצום פער החזית עם הסלמת יועץ

אפילו עם harness מעוצב בקפדנות, המשימות הקשות ביותר עדיין עולות על היכולות של מודל קומפקטי מקומי. עבור משימות כאלו, ה-harness חושף כלי יועץ: המודל המקומי יכול להתייעץ עם מודל חזית חזק יותר כאשר הוא זקוק לעזרה בתכנון, פתרון דו-משמעות, התאוששות מכשלונות חוזרים, או אימות התוצאה הסופית.

המודל המקומי מחליט מתי לבקש ייעוץ, בעוד שמארגן ה-harness שומר על סמכות כלים ושולט על ההקשר שנשלח. הסלמה היא אופציונלית. המשתמש מחליט האם להפעיל אותה והאם לאשר כל קריאת יועץ באופן ידני או אוטומטי.

לפני קריאת יועץ, ה-harness בוחר את ההקשר הרלוונטי, מפעיל מסווג PII כדי לסמן מידע רגיש, ומציג למשתמש את מה שעוזב את המכשיר. היועץ מקבל רק את ההקשר המאושר ומחזיר הנחיית טקסט; אין לו גישה ישירה לקבצים, לכלים או לשיחות של המכשיר. הדבר משפר גם עלות וגם פרטיות, ואנו מתכננים לחקור כיוון זה לעומק בעבודה עתידית.

הגדלה

אנו בוחנים גישה זו על משימות הנדסת תוכנה מאתגרות, הדורשות חשיבה חזקה ושבהן מודל מקומי נופל לעיתים קרובות ביותר. לשם כך אנו משתמשים ב-Terminal Bench 2.1, מבחן השוואה פופולרי בן 89 משימות עבור סוכני קידוד.

אנו רוצים לענות על שתי שאלות: כמה מהפער למודל חזית הסלמת יועץ יכולה לסגור, ובאיזו עלות. מודלים מקומיים לחלוטין עולים כמעט אפס להרצה, שכן ההסקה מתבצעת על החומרה של המשתמש. עם זאת, ברגע שהמודל מתחיל לקרוא ליועץ, הוא מתחיל לצבור עלויות API.

כקו הבסיס לביצועי חזית, אנו משתמשים ב-Claude Opus 5 הפועל ב-harness המקומי; המודל המקומי הוא Qwen 3.8 27B. לבסוף, אנו משלבים את השניים: Qwen 3.8 27B מבצע את המשימה ומסלים ליועץ Claude Opus 5 כאשר הוא זקוק לעזרה. אנו לא מעריכים הסלמת יועץ עם Pi או Hermes מכיוון שאף אחד מהם אינו מספק כלי יועץ שקול; הוספת כלי כזה תדרוש שינוי של משטח הכלים ולוגיקת הארגון שלו, כך שהתוצאה לא תייצג עוד את ה-harness המוכן מראש.

הסלמת יועץ מעלה את הציון של Computer מ-59.6% ל-73.0%, עלייה של 13.5 נקודות אחוז, בעלות API משוערת של $0.415 לכל פריסה. הרצת Claude Opus 5 לבדו מגיעה ל-82.4% ב-$0.65 לכל פריסה. לפיכך, הסלמה משחזרת בערך שלושה חמישיות מהפער לחזית בכשני שלישים מעלות החזית, והמששתמש מחליט מתי כדאי לבצע עסקה זו.

הגדלה

אימון נוסף עבור ה-harness ועבודת ידע

עד כה, שמרנו על המודל המקומי ללא שינוי כדי לבודד את מה שה-harness תורם. עם עיצוב ה-harness במקומו, הרווחים הגדולים ביותר שנותרו מגיעים מהתאמת המודל עצמו. נתוני השימוש ב-Perplexity Computer מראים לנו מה אנשים עושים בפועל בעבודת ידע, שבהם אנו משתמשים כדי לסנתז נתוני אימון. אנו מאמנים מחדש את המודל המקומי בתוך ה-harness של Computer, בהנחיית ההתפלגות האמיתית של משימות שהמששתמשים מבצעים.

באופן קונקרטי, אנו מזהים סט מגוון של מקרי שימוש המפעילים יכולות מודל, כלים ומחברים שונים. ממקרי שימוש אלו אנו מסנתזים סביבות למידת חיזוק ריאליסטיות ומגדירים משימות מאתגרות אך ניתנות לאימות: כל משימה מורכבת מהנחיה, סביבה ומאמת שמנקד את התוצאה הסופית, כאשר הסביבה היא קונטיינר Docker שבו ה-harness פועל. חשוב לציין, מכיוון שהמשימות סינתטיות, הן אינן מכילות מסמכים אמיתיים או מידע משתמש.

אנו משתמשים בסביבות אלה לצורך אימון דו-שלבי: כוונון עדין של דחייה ולאחריו למידה בחיזוק. בשלב הראשון, אנו מריצים את המודל מול כל משימה כמה פעמים, בוחרים את המסלולים הטובים ביותר לפי ציון המאמת, ומאמנים עליהם בלמידה מונחית. שלב זה מאתחל את המודל עבור ה-harness הספציפי וההתפלגות של המשימות. בשלב השני, למידה בחיזוק מכווננת את המודל עוד יותר, והופכת אותו לחסין יותר.

תת-קבוצה של משימות מוחזקת מחוץ לאימון ומשמשת להערכה סופית; אנו קוראים לקבוצה זו Local Knowledge Work Bench: 53 משימות המשתרעות על פני שבע קטגוריות של עבודת ידע שוטפת, ממחקר מעמיק ועד יצירת מסמכים. בקרוב נפרסם דוח טכני המתאר את אימון המודל בפירוט, ואנו מתכוונים לפתוח כמקור את מבחן ההשוואה להערכה זה.

אימנו את Qwen 3.8 27B עם גישה זו, והפקנו מודל שאנו קוראים לו PPLX 27B, והערכנו אותו ב-Local Knowledge Work Bench. עם מודל הבסיס Qwen 3.8 27B, Computer משיג את הציון הגבוה ביותר (82.6%, בהשוואה ל-77.6% עבור Pi ו-74.0% עבור Hermes) ומשתמש במספר ה-tokens הנמוך ביותר (520k, לעומת 681k עבור Pi ו-634k עבור Hermes). Pi משלים משימות במהירות הרבה ביותר ב-176 שניות למשימה, לעומת 218 שניות עבור Computer ו-292 שניות עבור Hermes. PPLX 27B מעלה את הציון של Computer ל-85.4%, בעלות של יותר tokens (678k לעומת 520k). זמן הקיר המשוער שלו הוא 250 שניות.

הגדלה

טבלה 2. קטגוריות משימות ב-Local Knowledge Work Bench.

סיכום

המחקר שלנו מראה שמודל פתוח-מקור חזק, עם חומרה מקומית בעלת יכולות ו-harness שנבנו עבורם, יכול להתמודד עם עבודת ידע אמיתית בעלות הסקה קרובה לאפס מבלי לדרוש שמידע רגיש יעזוב את המכשיר.

על פני מבחני ההשוואה השונים, Computer השתווה או עלה על Hermes ו-Pi בדיוק תוך הרצת Qwen 3.8 27B על NVIDIA DGX Spark. בין שלושת מבחני ההשוואה המדווחים על זמן אחזור ושימוש ב-tokens, Computer היה המהיר ביותר ב-BrowseComp וב-ParseBench-100 והשתמש במספר ה-tokens הנמוך ביותר בכל השלושה; Pi היה המהיר ביותר ב-Local Knowledge Work Bench.

הרווחים נבעו מבחירות שעשינו. בנינו harness מקומי תמציתי עם כישורים הנטענים לפי דרישה. המרנו מחברים לכלי CLI קומפקטיים במקום שרתי MCP. הביצוע עבר לארגז חול לשם אבטחה.

התוצאות מראות גם היכן למודלים קומפקטיים יש מקום לשיפור. לדוגמה, במשימות הקידוד המאתגרות של Terminal Bench 2.1, המודל המקומי מפגר אחרי מודל החזית על פני כל שלושת מנגנוני ה-harness. הסלמת יועץ מצמצמת אך אינה סוגרת לחלוטין את הפער; שיפורים מתמשכים ביכולות המודל ובחומרה המקומית עדיין נדרשים כדי לדחוף את הביצועים הלאה.

מטרת בניית ה-harness והמודל עבור מגבלות מקומיות היא לתת למשתמשים שליטה מפורשת על המידע שעוזב את המכונה שלהם. ישנם גם יתרונות עלות למשתמש. אנו רואים בכך חלק משינוי רחב יותר שבו סוכנים בעלי יכולות הולכות וגדלות עוברים מתשתית מרוחקה למכשירים אישיים ומקומיים. אנו מצפים שהתקדמות בשבבים, במודלים ובמכשירים תרחיב ללא הרף את טווח ואיכות עבודת הידע ש-Portable Computer מטפל בה מקומית.

ציטוט

@online{perplexity2026ALocalFirstAgentForPrivateAndCostEffectiveKnowledgeWork,
  author = {{Perplexity} and Denis Yarats and Jack Ma and Joey Zhong and Phi Hoang and Jeremy Yang and Jesse Dwyer},
  title = {{A local-first agent for private and cost-effective knowledge work}},
  date = {2026-08-25},
  url = {https://www.perplexity.ai/hub/blog/a-local-first-agent-for-private-and-cost-effective-knowledge-work}
}