PII-TRACE: זיהוי נתונים אישיים לפני שהם עוזבים את המכשיר

חישוב היברידי במק (Mac) מחלק את משימות Perplexity Computer בין מודלים מתקדמים בענן לבין מודל מקומי במק. סוכני ענן מטפלים במחקר, הסקה ותכנון, בעוד שהמודל המקומי עובד עם קבצים פרטיים ומידע רגיש.

גבול זה תלוי בזיהוי מידע מזהה אישי (PII) לפני שהוא עוזב את המכשיר. שער פרטיות מקומי שומר תוכן רגיש על ה-Mac, מסתיר מידע פרטי שזוהה, או מבקש אישור לפני שליחתו לענן.

זיהוי נעשה קשה יותר בשיחות ארוכות ורב-לשוניות. אותו מזהה עשוי להופיע כמה פעמים במהלך תורות שונים. החמצה של אזכור אחד בלבד עלולה לחשוף את המידע שהמערכת נועדה להגן עליו.

כדי להתמודד עם מגבלות אלו, אנו מציגים את PII-TRACE (Tracing Recurring PII Across Conversational Exchanges), מדד השוואתי חדש להערכת גלאי מידע מזהה אישית (PII) בשיחות מרובות-משתתפים וארוכות-טווח ורב-לשוניות, ואת PII-Tracer, מודל קומפקטי של 0.6B לזיהוי PII. המדד והמודלים זמינים לציבור ב-Hugging Face.

מבוא

סוכנים מבוססי-ענן ראשית כל מחייבים משתמשים לאזן בין הקשר, אינטליגנציה ופרטיות. הקשר אישי נוסף יכול לעזור לסוכן להבין את המשתמש ולהפיק תוצאות טובות יותר. אך אספקת הקשר זה משמעותה לעיתים קרובות שליחת מידע פרטי לשירות מרוחק ועלולה לדלוף מידע אישי. המידע שעושה עוזר לשימושי עשוי להיות בדיוק מה שמשתמש הכי רוצה לשמור כפרטי.

בינה מלאכותית היברידית מקלה על פשרה זו על ידי חלוקת העבודה בין מכשיר המשתמש למודלי ענן. אך גבול זה מגן על הפרטיות רק אם המכשיר יכול לזהות PII לפני שהטקסט נשלח למודל מרוחק. משתמשים לא צריכים לבדוק בעצמם כל הודעה. המכשיר זקוק לגלאי PII מקומי כשער הפרטיות שלו. בשיחות ארוכות, אותו מזהה עשוי לחזור על עצמו בין תורות, ואזכור אחד שפוספס מספיק כדי שמידע אישי יעבור הלאה.

הגדלה

Perplexity הציגה תזמור הסקה היברידי מקומי-שרתי המחליט איזו עבודה תרוץ על גבי המכשיר ואיזו עבודה תועבר לסוכנים בענן. המודל, מעטפת הסוכנים (agent harness), השיחות ומסלולי הביצוע כולם יושבים על מכשיר המשתמש. משימות הדורשות גישה לעולם החיצון מופעלות רק בעת הצורך וכפופות להרשאת משתמש. כתוצאה מכך, עד לאישור המשתמש, תוכן זה נשאר על המכשיר.

PII-Tracer מספק אות בקרה מקומי אחד לניתוב המודל על ידי סימון מקטעים שנחזו להכיל PII. לאחר מכן היישום אוכף את מדיניות הניתוב. הוא משאיר את הקלט הרלוונטי מקומי, מסתיר מקטעים שזוהו, או מבקש אישור מפורש לפני הסלמה למודל ענן. כך הניתוב נעשה סלקטיבי יותר. PII שזוהה נשאר במכשיר בעוד שהקשר מאושר עדיין נהנה ממודלי ענן מתקדמים.

ניתוב סלקטיבי תלוי בזיהוי עקבי לאורך כל השיחה. אותו מזהה יכול לחזור על עצמו בין תורות, ואזכור שפוספס עלול עדיין להיות מועבר.

על פני 12 גלאים, PII-Tracer רושם את F1 התווים הגבוה ביותר ואת הכיסוי העקבי הגבוה ביותר של מזהים חוזרים. הבנצ'מארק מסביר מדוע שתי התוצאות חשובות: בשיחה ארוכה, מציאת רוב ה-PII אינה שקולה למציאת כל עותק שלו.

זיהוי PII מתמודד עם אתגרים חדשים בבינה מלאכותית היברידית

זיהוי PII הוא בעיית אבטחה ותיקה, וכבר קיימים מספר בנצ'מארקים וגלאים. עם זאת, זיהוי PII בסביבות בינה מלאכותית היברידית מציג אתגרים חדשים. בפרט, גלאים חייבים לזהות PII בשיחות ארוכות ורב-תוריות, שבהן ההקשר השיחתי קובע האם מחרוזת צריכה להיחשב כ-PII. לדוגמה, שם עשוי לזהות את המשתמש בשיחה אחת, להתייחס לדמות ציבורית באחרת, או פשוט להיות מציין מיקום שנוצר על ידי עוזר. צורת פני השטח לבדה אינה מספקת כדי לקבוע האם מחרוזת צריכה להיות מסומנת כ-PII.

הגדלה

גלאי PII ובנצ'מארקים קיימים מתמקדים בעיקר ברשומות בודדות. אנו מוצאים שגלאים המיועדים לעיבוד רשומה אחת בכל פעם מתפקדים בצורה גרועה בשיחות ארוכות ומורכבות. כמו כן, בנצ'מארקים קיימים בדרך כלל אינם מעריכים עקביות בין תורות. כתוצאה מכך, ביצועים חזקים בבנצ'מארקים אלו אינם מתורגמים בהכרח לזיהוי PII אפקטיבי בשיחות ארוכות ורב-תוריות.

PII-TRACE: בנצ'מארק לזיהוי PII הקריטי לפריסה

תכננו את PII-TRACE סביב שלושה התנהגויות החשובות כאשר גלאי PII משמש בשיחות עוזר. הראשונה היא כיסוי עקבי: כאשר מזהה מופיע מספר פעמים או חוצה תורות משתמש ועוזר, הגלאי צריך למצוא כל אזכור. השנייה היא חוסן להקשר ארוך: שיחות נעשות מפחות מ-1,000 ועד ליותר מ-100,000 תווים, מה שמאפשר למדוד מה קורה ככל שההיסטוריה גדלה. השלישית היא טיפול ב-שפות מרובות ותוכן מעורב-פורמט: שיחה עשויה להחליף שפות ולשלב פרוזה עם קוד, טבלאות או רשומות ממונות. PII-TRACE שומרת על דפוסים אלו על ידי הערכת כל דיאלוג מלא במקום פיצולו לרשומות מבודדות.

הבנצ'מארק מודד ביצועים בשני רמות משלימות. ברמת המזהה, זיהוי עקבי שואל את השאלה המחמירה יותר: האם הגלאי כיסה כל תו בכל אזכור של אותו מזהה? אנו מדווחים על ציון זה בנפרד עבור מזהים בעלי אזכורים מרובים ועבור מזהים החוזרים על עצמם בין תורות. ברמת התו, הדיוק מודד כמה מן הטקסט המסומן על ידי גלאי מתויג כ-PII, הזיכרון מודד כמה PII מסומן הוא מוצא, ו-F1 מאזן בין השניים.

PII-TRACE מכיל 13,148 שיחות סינתטיות בין משתמש לעוזר ב-13 שפות וב-10 מערכות כתיבה, עם 37,431 אזכורי מזהים המסומנים ברמת התו על פני תשעה סוגי PII. סך הכל 41% מהשיחות מכילות תוכן ממונה (structured). מתוך 5,645 השיחות עם PII מסומן, 63.8% כוללות מזהה המופיע יותר מפעם אחת, ו-28.7% כוללות מזהה המופיע במספר תורות.

בניית סט נתונים סינתטי משיחות ייצור

PII-TRACE שומרת על מבנה התורות של שיחות המקור מבלי לפרסם את המקוריות. הצינור (pipeline) משכתב כל תור ומחליף כל מזהה מסומן בערך סינתטי.

הגדלה

ראשית, כמה מודלי שפה מסמנים תשעה סוגים של PII בשיחות משתמש-עוזר בייצור. שלב מבוסס כללים מקבץ מזהים חוזרים מאותו סוג תחת מזהה ישות אחד. לאחר מכן כל ערך מסומן מוחלף במציין מיקום טיפוסי, וכך נותרת תבנית ששומרת את סדר התורות, את סוג ה-PII ואת הקשרים בין האזכורים, אך לא את הערכים המקוריים שסומנו.

המערכת מנסחת מחדש כל תור תוך שמירה על מצייני מיקום אלו ללא שינוי, ולאחר מכן מוסיפה ערכים סינתטיים התואמים לסוג ולפורמט של המזהה. אזכורים חוזרים מקבלים את אותו ערך בתוך שיחה, בעוד ששיחות שונות משתמשות בערכים שנוצרו באופן בלתי תלוי. מעבר היישור הסופי מחשב מחדש כל היסט תווים.

שלושה שערים אוטומטיים בודקים שהחלפות תואמות לטווחים המאוחסנים, שאזכורים חוזרים משתמשים באותו ערך, ושערכים מקוריים מסומנים נעדרים תחת Presidio וסריקה חוזרת של ביטויים רגולריים (regular-expression). היסט מאוחסן חייב גם לשחזר את המחרוזת הסינתטית המדויקת. רשומות שנכשלות עוברות יצירה מחדש או נמחקות. מודל שפה שני מבקר מדגם, ובני אדם סוקרים כל דבר שהוא מסמן כ-PII.

PII-Tracer: גלאי קומפקטי לשימוש מקומי

PII-Tracer הוא מקודד דו-כיווני בגודל 0.6 מיליארד פרמטרים המותאם מבסיס Qwen3. סינון פרטיות שונה מיצירת טקסט ודורש איתור טווחי PII רלוונטיים והחזרת הגבולות שלהם. כתוצאה מכך, PII-Tracer מחליף את המסכה הסיבתית (causal mask) של Qwen3 בתשומת לב דו-כיוונית המודעת לריפוד (padding-aware), כך שכל טוקן יכול להתבסס הן על תורות קודמות והן על תורות מאוחרות יותר במסגרת חלון של 4,096 טוקנים.

עבור כל טוקן, המקודד מייצר ייצוג בן 1,024 ממדים. ראש תיוג לינארי מייצר ציונים עבור 37 תוויות אפשריות: תווית מיוחדת אחת (אשר אנו משתמשים ב-O לציון) עבור טקסט מחוץ לטווח PII, בנוסף לארבע תוויות מיקום טווח עבור כל אחד מתשעת סוגי ה-PII. בסכמת BIOES לזיהוי ישויות במשותף (Named Entity Recognition), B (התחלה), I (בתוך) ו-E (סיום) מסמנים טווח בן מספר טוקנים, בעוד S (יחיד) מסמן טווח בן טוקן אחד. ראש עזר גם חוזה האם השיחה מכילה חומר רגיש, כגון מידע בריאותי או דתי.

אנו מאמנים את PII-Tracer במשך שלוש תקופות (epochs) על כ-714,000 דגימות אימון, המשלבות שיחות עוזר רב-לשוניות עם דוגמאות של רשומה בודדת. למקודד הדו-כיווני המשותף יש שני ראשי אימון: ראש טוקנים BIOES עם 37 מחלקות המזהה ומסווג טווחי PII, וראש בינארי ברמת השיחה החוזה האם השיחה מכילה חומר רגיש. אנו מאמנים את שני הראשים במשותף תוך שימוש ב-$\mathcal{L}=1.5\mathcal{L}_{\mathrm{tag}}+0.3\mathcal{L}_{\mathrm{sens}}$. כאן, $\mathcal{L}_{\mathrm{tag}}$ מעניק משקל רב יותר לתוויות PII נדירות כך שתווית ה-`O` השכיחה אינה שולטת, בעוד ש-$\mathcal{L}_{\mathrm{sens}}$ מספק את אות האימון ברמת השיחה; מקדמי ה-1.5 וה-0.3 שומרים על זיהוי טווחים כמשימה העיקרית. אות עזר זה מחזק זיהוי מודע להקשר: המודל לומד לשפוט טווח מועמד בתוך השיחה ולא כמחרוזת מבודדת, מה שעוזר להפחית תוצאות חיוביות שקעות עם פשרה קטנה בלבד בזיכרון.

בזמן הסקה (inference), מפענח Viterbi מוגבל מחפש את רצף ה-BIOES התקף בעל הציון הגבוה ביותר במקום לתייג כל טוקן בנפרד. לדוגמה, B-private_person יכול להמשיך עם I-private_person או להסתיים ב-E-private_person, אך לא לעבור ל-I-private_email. המפענח ממפה את התוצאה בחזרה לטווחי תווים מדויקים לצורך השחרה (redaction) או ניתוב מקומי.

PII-Tracer מוביל ב-F1 תווים וב-PII חוזר

אנו משווים בין הגלאים ברמת התו וברמת הטווח. מדד F1 לתווים מעריך זיהוי תו אחר תו. מדד F1 לחפיפת טווחים מודד אם הגלאי מזהה חלק כלשהו של פריט PII, בעוד שמדד F1 להכלה בטווח מודד אם הוא לכד את הפריט במלואו.

PII-Tracer השיג את מדד ה-F1 תווים הגבוה ביותר (0.629) בין 12 המערכות שהוערכו, ואת מדדי ה-F1 לחפיפת טווחים והכלת טווחים השני בגובהו. מודלים מתקדמים, כלומר GPT-5.6-sol ו-Claude Sonnet 5, השיגו ביצועים כוללים דומים. GPT-5.6-sol השיג ציונים גבוהים יותר בשני מדדי ה-F1 ברמת הטווח, אך F1 תווים נמוך יותר. עם זאת, למודלים מתקדמים אלו יש מאות מיליארדים או אפילו טריליונים של פרמטרים והם מודלים סגורי-מקור המאוחסנים בענן. כתוצאה מכך, הם אינם מתאימים להגנה על נתונים מקומיים רגישים בסביבות בינה מלאכותית היברידית שבהן טקסט שלא נבדק חייב להישאר מקומי. לעומת זאת, PII-Tracer מספק זיהוי ברמת טווח הקרוב לרמת המודלים המתקדמים עם 0.6B פרמטרים בלבד ויכול לעבד טקסט שלא נבדק באופן מקומי לחלוטין. גלאי PII קוד פתוח אחרים מתפקדים גרוע משמעותית מ-PII-Tracer.

הגדלה

מציאת כל אזכור חוזר

ניסוי העקביות מחיל מבחן קפדני יותר על אותן תחזיות. סט המבחן מכיל 899 מזהים המופיעים פעם אחת ו-959 המופיעים יותר מפעם אחת; 790 מהמזהים החוזרים משתרעים על פני מספר תורות. האיור מדווח על ארבעה דליי ספירת אזכורים (אחד, שניים, שלושה עד חמישה, ושישה עד עשרה) וסופר מזהה אך ורק כאשר כל התווים המסומנים שלו נמצאים. הוא מציג את PII-Tracer עם שלושה בסיסי השוואה נבחרים, בעוד טבלת הנתונים המצרפיים מדווחת על ציונים חוזרים וחוצי-תורות עבור כל שנים עשר המערכות.

הגדלה

PII-Tracer שומר על הובלה ככל שהחזרות גדלות: הציון שלו עובר מ-0.917 עבור אזכור אחד ל-0.873 עבור שניים, 0.796 עבור שלושה עד חמישה, ו-0.691 עבור שישה עד עשרה. בקבוצה האחרונה, GPT-5.6-sol מגיע ל-0.464, בעוד GLiNER2-PII ו-Claude Opus 4.8 מגיעים ל-0.073 ול-0.045. לאורך הערכה המלאה, PII-Tracer מוצא כל אזכור של 79.4% מהמזהים החוזרים ו-77.6% מהמזהים החוצים תורות; GPT-5.6-sol מגיע ל-57.0% ו-55.1% בשתי מדדים אלו.

כיסוי שיחות ארוכות

אנו מקבצים תחילה את כל 1,922 שיחות המבחן לפי אורך תווים ומפענחים את PII-Tracer עם חלון של 4,096 טוקנים. הקבוצות מכילות 167 שיחות מתחת ל-1,000 תווים, 1,292 מ-1,000 עד 10,000, ו-463 באורך 10,000 או יותר.

הגדלה

הזיכרון (recall) בחלון בודד הוא 0.975 מתחת ל-1,000 תווים ו-0.955 מ-1,000 עד 10,000, אך יורד ל-0.687 עבור שיחות באורך 10,000 תווים או יותר. הדיוק נשאר סביב 0.51 בשתי הקבוצות הארוכות יותר, מה שצביע על כיסוי קלט כבעיה העיקרית.

כדי ללמוד את השפעת טיפול הקלט, אנו מעריכים את אותה נקודת בדיקה (checkpoint) עם פענוח חלון גולש בחפיפה של 50%. הדבר מעלה את הזיכרון הכולל לתווים מ-0.830 ל-0.965 ואת הזיהוי העקבי בריבוי-אזכורים מ-0.794 ל-0.954, ללא אימון מחדש.

עקביות בין שפות

PII-TRACE מכסה 13 שפות; ניסוי השפות מדווח על חלק של שש שפות המשתרע על פני כתבים לטיניים, קיריליים והאנגול: אנגלית, גרמנית, צרפתית, איטלקית, רוסית וקוריאנית. אנו מריצים את אותם 12 גלאים על כל שיחות המבחן בכל שפה. בתוך כל שפה, אנו מאגדים תווים חזויים וזהב ומחשבים את מדד F1 התווים.

הגדלה

PII-Tracer מוביל במדד F1 לתווים בארבע מתוך שש שפות: גרמנית (0.735), צרפתית (0.633), איטלקית (0.676) ורוסית (0.651), ונמצא בטווח של 0.016 ו-0.036 מהתוצאות הטובות ביותר באנגלית ובקוריאנית. בניתוח הנלווה, הוא מוביל לזיהוי עקבי בכל ששת תת-הקבוצות השפות, ומשיג ציון של 0.80–0.93. מבט לפי שפה מראה שיפורים מעבר לאנגלית.

F1 תווים גבוה יותר ממסנן הפרטיות (Privacy Filter) בחמישה בנצ'מארקים סטנדרטיים

הניסוי האחרון עובר מחוץ ל-PII-TRACE. אנו מריצים את PII-Tracer ואת מסנן הפרטיות של OpenAI על פיצול האימות של ai4privacy (47,728 מסמכים), פיצול המבחן של Nemotron-PII (100,000), סט SPY עם גרעין (seed) קבוע (8,688), פיצול המבחן של Gretel PII (5,000), ופיצול המבחן TAB ECHR (127).

הגדלה

ל-PII-Tracer יש מדד F1 תווים גבוה יותר בכל סט נתונים: 0.950 לעומת 0.907 ב-ai4privacy, 0.847 לעומת 0.709 ב-Nemotron-PII, 0.585 לעומת 0.543 ב-SPY, 0.952 לעומת 0.895 ב-Gretel PII, ו-0.594 לעומת 0.350 ב-TAB. TAB הוא הבנצ'מארק היחיד בקבוצה זו הבנוי מטקסט אמיתי שתויג על ידי בני אדם. שם, PII-Tracer מגיע ל-0.986 לעומת 0.982 בדיוק ו-0.425 לעומת 0.213 בזיכרון (recall)—פי שניים זיכרון באותו דיוק בעיקרו (פרטים במאמר). לפיכך, מדד ה-F1 הגבוה עובר משיחות PII-TRACE לכל חמשת הבנצ'מארקים הקונבנציונליים של רשומה בודדת בהשוואה זו.

סיכום

בינה מלאכותית היברידית משלבת את מכשיר המשתמש במחסנית ההסקה, ומציעה פרטיות חזקה יותר ועלות נמוכה יותר. מודלים מתקדמים בענן יכולים לטפל במחקר, הסקה ותכנון, בעוד שמודלים מקומיים עובדים עם קבצים ונתונים אישיים שצריכים להישאר על המכשיר. חלוקה זו תלויה בזיהוי מידע רגיש לפני שנתונים רגישים כלשהם מגיעים לענן.

PII-Tracer הוא מודל קומפקטי לזיהוי PII בשיחות רב-תוריות, בעוד ש-PII-TRACE מעריך האם גלאים יכולים לזהות בעקביות PII חוזר לאורך שיחה.

יחד, PII-TRACE ו-PII-Tracer מספקים בנצ'מארק ומודל ייחוס לקידום זיהוי PII בשיחות רב-תוריות ובסביבות ארוכות-הקשר אחרות.

סוכנים לוקחים על עצמם משימות ארוכות יותר ועובדים עם יותר הקשר אישי. כתוצאה מכך, בקרות הפרטיות צריכות להחזיק מעמד לאורך כל השיחה, ולא רק בקלט הראשוני. בינה מלאכותית היברידית תלויה בזיהוי מקומי אמין כדי לשמור הקשר רגיש על המכשיר.

קרא את הדוח הטכני לקבלת פרטים על מבחן ההשוואה PII-TRACE, מודל PII-Tracer וההערכה שלנו. מבחן ההשוואה והמודלים זמינים לציבור ב-Hugging Face.

ציטוט

@online{perplexity2026PiiTraceDetectingPersonalDataBeforeItLeavesTheDevice,
  author = {{Perplexity} and Kaiyuan Zhang and Chuan Wang and Joey Zhong and Paul Fryzel and Kyle Polley and Ninghui Li and Phi Hoang and Eric Wahlgren and Jerry Ma},
  title = {{PII-TRACE: Detecting personal data before it leaves the device}},
  date = {2026-09-01},
  url = {https://www.perplexity.ai/hub/blog/pii-trace-detecting-personal-data-before-it-leaves-the-device}
}