# מנוע ניטור הטייה אתית לשאלונים בטחון בזמן אמת

## למה הטייה חשובה בתשובות אוטומטיות לשאלונים  

הקבלה המהירה של כלי AI שמבצעים אוטומציה של שאלוני בטחון הביאה למהירות ועקביות חסרות תקדים. עם זאת, כל אלגוריתם יורש את ההנחות, הפיזור של הנתונים והבחירות העיצוביות של יוצריו. כאשר העדפות נסתרות אלה מתגלות כ**הטייה**, הן יכולות:

1. **להטות ציוני אמון** – ספקים מאזורים או תעשיות מסוימות עשויים לקבל ציונים נמוכים באופן שיטתי.  
2. **לעוות עדיפות סיכונים** – מקבלי ההחלטות עלולים להקצות משאבים על בסיס אותות מוטים, מה שמחשוף את הארגון לאי‑יסורים מוסתרים.  
3. **לגרום לירידה באמון הלקוחות** – דף אמון שנראה כמעדיף ספקים מסוימים יכול לפגוע במוניטין המותג ולמשוך תשומת לב רגולטורית.

זיהוי הטייה מוקדם, מתן הסבר לשורש הבעיה ויישום תיקון באופן אוטומטי הם קריטיים לשמירת ההגינות, הציות הרגולטורי והאמינות של פלטפורמות ציות המופעלות על ידי AI.

## ארכיטקטורה מרכזית של מנוע ניטור הטייה אתית (EBME)

ה‑EBME נבנה כמיקרו‑שירות **plug‑and‑play** היושב בין יוצר השאלונים של AI למחשבון ציוני האמון שמגיע לאחריו. זרימת העבודה ברמה גבוהה מוצגת בדיאגרמת Mermaid שלהלן:

```mermaid
graph TB
    A["Incoming AI‑Generated Answers"] --> B["Bias Detection Layer"]
    B --> C["Explainable AI (XAI) Reporter"]
    B --> D["Real‑Time Remediation Engine"]
    D --> E["Adjusted Answers"]
    C --> F["Bias Dashboard"]
    E --> G["Trust Score Service"]
    F --> H["Compliance Auditors"]
```

### 1. שכבת זיהוי הטייה  

- **בדיקות שוויון לפי תכונה**: השוואת הפיזור של תשובות לפי מאפייני ספק (אזור, גודל, תעשייה) באמצעות מבחני קולמקורוב‑סמירנוב.  
- **מודול הוגנות רשת גרפית (GNN)**: מנצל את גרף הידע המקשר בין ספקים, מדיניות ושאלות השאלון. ה‑GNN לומד הטמעות שמובאות ל‑*de‑biased* דרך אימון אויב, שבו ממיין מנסה לחזות תכונות מוגנות מההטמעות בעוד שהקודד שואף להסתירן.  
- **סף סטטיסטי**: ספים דינאמיים מתאימים לכמות ולשונות של בקשות נכנסות, מה שמונע אזעקות שווא בתקופות תנועה נמוכה.

### 2. מדווח AI מוסבר (XAI)  

- **שמות קצה של SHAP**: עבור כל תשובה שמסומנת, ערכי SHAP מחושבים על משקלי הקצוות של ה‑GNN כדי לחשוף איזו יחסים תרמו ביותר לציון ההטייה.  
- **סיכומי נרטיב**: הסברים אוטומטיים בעברית (לדוגמה, “דירוג הסיכון הנמוך עבור ספק X נובע ממספר תקריות היסטוריות שתואם לאזור הגאוגרפי שלו, ולא מבחינת בגרות הבקרות בפועל.”) נשמרים ב‑audit trail בלתי ניתן לשינוי.

### 3. מנוע תיקון בזמן אמת  

- **חישוב מחדש מודע להטייה**: מיישם גורם תיקון על האמון הגולמי של ה‑AI, נגזר ממידת אותת ההטייה.  
- **יצירת Prompt מחדש**: שולח Prompt מתוקן ל‑LLM, עם הוראה מפורשת “להתעלם מפרוקסי סיכון אזוריים” במהלך ההערכה המחודשת.  
- **הוכחות אפס‑ידע (ZKP)**: כאשר שלב תיקון משנה ציון, נוצר ZKP להוכחת התאמת הציון מבלי לחשוף את הנתונים הגולמיים, כך שמתקיימת ציות לביקורות רגישות פרטיות.

## צינור נתונים ואינטגרציית גרף הידע  

ה‑EBME מקבל נתונים משלושה מקורות עיקריים:

| מקור | תוכן | תדירות |
|------|------|----------|
| מאגר פרופילי ספק | תכונות מובנות (אזור, תעשייה, גודל) | מבוסס אירועים |
| מאגר מדיניות & בקרות | קטעי מדיניות טקסטואליים, מיפויים לפריטי שאלון | סנכרון יומי |
| יומן תקריות & ביקורות | תקריות אבטחה היסטוריות, תוצאות ביקורות | זרימת זמן אמת |

כל הישויות מיוצגות כ‑nodes ב‑**גרף נכסים** (Neo4j או JanusGraph). קצוות מתארים יחסים כגון *“מבצע”*, *“מפר”*, ו‑*“מתייחס אל”*. ה‑GNN פועל ישירות על גרף ה‑heterogeneous הזה, מה שמאפשר לזיהוי הטייה לכלול **תלותים קונטקסטואליים** (לדוגמה, היסטוריית הציות של ספק המשפיעה על תשובותיו לשאלות לגבי הצפנת נתונים).

## לולאת משוב מתמשכת  

1. **זיהוי** → 2. **הסבר** → 3. **תיקון** → 4. **ביקורת** → 5. **עדכון מודל**  

לאחר שהמבקר מאשר תיקון, המערכת מתעדת את ההחלטה. באופן תקופתי, מודול **מטה‑למידה** משחזר את ה‑GNN ואת אסטרטגיית Prompt של ה‑LLM בעזרת המקרים המאושרים, מה שמבטיח שהלוגיקה של הפחתת הטייה תתפתח יחד עם תיאבון הסיכון של הארגון.

## ביצועים וסקלאביליות  

- **שיהוי**: זיהוי והטייה בזמן אמת מוסיפים כ‑150 ms לכל פריט שאלון, בטווח תקן של פחות משנייה בהתאם ל‑[SLAs](https://www.ibm.com/think/topics/service-level-agreement) של רוב פלטפורמות SaaS לציות.  
- **קיבולת**: קידום אופקי בעזרת Kubernetes מאפשר טיפול ב‑>10,000 פריטים בו‑זמנית, הודות לעיצוב מיקרו‑שירות חסר מצבי ועקביות של צילום גרף משותף.  
- **עלות**: באמצעות **הסקת קצה** (TensorRT או ONNX Runtime) עבור ה‑GNN, צריכת GPU נשארת תחת 0.2 GPU‑hours למיליון פריטים, מה שמוביל לתקציב תפעול מתון.

## מקרי שימוש בעולם האמיתי  

| ענף | תסמיני הטייה | פעולה של EBME |
|------|---------------|--------------|
| פינטק | קנסות יתר על ספקים משווקים מתפתחים עקב נתוני הונאה היסטוריים | התאמת הטמעות GNN, תיקון ציון מגובה ZKP |
| בריאות | העדפה לספקים בעלי תעודת [ISO 27001](https://www.iso.org/standard/27001) ללא קשר לבגרות הבקרות בפועל | יצירת Prompt מחדש שמחייב נימוק מבוסס ראיות |
| SaaS ענן | מדדי השהייה אזוריים משפיעים בתת‑מודע על תשובות “זמינות” | נרטיב מבוסס SHAP המדגיש קורלציה לא‑גורמת |

## ממשל והתאמה לתקנים  

- **חוק AI של האיחוד האירופי**: ה‑EBME עומד בדרישות תיעוד של מערכות AI “במַסִּכּוּל גבוה” על‑ידי מתן הערכות הטייה ניתנות למעקב ([EU AI Act Compliance](https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)).  
- **ISO 27001** נספח A.12.1: מדגים טיפול סיסטמטי בסיכון לתהליכים המופעלים על‑ידי AI ([ISO/IEC 27001 Information Security Management](https://www.iso.org/isoiec-27001-information-security.html)).  
- **SOC 2** קריטריון שירותי אמון – CC6.1 (שינויים במערכת) מתקיים דרך תיעוד בלתי ניתן לשינוי של התאמות הטייה ([SOC 2](https://secureframe.com/hub/soc-2/what-is-soc-2)).

## רשימת בדיקה ליישום  

1. **הקמת גרף נכסים** עם קצוות ספק, מדיניות ותקריות.  
2. **פריסת מודול הוגנות GNN** (PyTorch Geometric או DGL) כ‑REST endpoint.  
3. **שילוב מדווח XAI** דרך ספריות SHAP; אחסון נרטיבים ב‑ledger קריאה‑פעם‑אחת (כגון Amazon QLDB).  
4. **קונפיגורציית מנוע התיקון** לקריאת ה‑LLM שלכם (OpenAI, Anthropic וכו׳) עם Prompt מודע להטייה.  
5. **הקמת ייצור ZKP** בעזרת ספריות כגון `zkSNARKs` או `Bulletproofs` להוכחות מותאמות לביקורת.  
6. **יצירת לוחות בקרה** (Grafana + Mermaid) להצגת מדדי הטייה לצוותי ציות.  

## כיוונים עתידיים  

- **למידה פדרטיבית**: הרחבת זיהוי הטייה למספר סביבתי משכירים ללא שיתוף נתוני ספקים גולמיים.  
- **עדויות מרובות מודלים**: שילוב קבצי PDF של מדיניות וסרטוני וידאו באגרגטור לגרף, להעשיר את הקונטקסט ההוגן.  
- **חילוץ רגולציה אוטומטי**: הכנסת משכי שינוי רגולטוריים (למשל, מ־RegTech APIs) לגרף כדי לצפות וקטוריות הטייה חדשות לפני שהן מתעולות.

---

## ראה גם  

* *(אין הפניות נוספות)*