קורס AI Governance (ממשל AI וניהול סיכוני AI)

מרצות: ד״ר הדס לורבר ומיכל ברנד-גולד

המפגש הראשון יניח את התשתית המשותפת לקורס ומיד יעבור לעבודה מעשית.

נבחין בין סוגים שונים של שימושי AI:

• שימוש אישי של עובד.
• שימוש של מחלקה או יחידה עסקית.
• מערכת ארגונית המשולבת בתהליך עבודה.
• שימוש ב-AI לצורך קבלת החלטה או המלצה.
• מערכת הפונה ללקוחות, לעובדים או לציבור.
• מערכת AI הפועלת ברמת אוטונומיה גבוהה.

נבחן כיצד מטרת השימוש, סוג המידע, מידת האוטונומיה, זהות המשתמשים, האוכלוסייה המושפעת והשלכות הטעות משפיעים על רמת הסיכון ועל הבקרות הנדרשות.

עקרונות האחריותיות, השקיפות, הפרטיות, ההוגנות והפיקוח האנושי ייבחנו באמצעות שאלות הכרעה מעשיות:

• איזה מידע נכנס למערכת?
• מהו השימוש המיועד ומהם השימושים שאינם מותרים?
• מי מושפע מהתוצאה?
• מה עלול לקרות אם המערכת טועה?
• מי מוסמך לאשר את השימוש?
• מי אחראי לתוצר ולהחלטה?
• האם נדרשת בדיקה אנושית?
• האם קיימת אפשרות לערער, לתקן או לעצור את התהליך?
• אילו תיעוד ובקרות נדרשים לפני ההפעלה?
• כיצד ייבחן השימוש מחדש לאחר ההטמעה?

במהלך המפגש כל משתתף ימפה שלושה שימושי AI קיימים או מתוכננים מהארגון שלו ויתנסה בסיווגם.

התוצרים מהמפגש:

מפת שימושי AI ראשונית בארגון, הכוללת בעלים עסקי, סוגי מידע, רמת סיכון, צורך בפיקוח אנושי ובקרות מינימום.

מרצים: ד״ר יובל ריינפלד ועדי ישראל

המפגש יתמקד בהפיכת עקרונות ממשל AI למדיניות ולתהליך עבודה שניתן ליישם בארגון.

נבחן כיצד מגדירים:

• שימושים מותרים.
• שימושים המותרים בכפוף לתנאים.
• שימושים המחייבים אישור מוקדם.
• שימושים שאינם מותרים.
• מידע שמותר ואסור להזין למערכות.
• דרישות לבדיקה אנושית ולתיעוד.
• תהליך לבקשת חריגה מהמדיניות.
• בחינה מחודשת במקרה של שינוי בכלי, במודל, בספק או במטרת השימוש.

חלק מרכזי במפגש יוקדש לעובדים ולמנהלים:

• שימוש בכלי AI פתוחים או אישיים מחוץ למסגרת הארגונית.
• זיהוי וצמצום תופעת ה-AI הלא מנוהל בארגון.
• שימוש ב-AI בגיוס, במיון, בהערכת עובדים ובניהול ביצועים.
• חלוקת האחריות בין העובד, המנהל והארגון.
• ניטור השימוש בכלים תוך שמירה על זכויות העובדים.
• הכשרה וכשירות כתנאי לכך שהפיקוח האנושי יהיה אפקטיבי.
• הדרכות מותאמות לתפקיד ולרמת הסיכון של השימוש.

בחלק העוסק בספקים נבחן את תהליך הבדיקה המשפטית, התפעולית והמסחרית של פתרונות AI.

בין הנושאים שייבחנו:

• השימוש במידע הארגון לצורכי אימון, שיפור או בדיקת המודל.
• מקורות המידע והנתונים שעליהם מבוססת המערכת.
• שמירת המידע, מחיקתו והחזרתו בסיום ההתקשרות.
• סודיות, פרטיות ואבטחת מידע.
• מיקום עיבוד המידע וקבלני משנה.
• זכויות קניין רוחני בקלטים ובתוצרים.
• רמת השקיפות והיכולת להבין את מגבלות המערכת.
• תיעוד פעולות ויכולת ביקורת.
• עדכונים ושינויים במודל או בשירות.
• דיווח על אירועים, תקלות ופגיעויות.
• אחריות, שיפוי והגבלת חבות.
• המשכיות עסקית, זמינות ותלות בספק.
• אפשרות להפסיק את השימוש או לעבור לספק אחר.

נחדד את ההבדלים המעשיים בין כלי מדף, כלי ארגוני מסוג Enterprise, שימוש באמצעות ממשק API, פתרון שפותח בתוך הארגון והתקשרות עם אינטגרטור טכנולוגי.

התוצרים מהמפגש:

• שלד למדיניות AI פנים-ארגונית ולנוהל אישור שימוש.
• צ׳קליסט לבדיקת ספקי AI ומטריצת דגלים אדומים להתקשרות.

מרצים: ד״ר יובל ריינפלד וליאור אתגר

המפגש יתרגם את המסגרות הרגולטוריות והמקצועיות המרכזיות למפת חובות שניתן לעבוד איתה.

נעסוק, בין היתר:

• בחוק הבינה המלאכותית של האיחוד האירופי.
• במסגרת ניהול סיכוני ה-AI של NIST.
• בתקן מערכת הניהול ISO/IEC 42001.
• בתקנים ובהנחיות מקצועיות משלימות.
• בהתפתחויות הרגולטוריות בישראל.
• בחובות מתחומי הפרטיות, הסייבר, הצרכנות, העבודה, הקניין הרוחני והרגולציה הענפית.

נבחן כיצד משתנות החובות בהתאם למספר משתנים:

• תפקידו של הארגון בשרשרת הערך.
• מקום פעילותו של הארגון.
• סוג המערכת והשימוש.
• רמת הסיכון.
• האוכלוסייה המושפעת.
• השאלה אם הארגון מפתח, מספק, מטמיע, מפיץ או משתמש במערכת.

החלק המעשי של המפגש יתמקד בחיבור ממשל ה-AI לתשתיות שכבר פועלות בארגון:

• הגנת הפרטיות.
• אבטחת מידע וסייבר.
• ניהול סיכונים ארגוני.
• ציות ואכיפה פנימית.
• רכש וניהול ספקים.
• פיתוח מוצרים ומערכות מידע.
• משאבי אנוש.
• ביקורת פנימית.
• דיווח להנהלה ולדירקטוריון.

נבחן אילו תהליכים ניתן להרחיב, אילו בקרות ניתן להתאים, היכן נדרש תהליך ייעודי ל-AI ומתי אין הצדקה להקים ועדה או מנגנון נפרד.

נעסוק גם במודל קווי ההגנה ובחלוקת התפקידים בין היחידות העסקיות, פונקציות הפיקוח והבקרה והביקורת הפנימית.

התוצרים מהמפגש:

מטריצת רגולציה ובקרות לפי שימוש AI, הכוללת מסמכים נדרשים, אחראים פנימיים ושאלות בדיקה לשלב האישור.

מרצות: מיכל מור, טבע, ועו״ד ענבל בן ארצי

המפגש יעסוק בשלושה צירים מרכזיים המגיעים לשולחן ההנהלה והדירקטוריון.

שימושי AI הפונים ללקוחות ולציבור

נבחן כיצד מנהלים שימושי AI המשפיעים על לקוחות, ספקים, עובדים או הציבור.

בין הנושאים שיידונו:

• מתי ובאיזה אופן יש ליידע אדם כי הוא מתקשר עם מערכת AI.
• כיצד מנסחים גילוי ברור ומובן.
• מתי נדרש גילוי בדבר יצירה או שינוי של תוכן באמצעות AI.
• מהי הסתמכות סבירה על תוצרי המערכת.
• מתי נדרשת בדיקה או התערבות אנושית.
• כיצד מאפשרים תיקון, בירור או טיפול בתלונה.
• כיצד מונעים הטעיה, מצג שגוי או יצירת ציפייה שאינה תואמת את יכולות המערכת.
• אילו מסרים שיווקיים ניתן להציג ביחס ליכולות המוצר.

אחריות הנהלה ודירקטוריון וחובת הפיקוח

נעסוק באחריות ההנהלה והדירקטוריון להתוות את מסגרת השימוש ב-AI, לקבוע את גבולות הסיכון המקובלים על הארגון ולפקח על יישום המדיניות והבקרות.

נבחן:

• מהי חלוקת האחריות המתאימה בין ההנהלה, הדירקטוריון והגורמים המקצועיים.
• מתי נכון להקים ועדת AI או פורום ממשל ייעודי.
• מתי ניתן לשלב את הנושא בוועדה או בפורום קיימים.
• אילו שימושים דורשים אישור הנהלה או דירקטוריון.
• אילו סיכונים, חריגות ואירועים צריכים להגיע לדיון.
• איזה מידע נדרש להנהלה ולדירקטוריון לצורך פיקוח אפקטיבי.
• כיצד מוודאים שהדיווח אינו טכני בלבד אלא מאפשר להבין את החשיפה העסקית והמשפטית.
• אילו מדדי סיכון וביצוע נכון להציג.
• באיזו תדירות יש לדווח.
• כיצד עוקבים אחר יישום החלטות.
• כיצד מתעדים דיונים, החלטות, הסתייגויות ופעולות מעקב.
• מתי נדרשת בחינה עצמאית או ביקורת של אפקטיביות המנגנון.

הדגש יהיה על פיקוח מתמשך ולא על אישור חד-פעמי של מדיניות. נלמד כיצד לבנות מנגנון המאפשר להנהלה ולדירקטוריון לקבל מידע, להציב שאלות, לאתגר הנחות, לעקוב אחר חריגות ולוודא שהבקרות פועלות בפועל.

התוצרים מהמפגש:

תוכנית עבודה לדירקטוריון וועדותיו.

חבות, התחייבויות וביטוח

נבחן מה הארגון מתחייב כלפי לקוחותיו כאשר מוצר או שירות כולל רכיב AI וכיצד ניתן לנהל את החשיפה.

נעסוק, בין היתר:

• בהתחייבויות ביחס לדיוק, זמינות ואיכות התוצרים.
• בשימוש בפלטים לצורך קבלת החלטות.
• בחלוקת האחריות בין הארגון, הספק והלקוח.
• בהגבלת חבות ובחריגים להגבלת החבות.
• באחריות לנזק שנגרם עקב פלט שגוי או פעולה אוטונומית.
• בהתאמת תנאי השימוש, ההסכמים והגילויים.
• בפערים אפשריים בין הסיכון בפועל לבין פוליסות הסייבר, האחריות המקצועית והביטוחים הקיימים.

התוצרים מהמפגש:

• מטריצת אחריות ארגונית מסוג RACI.
• מנדט לפורום או לוועדת AI ותבנית לדיווח להנהלה ולדירקטוריון.
• גיליון למיפוי חשיפה, חבות וכיסוי ביטוחי.

מרצים: נמרוד בשן וד״ר יובל ריינפלד

המפגש המסכם יתמקד בסיכונים המעשיים הנובעים משימוש ב-AI ובמנגנוני הפיקוח והבקרה שנועדו לצמצם אותם.

כל סיכון יתורגם לתרחיש ארגוני קונקרטי:

• זיוף עמוק או התחזות קולית לצורך הונאת תשלומים.
• דליפת מידע אישי, מידע סודי או סודות מסחריים למערכת AI.
• הפקת מידע שגוי והסתמכות ארגונית עליו.
• הטיה ואפליה בתהליכי קבלת החלטות.
• הפרת זכויות קניין רוחני.
• הרעלת נתונים או פגיעה באיכות המידע.
• הזרקת פקודות וניצול לרעה של החיבור בין המערכת לכלים ארגוניים.
• שימוש במערכת למטרה שונה מזו שאושרה.
• שינוי במודל או בשירות המשנה את פרופיל הסיכון.
• הסתמכות יתר של עובדים ומנהלים על תוצרי המערכת.
• אובדן יכולת להסביר, לשחזר או לבקר את התוצאה.

החלק השני של המפגש יעסוק במערכות AI הפועלות ברמת אוטונומיה גבוהה, ניגשות למידע ולמערכות ומבצעות פעולות בשם המשתמש או הארגון.

נבחן:

• כיצד מגדירים זהות והרשאות למערכת.
• כיצד מיישמים הרשאה מצומצמת בהתאם לצורך.
• אילו פעולות מותר למערכת לבצע בעצמה.
• אילו פעולות מחייבות אישור אנושי.
• כיצד קובעים מגבלות סכום, זמן, היקף וסוג פעולה.
• כיצד מונעים גישה מיותרת למידע ולמערכות.
• כיצד מתעדים פעולות והחלטות.
• כיצד מפקחים על שרשרת פעולות המשלבת כמה מערכות וכלים.
• מתי פעולה של מערכת עשויה ליצור מצג, התחייבות או פעולה מחייבת כלפי צד שלישי.
• כיצד מגדירים שרשרת אחריות.
• כיצד מזהים חריגה מהתנהגות צפויה.
• כיצד מפעילים מנגנון עצירה או השבתה.

לסיום נבנה את שכבת הבקרה ונבחין בין בקרות מונעות, בקרות מאתרות ובקרות מתקנות.

נעסוק, בין היתר:

• בפיקוח אנושי אפקטיבי ובהגדרת סמכותו של המפקח.
• בבדיקות לפני הפעלה ובדיקות תקופתיות.
• בניטור תוצרים ופעולות.
• בניהול יומני פעילות ותיעוד.
• במדדי סיכון ובסימני התרעה מוקדמת.
• בזיהוי שינוי בביצועי המערכת או באופי השימוש.
• בבדיקת אפקטיביות הבקרות.
• בניהול חריגים.
• בבחינה מחודשת לאחר שינוי מהותי.
• בתהליך דיווח והסלמה.
• בשימור ראיות ותיעוד לצורך תחקור.

המפגש יכלול תרגיל מעשי של זיהוי, בלימה, הסלמה וטיפול באירוע AI מתפתח.

התוצרים מהמפגש:

• מטריצת סיכוני AI ובקרות מונעות, מאתרות ומתקנות.