תקציר

עמוד:13

תקציר 13 חלק חשוב של הבנת מעגל החיים של מערכות לומדות נוגע לצורך לנטר אותן לאחר שיושמו בפועל ( post deployment ) בעולם האמיתי ( למשל הבניה של המערכת בתוך מוצר או בתוך ממשק ) . זאת משום שמערכת לומדת, שלא כמו מוצרים אחרים ( תרופות למשל ) , יכולה מעצם טיבה להשתנות גם לאחר יישומה בשל המשוב שהיא מקבלת מן המשתמשים . פיתוח מתודולוגיות לניהול סיכונים . הצורך ליישם מתודולוגיות ניהול סיכונים על מערכות אלגוריתמיות עדיין נמצא בחיתוליו, למרות חיוניותו . אנו מציעים מודל של ניהול סיכונים שלפיו כדי להעריך מסוכנות של מערכת נדרשת התבוננות כפולה — תחילה יש להעריך את פוטנציאל המסוכנות של המערכת כפי שתוכננה ; אחר כך יש להעריך את רמת הקשר בין המשימה לתוצאה ( alignment ) , כלומר את האפשרות של המערכת לממש פוטנציאל מסוכנות מחוץ לתפקיד שייעדו לה מתכנניה . הערכה כפולה זו תהיה הבסיס לקבלת ההחלטות וכדי שיהיה אפשר להוציאה לפועל יהיה צורך לנסח כללי משילות ובטיחות, כגון כללים לאימון אחראי ( אם לאמן מודל חדש שמראה סימנים מוקדמים של סיכון — וכיצד ) ; וכללים ליישום אחראי ( אם, מתי וכיצד ליישם מודלים שעלולים להיות מסוכנים ) ; ולקבוע אילו רמות של שקיפות ותיעוד נדרשות במקרה של מודלים שעלול להיות בהם סיכון קיצוני ואילו בקרות ומערכות אבטחת מידע יש ליישם בעניינם . תיעוד נתונים, משילות נתונים והליכי בקרה ( auditing ) בדיעבד . המורכבות של מערכות בינה מלאכותית בכלל, ושל מערכות לומדות בפרט, מערימה קשיים מיוחדים על קובעי המדיניות והרגולטורים בבואם לנסח כללי אחריות ולזהות בפועל את השרשרת הסיבתית שהובילה לפגיעה בזכויות, בייחוד בהתחשב בשונות בין מגזר למגזר ובין יישום ליישום . המשותף לכל אלו הוא שבלי תיעוד ראוי הם בלתי אפשריים . הבסיס לכל בחינה עובדתית של כשל קונקרטי במערכות בינה מלאכותית הוא משילות נתונים ותיעוד קפדני של הליכי עבודה, מקורות מידע, תיוגים, מודלים, תהליכי עיצוב קוד, הערכת סיכונים ובסיסי נתונים, וזיהוי הפערים בכל אלו . עיצוב טוב של התיעוד הוא גם אינטרס של יזמים ומפתחים, שכן הוא מאפשר להם הן לתחקר

לעמוד קודם  |  לעמוד הבא