מהו הרעלת נתונים (Data Poisoning)?
הרעלת נתונים במערכות למידה היא שינוי מכוון או החדרה של נתונים בעייתיים למאגרי אימון, לכוונון, להערכה או לעדכון מתמשך, במטרה להשפיע על התנהגות המודל. ההשפעה יכולה להיות רחבה, למשל ירידה באיכות, או ממוקדת, למשל הטיה של החלטות עבור קלט מסוים. NIST מונה Data Poisoning בין טכניקות תקיפה אדברסריות על מערכות AI. הסיכון גדל כאשר מקור הנתונים אינו מתועד או כאשר שינויים עוברים ללא בקרה.
למה משמש הרעלת נתונים (Data Poisoning)?
התקפה זו עלולה לשבש סיווג, לפגוע באמינות זיהוי או ליצור התנהגות חריגה שקשה לאתר בבדיקות רגילות. היא מחייבת להתייחס לנתוני אימון ולשרשרת האספקה שלהם כנכסי אבטחה. בקרות מעשיות כוללות בעלות ברורה על נתונים, תיעוד מקור וגרסה, בדיקות איכות ושלמות, הפרדת סביבות ובדיקות רגרסיה לפני קידום מודל. ממשל נתונים אינו מבטל את הסיכון, אך מאפשר לזהות חריגות ולשחזר החלטות.
לפני אימוץ מקור נתונים חדש, חשוב להגדיר קריטריוני קבלה, גורם מאשר ויכולת להסיר או להחליף את המקור בדיעבד. מודלים הפועלים בהקשר רגיש צריכים לעבור הערכה על ערכות בדיקה בלתי תלויות ולא רק על נתונים מאותו צינור. השילוב בין תיעוד, ביקורת שינוי ויכולת שחזור מסייע לקבוע אם חריגה נובעת מנתונים, מקוד, מתצורה או מהמודל עצמו. התיעוד מאפשר למדוד שיפור, לבחון חריגות ולחזור להחלטה כאשר תנאי השימוש משתנים.
