הרעלת נתונים (Data Poisoning)

פגיעה בשלמות נתוני אימון או עדכון כדי להשפיע על התנהגות מודל.

מהו הרעלת נתונים (Data Poisoning)?

הרעלת נתונים במערכות למידה היא שינוי מכוון או החדרה של נתונים בעייתיים למאגרי אימון, לכוונון, להערכה או לעדכון מתמשך, במטרה להשפיע על התנהגות המודל. ההשפעה יכולה להיות רחבה, למשל ירידה באיכות, או ממוקדת, למשל הטיה של החלטות עבור קלט מסוים. NIST מונה Data Poisoning בין טכניקות תקיפה אדברסריות על מערכות AI. הסיכון גדל כאשר מקור הנתונים אינו מתועד או כאשר שינויים עוברים ללא בקרה.

למה משמש הרעלת נתונים (Data Poisoning)?

התקפה זו עלולה לשבש סיווג, לפגוע באמינות זיהוי או ליצור התנהגות חריגה שקשה לאתר בבדיקות רגילות. היא מחייבת להתייחס לנתוני אימון ולשרשרת האספקה שלהם כנכסי אבטחה. בקרות מעשיות כוללות בעלות ברורה על נתונים, תיעוד מקור וגרסה, בדיקות איכות ושלמות, הפרדת סביבות ובדיקות רגרסיה לפני קידום מודל. ממשל נתונים אינו מבטל את הסיכון, אך מאפשר לזהות חריגות ולשחזר החלטות.

לפני אימוץ מקור נתונים חדש, חשוב להגדיר קריטריוני קבלה, גורם מאשר ויכולת להסיר או להחליף את המקור בדיעבד. מודלים הפועלים בהקשר רגיש צריכים לעבור הערכה על ערכות בדיקה בלתי תלויות ולא רק על נתונים מאותו צינור. השילוב בין תיעוד, ביקורת שינוי ויכולת שחזור מסייע לקבוע אם חריגה נובעת מנתונים, מקוד, מתצורה או מהמודל עצמו. התיעוד מאפשר למדוד שיפור, לבחון חריגות ולחזור להחלטה כאשר תנאי השימוש משתנים.

אולי יעניין אותך

מתווך אבטחת גישה לענן (CASB – Cloud Access Security Broker)
אכיפת מדיניות אבטחה בשירותי ענן
ניהול משטח התקיפה של נכסי סייבר (CAASM – Cyber Asset Attack Surface Management)
נראות חשיפה ממוקדת נכסים
מערכת חישוב דירוג חולשות (CVSS – Common Vulnerability Scoring System)
מודל ניקוד סיכון מתוקנן

שים לב!
כל שימוש באתר מחייב קודם כל הסכמה לתנאי השימוש, מדיניות הפרטיות ומדיניות העוגיות שלנו.
במידה ואינך מסכים לכולם ובמלואם, אל תשתמש באתר זה.