מהו השתלטות על סוכן (Agent Hijacking)?
השתלטות על סוכני AI היא מצב שבו תוקף משפיע על יעד, על רצף עבודה או על הפעלת כלים של סוכן, כך שהוא מבצע פעולה שלא תואמת את הכוונה העסקית או את מדיניות הארגון. סוכנים שונים מצ׳אט רגיל משום שהם יכולים לקרוא מקורות, לחפש, לשלוח בקשות למערכות ולפעול תחת זהות או הרשאות. הזרקת הנחיות עקיפה היא נתיב שכיח להשפעה כזו, אך הסיכון נקבע גם על ידי תכנון הכלים והיכולת לפעול ללא אישור אנושי.
למה משמש השתלטות על סוכן (Agent Hijacking)?
תוקף עשוי לנסות לגרום לסוכן לחשוף נתונים, לשנות רשומות, לעקוף תהליך אישור או לבצע פעולות על בסיס תוכן חיצוני. זו סיבה להפריד בין הסקת טקסט לבין הרשאה לביצוע. רצוי לצמצם הרשאות כברירת מחדל, להגדיר פעולות בסיכון גבוה המחייבות אישור, לאמת פרמטרים לפני הפעלת כלי ולשמור תיעוד של מקור ההחלטה והפעולה. בדיקות צריכות לדמות קלטים עוינים ממסמכים, מדוא״ל וממערכות צד שלישי, ולא רק ממשתמש קצה.
תהליך אישור יעיל צריך להיות ממוקד בפעולות בלתי הפיכות, בהעברת מידע מחוץ לארגון ובשינויי הרשאות, ולא להעמיס אישורים על כל אינטראקציה. כדאי להגדיר מצב בטוח במקרה של כשל באימות או בקבלת החלטה. סקירת ארכיטקטורה צריכה לכלול את זהות הסוכן, תחום הפעולה, כל מקור קלט וכל יעד פעולה, כדי לוודא שהאוטונומיה נשארת תחומה ומבוקרת.
