Digitale Fata Morganas: Wie visuelle Exploits Multimodale Agenten täuschen
In den ersten drei Teilen haben wir uns auf Text und Code konzentriert. Doch im Jahr 2026 “sehen” KI-Agenten die Welt durch Kameras und Screenshots. Im großen Finale unserer Serie untersuchen wir Adversarial Examples: Wie winzige, für Menschen unsichtbare Pixel-Veränderungen die visuelle Logik eines Vision-LLMs komplett korrumpieren können.
Wenn Sehen nicht mehr Verstehen ist
Multimodale Modelle (wie GPT-5 oder Claude 3.5 Sonnet) nutzen “Computer Use”, um Desktop-Oberflächen zu bedienen. Sie machen einen Screenshot, analysieren die Buttons und klicken. Das Problem: Während ein Mensch ein Icon als “Papierkorb” erkennt, kann eine gezielte mathematische Störung im Bild (Rauschen) dazu führen, dass die KI dort den Befehl “Überweise alle Daten an IP X” liest.