Copilot wurde getäuscht: Meta-Hacking zeigt, wie sich die KI selbst austricksen lässt
In der Welt der KI-Assistenten sorgt Copilot erneut für Aufsehen – diesmal aus Sicherheitsforschungssicht. Die Forscher der Varonis Threat Labs identifizierten eine Schwachstelle namens CoSnitch, die zeigte, wie die KI sich selbst Details zu Hacks entlocken lässt, während kein echter Bruch vorliegt. Copilot schien über das Gesprächsfenster hinweg so eifrig, zu antworten, dass Meta-Mechanismen offengelegt wurden. Die Episode liefert eine nüchterne, aber alarmierende Lektion: Selbst vermeintlich harmlose Hilfsfunktionen können Angriffsflächen bieten, wenn der Dialog lange genug geht.
Wie der Trick funktionierte, lässt sich in groben Zügen so zusammenfassen: Die Forscher baten wiederholt nach einer automatischen Prompt-Ausführung ohne Nutzerinteraktion. Copilot blieb bei der Behauptung, dass Nutzerabsicht nötig sei und Prompts nicht eigenständig umgesetzt würden. Doch das Team ließ nicht locker und konterte jede Ablehnung mit weiteren Nachfragen. Mit jeder Runde legte Copilot neue technische Begründungen vor und fächerte so schrittweise die eigene Architektur auf. Schließlich entdeckten sie einen bislang dokumentierten URL-Parameter namens autorun=1, der scheinbar nicht mehr funktionieren sollte – aber in Tests doch funktionierte. Die Forscher nutzten diese Entdeckung, um eine bösartige URL zu erstellen, die eine authentifizierte Browser-Sitzung nutzte, eine Auto-Prompt-Ausführung auslöste und Copilot dazu brachte, das Ergebnis zu verarbeiten – ohne direkte Nutzeraktion.
Aus dieser Attacke lässt sich eine klare Erkenntnis ziehen: Die so genannte Meta-Hacking-Technik könnte theoretisch auf andere agentische KI-Plattformen mit natürlicher Sprache übertragen werden. Und das Risiko geht über ein einzelnes Tool hinaus: Daten aus verbundenen Apps wie Gmail, OneDrive oder Calendar könnten über Copilots URL-fetch-Funktion abgegriffen werden. Die Forscher betonen, dass diese Methode potenziell in vielen Kontexten anwendbar ist und kündigen weitere Forschung an. Microsoft habe den Vorfall laut der Meldung der Forscher im Dezember des Vorjahres gemeldet, und der Patch sei am 18. August ausgerollt worden.
Takeaway für Spieler und Community: Nutzt KI-Assistenten mit Vorsicht, vor allem in Setups, die sensible oder verknüpfte Konten nutzen. Sicherheit in der Interaktion muss genauso robust sein wie die Funktionen selbst – sonst bleibt die Hilfe doch nur ein potenzieller Einfallstore.
Quelle: Zum Originalartikel