Die Kampagnen verbreiten im großen Stil Fehlinformationen und sind immer raffinierter aufgesetzt. Große Sprach- und Bildmodelle bieten Cyberkriminellen, die auf politische Einflussnahme abzielen, effektive Werkzeuge für die Erstellung anspruchsvoller, individualisierter Inhalte in großem Maßstab. Diese Projekte waren bislang schwierig zu realisieren und sehr arbeitsintensiv, die neuen Technologien sorgen aber dafür, dass das von böswilligen Akteuren ausgehende Risiko neue Dimensionen erreicht.
In letzter Zeit tauchen immer häufiger Fälle auf, in denen Kriminelle KI missbrauchen, wie zum Beispiel die Verwendung generativer Texte beim Versenden von Nachrichten an Betrugsopfer, die Nutzung generativer Bilder zur Erstellung irreführender Social-Media-Beiträge oder der Einsatz von „Deepfake“-Videos und -Stimmen für Social Engineering. Dieselben Instrumente kommen zunehmend im Rahmen politischer Fehlinformations- und Täuschungskampagnen zum Einsatz.
Generative KI schreibt maßgeschneiderte Fehlinformationen
Cybersecurity-Experten von Sophos X-Ops wollten es daher genau wissen und haben in einer Machbarkeitsstudie dokumentiert, welche zunehmend wichtige Rolle generative KI-Technologien spielen, wenn es darum geht, mit Desinformationen wirkungsvolle Veränderungen im politischen Bereich herbeizuführen.
„In unserer Analyse untersuchen wir eine der größten neuen Bedrohungen durch den böswilligen Einsatz generativer KI: maßgeschneiderte Fehlinformationen“, sagt Ben Gelman, Senior Data Scientist bei Sophos. „Während ein Großteil der Empfänger einer unpersönlichen Massen-E-Mail mit Fehlinformationen, die mit dem Inhalt nicht einverstanden sind, aus einer Kampagne aussteigen, werden im Micro Targeting Desinformationen nur an solche Personen versandt, die höchstwahrscheinlich damit einverstanden sind. Dadurch entsteht eine erschreckende, neue Effizienz solcher Kampagnen.“
Test: Automatisch gestartete E-Commerce-Betrugskampagne
Der aktuelle Report basiert auf bereits von Sophos X-Ops durchgeführten Untersuchungen, bei denen ein speziell für diese Zweck entwickeltes Tool zum Einsatz kam. Dieses startet automatisch eine E-Commerce-Betrugskampagne auf der Grundlage KI-generierter Texte, Bilder und Audiodateien, in deren Rahmen in hoher Anzahl überzeugende, betrügerische Webshops erstellt werden können. Nach einer Neukonfiguration konnten mit dem Tool Websites für politische Kampagnen mit beliebigen Merkmalen erstellt werden. Durch die Kombination gefälschter Social-Media-Profile mit mehreren Kampagnen-Webseiten waren die Forscher in der Lage, überzeugende, personalisierte E-Mails zu erstellen, die individuelle Argumente verwenden, um Menschen bestmöglich davon zu überzeugen, an eine Kampagne zu glauben – auch wenn die Menschen diesen Ideen im Allgemeinen nicht zustimmen.
„Die Fähigkeit, personalisierte, fein abgestimmte politische Inhalte zu produzieren, birgt ein erhebliches Risiko für verstärkte Fehlinformation, Finanzbetrug und die Vertiefung der ideologischen Polarisierung. Um diesen Trend zu begegnen, ist ein vielschichtiger Ansatz, der technologische, pädagogische und gesetzgeberische Anstrengungen vereint, unerlässlich“, so Gelman. „Aus technischer Sicht kann die kontinuierliche Verbesserung von KI-generierten Inhaltsklassifizierern und Faktenprüfern bei der Identifizierung von Bedrohungen helfen. Im Bildungsbereich kann die Stärkung des öffentlichen Bewusstseins für KI-generierte Inhalte in Verbindung mit illegal erworbenen, personenbezogenen Daten die Zahl der Opfer, die auf Betrügereien hereinfallen, verringern – und natürlich wird auch der Umgang des Gesetzgebers mit dem Thema Künstliche Intelligenz eine entscheidende Rolle spielen.“
Kommentare