Förderung "Sichere Zukunftstechnologien in einer hypervernetzten Welt: Künstliche Intelligenz"

Gegenstand der Förderung

Fortschritte im Bereich der KI haben große Auswirkungen auf den Bereich der IT-Sicherheit: Mit der zunehmenden Verbreitung von KI-Technologien wird deren zuverlässige Absicherung gegen Cyberangriffe und Manipulation ein immer wichtigeres Forschungs- und Handlungsfeld. Darüber hinaus wird KI zunehmend eingesetzt, um eine höhere IT-Sicherheit zu erzielen. Und schließlich lässt sich ein vermehrter Missbrauch von KI im Rahmen von Cyberangriffen und Social Engineering beobachten.

Beispiele für Forschungsthemen in diesen drei Teilbereichen sind:

1. IT-Sicherheit für KI:
   • Schutz von KI-Modellen, Trainings- und Testdaten vor Manipulation,
   • Schutz von KI-Modellen vor der Extraktion von sensiblen Daten,
   • Testen der Sicherheit von KI-Systemen gegen Cyberangriffe,
   • Absicherung von KI-Systemen gegen Cyberangriffe,
   • sichere Betriebsumgebungen für unsichere KI-Systeme,
   • Authentifizierung von KI-generierten Ergebnissen.
2. IT-Sicherheit durch KI:
   • KI-basierte Erkennung von
     • Schwachstellen in IT-Systemen,
     • Cyberangriffen auf IT-Systeme,
     • Manipulationen von KI-Modellen, Trainings- und Testdaten.
   • KI-basierte Unterstützung von
     • Entwicklern beim Entwurf und der Implementierung sicherer Systeme,
     • Endnutzern mit situationsbezogenen, sicheren Handlungsempfehlungen,
     • Administratoren bei der sicheren Konfiguration von IT-Systemen und der Abwehr laufender Cyberangriffe,
     • forensischen Untersuchungen kompromittierter IT-Systeme.
   • Cyber Threat Intelligence, unter anderem KI-basierte Lagebilder verteilter Sicherheitsvorfälle,
   • „Intelligente“ Honeypots, zum Beispiel KI-erzeugte Honey Files.
3. IT-Sicherheit gegen KI:
   • Erkennung von KI-generierter Malware,
   • Abwehr von KI-basierten
     • Cyberangriffen auf IT-Systeme,
     • Social-Engineering-Attacken.

Der Themenkomplex Desinformation und Deepfakes ist nicht Teil dieser Förderrichtlinie. Ebenso steht das Thema Privatheit nicht im Fokus dieser Förderrichtlinie.

Projekte sollen jeweils einen klaren Praxisbezug entlang eines Anwendungsfalls aufweisen. Dieser Praxisbezug und die Verwertbarkeit der Forschungsergebnisse sind durch eine angemessene Beteiligung von Anwendern in der Verbundstruktur sicherzustellen.

Zusätzlich muss die Verfügbarkeit beziehungsweise Zugänglichkeit der für das Vorhaben benötigten Daten sichergestellt werden. Das heißt, die benötigten Daten müssen entweder frei verfügbar sein oder entsprechende Datenlieferanten müssen als Partner ins Vorhaben eingebunden werden. Andere Formen des Datenzugangs müssen nachvollziehbar dargestellt werden.

Es werden vorzugsweise interdisziplinäre Verbünde gefördert, die Expertise im Bereich der KI und der IT-Sicherheit vorweisen können.

Querschnittsthemen wie Normung, Standardisierung und vorbereitende Arbeiten zur Zertifizierung sollen, soweit relevant, in den Vorhaben berücksichtigt werden.

Zur Richtlinie