Künstliche Intelligenz in der Forschung

Einleitungsbild Einleitungsbild Einleitungsbild © KI-generiert / AI generated

Systeme, die mit sogenannter "künstlicher Intelligenz" arbeiten, werden in der Forschung in verschiedenen Kontexten genutzt, entwickelt und trainiert. Ihr Potenzial, den Forschungsprozess zu unterstützen, zu beschleunigen und mitunter regelrecht zu revolutionieren, ist enorm. Dabei ist es jedoch wichtig, sowohl die technischen Grenzen und Möglichkeiten von KI realistisch einzuschätzen als auch regulatorische Rahmenbedingungen zu beachten. Auf dieser Seite möchten wir Ihnen dazu eine Orientierung geben.

LUH-Richtlinie für den Einsatz von KI-Agenten

Seit dem 1. September 2026 gilt die Richtlinie für den Einsatz von autonomen KI-Agenten und agentischen Browsern an der Leibniz Universität (Verkündungsblatt der Gottfried Wilhelm Leibniz Universität Hannover, Nr. 14  vom 1.9.2026). Laut Richtlinie ist der Einsatz solcher Agenten nur zu Forschungszwecken oder mit einer Ausnahmegenehmigung des KI-Rats zulässig.


Einsatz von KI beim Erstellen und Begutachten von DFG-Anträgen

Die DFG lässt den Einsatz von KI beim Erstellen und Begutachten von Drittmittelanträgen grundsätzlich zu, definiert aber Bedingungen und Voraussetzungen.

Grundbegriffe

Aktuelle Formen sogenannter "künstlicher Intelligenz" basieren auf mathematisch-statistischen Verfahren zur Mustererkennung in großen Datenmengen. Während des Trainingsprozesses werden KI-Systeme mit einschlägiger Trainingsdaten "gefüttert", die sie klassifizieren sollen. Informationen aus diesen Daten und vor allem Beziehungen zwischen Informationen werden heute meist in Form von tiefen neuronalen Netzen gespeichert. Darin sind Datenknoten (Neuronen) in hierarchischen Schichten angeordnet und sowohl mit anderen Knoten derselben Schicht, als auch mit solchen aus darüber und darunterliegenden Schichten verknüpft. Neu eingespeiste Daten werden mit dem so gespeicherten "Wissen" abgeglichen und können wiederum selbst in den Wissensspeicher einfließen. Das erfolgreiche Lösen von Aufgaben durch die KI, beispielsweise die korrekte Klassifizierung neu eingespeister Daten, verstärkt die Gewichtung der genutzten Lösungen, Misserfolge schwächen sie. Auf diese Weise "lernt" die KI und wird erfolgreiche Ansätze künftig bevorzugt nutzen.

  • Maschinelles Lernen

    Erklärung des Fraunhofer Instituts für kognitive Systeme: „Bei maschinellen Lernverfahren erlernt ein Algorithmus durch Wiederholung selbstständig eine Aufgabe zu erfüllen. Die Maschine orientiert sich dabei an einem vorgegebenen Gütekriterium und dem Informationsgehalt der Daten. Anders als bei herkömmlichen Algorithmen wird kein Lösungsweg modelliert. Der Computer lernt selbstständig, die Struktur der Daten zu erkennen. Beispielsweise können Roboter selbst erlernen, wie sie bestimmte Objekte greifen müssen, um sie von A nach zu B transportieren. Sie bekommen nur gesagt, von wo und nach wo sie die Objekte transportieren sollen. Wie genau der Roboter greift, erlernt er durch das wiederholte Ausprobieren und durch Feedback aus erfolgreichen Versuchen.“ Quelle: https://www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz.html

  • Neuronale Netze

    Erklärung des Fraunhofer Instituts für kognitive Systeme: „Ein Untergebiet von maschinellem Lernen sind neuronale Netze. Diese Lernalgorithmen sind von Nervenzellenverbindungen im menschlichen Gehirn inspiriert. Das Gehirn verarbeitet Informationen über Neuronen und Synapsen. Analog dazu bestehen künstliche neuronale Netze aus mehreren Reihen von Datenknoten, die mit gewichteten Verbindungen untereinander vernetzt sind. Das neuronale Netz wird trainiert, indem ihm immer wieder Daten vorgelegt werden. Durch diese Wiederholung lernt das neuronale Netz, die Daten jedes Mal exakter einzuordnen. Das funktioniert, indem die Gewichtung für die einzelnen Verbindungen zwischen den Neuronen-Schichten immer wieder angepasst werden. Das in den Lerndurchläufen erzeugte Modell kann dann auch auf Daten angewandt werden, die die Künstliche Intelligenz im Training noch nicht kennengelernt hat. Haben neuronale Netze verdeckte Neuronen-Schichten, die nicht direkt an die Eingabe- oder Ausgabe-Schicht gekoppelt sind, werden sie „Deep Neural Networks“ genannt. Deep Neural Networks können Hunderttausend oder Millionen Neuronen-Schichten aufweisen. Damit können beim sogenannten „Deep Learning“ immer komplexere Probleme gelöst werden.“ Quelle: https://www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz.html

  • KI-Modell und KI-System

    Erklärung der Gesellschaft für Datenschutz: „Ein KI-Modell ist der mathematische oder algorithmische Kern eines KI-Systems. Es handelt sich dabei um eine trainierte statistische Funktion oder ein neuronales Netz, das durch maschinelles Lernen auf Basis von Daten Muster erkennt und Vorhersagen trifft.“ [...] Quelle: https://gesellschaft-datenschutz.de/ki-modell-ki-system/

    Zu einem KI-System gehören neben dem KI-Modell weitere Komponenten, wie z. B. Hard- und Software und Schnittstellen für die Datenein- und -ausgabe.

  • Large Language Models (LLM)

    Large Language Models (LLM) sind KI-Modelle, die auf das Verstehen und Erzeugen von Sprache spezialisiert sind. LLM ordnen Wörter, Silben und Satzzeichen sogenannten Tokens zu, die intern durch eine numerische ID repräsentiert werden. Anhand von Trainingsdaten lernen die Modelle, wie häufig bestimmte Tokens auf welche anderen Tokens folgen. Auf Grundlage dieses "Wissens" können grammatikalisch korrekte Texte ausgegeben werden, die aber nicht notwendigerweise inhaltlich Sinn ergeben. Durch weiteres Training können LLM lernen, logische und inhaltliche Zusammenhänge in längeren Textpassagen zu erkennen und auch selbst entsprechende Texte zu erzeugen. LLM können unter anderem als Nutzerschnittstellen von KI-Systemen eingesetzt werden, die intern mit Wissensgraphen oder anderen Formen von Datenbanken arbeiten, die tatsächlich reale Informationen abbilden.

  • Generative KI

    Erklärung des Bundesamtes für Sicherheit in der Informationstechnik: „Generative KI-Modelle stellen ein Teilgebiet der universell einsetzbaren KI-Modelle (engl.: general purpose AI) dar. Sie werden mit großen Datenmengen trainiert und erlernen dabei Muster aus vorhandenen Daten. Daraus resultierend können sie neue Inhalte wie Texte, Bilder, Musik und Videos erzeugen, die ebenfalls diesen Mustern folgen. Aufgrund ihres hohen Generalisierungsgrads können derartige Modelle in einer Vielzahl von Anwendungsfällen genutzt werden, die traditionell Kreativität und menschliches Verständnis erfordern. Dazu gehören mitunter Anwendungen, in denen Texte übersetzt oder klassifiziert, große Datenmengen aufbereitet oder visuelle Darstellungen erzeugt oder verbessert werden sollen.“ Quelle: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.html

Anwendungsbereiche von KI-Systemen in der Forschung

Die Nutzung von KI-Systemen in der Forschung erfolgt auf unterschiedlichen Leveln. Auf reiner Anwenderebene kommen generative KI-Systemen auf der Basis von Large Language Models vermehrt zum Einsatz, um zum Beispiel Texte und Grafiken zu erstellen. KI-Tools können auch zum Transkribieren und Annotieren von Ton- und Bildaufnahmen oder zur Erkennung von Handschriften eingesetzt werden. In immer mehr Fächern werden KI-Systeme aber auch gezielt für spezifische Zwecke trainiert und weiterentwickelt, um damit sehr große Datenmengen auswerten und ganz bestimmte Forschungsfragen bearbeiten zu können. Und in der Informatik wird die Forschung an KI-Systemen an sich vorangetrieben, um ihre Leistungsfähigkeit und Zuverlässigkeit zu steigern, auch in Hinblick auf regulatorische Anforderungen (z. B. KI-Verordnung der EU) und technologische Neuerungen (z. B. Quantencomputer).

  • Gestaltung von Texten, Tabellen, Grafiken und Präsentationen

    Generative KI-Systeme können in der Wissenschaft vor allem bei solchen Aufgaben unterstützen, die nicht direkt Teil der Forschung selbst sind, sondern der Vorbereitung von Projekten oder der Vermittlung von Ergebnissen dienen. So kann eine generative Text-KI Formulierungsvorschläge für Anträge, Webseiten-Texte oder wissenschaftliche Publikationen machen. Andere KI ist auf das Erzeugen von Grafiken und ganzer Präsentationen spezialisiert und kann helfen, Forschungsdaten und -ergebnisse ansprechend und verständlich zu visualisieren. KI-generierte Inhalte sollten aber immer nur als Inspiration dienen, da sie fast nie fehlerfrei sind. Eine gründliche Überprüfung und Überarbeitung ist also unbedingt notwendig. Wenn KI-generierte Inhalte (nahezu) unverändert übernommen werden, müssen sie als KI-generiert gekennzeichnet werden.

    Verwendung generativer KI in Fördernträgen an die DFG

    Die DFG lässt die Verendung in KI auch beim Ausarbeiten von Förderanträgen grundsätzlich zu, sofern dies transparent gemacht wird und nicht gegen Grundsätze der guten wissenschaftlichen Praxis verstößt.

  • Recherche

    Es gibt inzwischen KI-Systeme, wie zum Beispiel den ORKG Ask der TIB, die für die Recherche in wissenschaftlichen Publikationen optimiert sind. Sie verwenden meist ein Large Language Model als User Interface, das jedoch auf eine umfangreiche Wissensdatenbank zugreift. Die Ausgaben enthalten daher konkrete Quellenangaben und sind wesentlich zuverlässiger als die einer reinen Sprach-KI. Deren Antworten mögen zwar überzeugend klingen, können aber inhaltlich erfunden oder mindestens ungenau sein. Doch auch wissenschaftliche Recherche-KI-Tools liefern weder vollständige noch hundertprozentig zuverlässige Ergebnisse. Wie bei allen KI-Systemen hängt die Qualität der Ausgabedaten stark von der Qualität, Quantität und Repräsentativität der Trainingsdaten ab. Ein aktueller Verbesserungsansatz liegt in der Einbindung von Retrieval-Augmented Generation Frameworks, also von vorverarbeiteten Wissens- und Dokumentensammlungen, aus denen das Tool dann bevorzugt seine Antworten generiert. Zum Beispiel hat die GWDG für das Tool Chat AI das RAG Framework Arcana entwickelt, das in das KI-Modell Meta Llama eingebunden werden kann.

  • Aufbereitung von Forschungsdaten

    Oft müssen Rohdaten für die weitere Analyse aufbereitet werden. Dieser Prozess kann in vielen Fällen zumindest teilweise von KI-Tools übernommen werden. Beispiele sind das Transkribieren und Annotieren von Ton- und Bildaufnahmen oder auch Handschriften.

  • Analyse von Forschungsdaten

    Die große Stärke vieler KI-Anwendungen ist das Erkennen und Interpretieren von Mustern in großen Datenmengen. In der Medizin wird KI verstärkt zur Analyse von Bildaufnahmen eingesetzt, um Auffälligkeiten zu entdecken, beispielsweise bei der Krebsdiagnose. Nach einem ähnlichen Prinzip können in den Geowissenschaften Satellitenbilder ausgewertet werden, um Vegetation, Landnutzungsformen und Infrastruktur zu klassifizieren und zu kartieren. In der Forschung zum autonomen Fahren sind es KI-Systeme, die große Mengen an Sensordaten in Echtzeit verarbeiten und Entscheidungen über die Steuerung des Fahrzeugs treffen. Auch in der Klimaforschung haben die Simulationen und Modelle längst eine Komplexität erreicht, die ohne Einsatz von KI mit den verfügbaren Rechenkapazitäten nicht mehr zu bewältigen wäre. Die Liste ließe sich fortsetzen.

  • Entwicklung von KI-Modellen und -Systemen

    Bei der Entwicklung von KI-Systemen kann es einerseits um das Training und die Weiterentwicklung eines bestehenden KI-Modells gehen. Beispielsweise könnte das Modell GPT 4 als Basis für eine neue Anwendung dienen, mit der bestimmte Dialekte in Sprachaufnahmen erkannt werden sollen. Dafür würde dieses Modell mit entsprechenden Daten gezielt trainiert. Andererseits gibt es in der Informatik natürlich auch Grundlagenforschung zu KI selbst. Dabei geht es meist darum, KI sicherer, zuverlässiger und leistungsfähiger zu machen oder ihren Anwendungsbereich zu erweitern. Das Ergebnis können neue oder verbesserte KI-Modelle oder auch ganz neuartige Architekturen sein, zum Beispiel um KI-Modelle für die Nutzung mit Quantencomputern zu optimieren.

Verhaltenskodex zur Transparenz von KI-generierten Inhalten

Die EU stellt einen Leitfaden zur Verfügung, wie die Transparenz-Anforderungen beim Einsatz von KI und KI-generierter Inhalte aus Art. 50 der KI-Verordnung in die Praxis umgesetzt werden können.

Grenzen und Risiken von KI-Anwendungen

Auch wenn mithilfe von KI inzwischen vieles möglich ist, was noch vor wenigen Jahren die Grenzen des Machbaren gesprengt hätte, so ist KI doch kein Allheilmittel und nicht zwangsläufig immer die beste Wahl für das Bearbeiten einer bestimmten Aufgabe. KI kann wunderbar mit sehr großen Datenmengen umgehen und darin Muster erkennen, die sonst womöglich nicht aufgefallen wären. Aber die Ausgaben von KI sind niemals exakt, da sie nur mit Wahrscheinlichkeiten arbeitet. Dieselben Eingabedaten werden zwar tendenziell zu ähnlichen, aber nicht zu identischen Ausgaben führen. Die Qualität dieser Ausgaben hängt stark vom Training des KI-Systems ab. Bevor Sie ein KI-System nutzen, sollten Sie sich daher kritisch mit dessen Grenzen und Risiken auseinandersetzen.

  • Mangelhafte Qualität, Quantität oder Repräsentativität der Trainingsdaten (Biases)

    KI produziert vor allem dann gute Ergebnisse, wenn zu einer Eingabe viele passende Beispiele in den Trainingsdaten vorhanden waren. Wenn ein KI-Modell zum Beispiel mit vielen Fotos von Verkehrsschildern trainiert wurde, wird sie solche Verkehrsschilder auch auf neu eingespeisten Fotos relativ zuverlässig erkennen. Dasselbe Modell versagt aber, wenn es auf einmal Tiere erkennen soll, wenn diese in den Trainingsdaten nicht oder kaum auftauchten. Auch die großen bekannten KI-Modelle, wie GPT, LLama oder Gemini, die für eine möglichst allgemeine Verwendbarkeit ausgelegt sind, können nicht alle Aufgaben gleich gut lösen. Vor allem die ersten Versionen wurden mit großen Mengen nicht qualitätsgeprüfter Daten aus dem Internet trainiert, die viele Fehler oder zumindest fragwürdige Informationen enthalten. Diese werden auch immer wieder in den Ausgaben reproduziert. Bei sehr speziellen Fragen zu Bereichen, aus denen nur wenige Trainingsdaten zur Verfügung standen, werden Antworten von der KI auch gerne mal komplett "erfunden" (Halluzinationen). Und dann ist da noch das Problem, dass das Internet nicht repräsentativ für die reale Welt ist. Zum Beispiel finden sich dort überproportional viele Bilder von jungen, gutaussehenden und hellhäutigen Menschen in westlicher Kleidung. Weist man die KI an, ein Bild von "einem Menschen" zu kreieren, wird das Ergebnis wahrscheinlich entsprechend ausfallen. Um solche KI-Modelle für spezifische Forschungsfragen nutzen zu können, wird es daher in aller Regel notwendig sein, sie zunächst gezielt mit ausreichend für das Thema relevanten, qualitätsgeprüften und repräsentativen Daten (weiter) zu trainieren.

  • Reproduzierbarkeit ist nicht gegeben

    Während ein klassischer Algorithmus eine mathematische Funktion darstellt, die bei gleichen Eingabedaten immer exakt dasselbe Ergebnis berechnet, arbeitet KI mit Häufigkeiten und Wahrscheinlichkeiten. Da die KI kontinuierlich dazulernt, ändern sich zudem permanent die Wahrscheinlichkeitswerte. Daher wird ein KI-System auch bei identischer Dateneingabe, wie z. B. einem bestimmten Textprompt, mal mehr, mal weniger einander ähnliche, aber nie genau gleiche Ergebnisse ausgeben. Eine strikte Reproduzierbarkeit, wie sie im wissenschaftlichen Kontext oft gefordert ist, ist somit nicht möglich.

  • Quellen und Lösungswege sind oft nicht nachvollziehbar

    Die meisten aktuell marktverfügbaren KI-Systeme gelten weitgehend als "Black Box", das heißt, es lässt sich nicht im Detail nachvollziehen, wie sie zu einem bestimmten Ergebnis kommen. Es werden weder Quellen angegeben (oder falsche Quellen genannt) noch Lösungswege transparent gemacht. Auch das ist insbesondere im wissenschaftlichen Kontext problematisch. Daher gibt es inzwischen eine Reihe von Forschungsprojekten, die sich mit der Entwicklung von KI-Systemen beschäftigen, die ihre inneren Abläufe zuverlässig und nachvollziehbar dokumentieren können.

  • Fehlende Aktualität (knowledge cutoff)

    Ist das Training eines KI-Modells abgeschlossen, fließen danach keine neueren Informationen mehr in die Wissensbasis ein. Wenn also beispielsweise ein Chatbot im Jahr 2023 fertiggestellt wurde und im Jahr 2025 nach aktuellen Ereignissen gefragt wird, werden die Antworten notwendigerweise falsch oder veraltet sein. Dieses Problem lässt sich nur umgehen, wenn das KI-System während der Anwendung permanent mit neuen Daten weitertrainiert wird, beispielsweise über eine Anbindung an das Internet. Wenn diese aktuellen Daten aber nicht qualitätsgeprüft sind, kann sich auch die Qualität der Ausgabendaten verschlechtern. Zudem besteht das Risiko, dass sich möglicherweise sensible Eingabedaten unkontrolliert verbreiten.

  • Rechtliche Risiken und ethische Fragen

    Sowohl die reine Verwendung von KI-Systemen als auch deren Training und Entwicklung kann eine Reihe von rechtlichen Fragen aufwerfen. Das ist insbesondere dann der Fall, wenn für das Training personenbezogene oder urheberrechtlich geschützte Daten genutzt werden, oder wenn die KI-Anwendung Auswirkungen auf Sicherheit und Gesundheit haben kann. Näheres dazu finden Sie im folgenden Abschnitt zu den rechtlichen Aspekten. Ethische Fragen sind zusätzlich unter anderem dadurch berührt, dass KI-Anwendungen besonders energie- und ressourcenintensiv sind. Zudem wurden und werden für das grundlegende Training der meisten kommerziellen Modelle oft Menschen aus Entwicklungsländern zu niedrigen Löhnen beschäftigt, die unter bedenklichen Bedingungen arbeiten müssen („Klickarbeit“). Das Weizenbaum-Institut hat dazu ein Diskussionspapier publiziert.

Rechtliche Aspekte

Für das Training von KI-Modellen werden sehr viele Daten benötigt, die in den seltensten Fällen ausschließlich von den Entwickelnden selbst stammen. Bei Daten aus anderen Quellen stellt sich aber schnell die Frage nach der Rechtmäßigkeit der Datenverarbeitung. Das gilt sowohl in Bezug auf urheberrechtliche Nutzungs- und Verwertungsrechte als auch auf Datenschutz und Persönlichkeitsrechte, wenn es sich um personenbezogene Daten handelt. Bei sicherheitsrelevanten Anwendungen, z. B. in Bereichen wie Gesundheit, Verkehr oder kritische Infrastruktur, gelten verschärfte Dokumentationspflichten und Anforderungen an technische Sicherheitsmaßnahmen. Doch auch wer KI-Systeme einfach nur nutzt, trägt die rechtliche Verantwortung dafür, dass weder durch die Eingabe von Daten in das System noch durch die Nutzung der Ausgabedaten Rechte Dritter verletzt werden. In der Europäischen Union regelt die „Verordnung über künstliche Intelligenz“ die Rechte und Pflichten bei der Entwicklung, Bereitstellung und Nutzung von KI-Systemen.

  • Die KI-Verordnung der Europäischen Union

    Mit der KI-Verordnung (AI Act) hat die Europäische Union 2024 die weltweit erste gesetzliche Regulierung von künstlicher Intelligenz geschaffen. Sie tritt zwischen August 2025 und August 2027 in mehreren Stufen in Kraft (in bestimmten Fällen bereits existierender Systeme mit Übergangszeiten bis Ende 2030) und soll einerseits die Bürger vor Risiken schützen, aber andererseits auch eine verantwortungsvolle und rechtssichere Entwicklung und Nutzung von KI-Systemen ermöglichen. Ähnlich wie bei der Datenschutzgrundverordnung handelt es sich um EU-weit unmittelbar geltendes Recht. Die Verordnung unterscheidet zwischen verschiedenen Rollen, die jeweils mit bestimmten Pflichten verbunden sind. Im Forschungskontext sind vor allem zwei Rollen relevant:

    • Anbieter (Entwickler/Hersteller): Entwickelt ein KI-System oder KI-Modell für allgemeine Zwecke und bringt es in Verkehr bzw. stellt es bereit.
    • Betreiber/Anwender (z.B. Firmen und Institutionen, aber keine privaten Endnutzer): Verwendet ein KI-System in eigener Verantwortung, ohne es wesentlich anzupassen oder weiter zu trainieren. Wenn ein Betreiber ein KI-System maßgeblich ändert, weiterentwickelt oder auch nur unter einem neuen Namen betreibt, wird er rechtlich einem Anbieter gleichgestellt.

    Die KI-Verordnung unterscheidet ferner Risikoklassen von KI-Systemen. Während für Systeme mit minimalem Risiko (z. B. KI-gestützte Videospiele und Spamfilter) keine besonderen Anforderungen bestehen, sind Systeme mit inakzeptablem Risiko (z. B. KI-Systeme zur Manipulation oder ungesetzlichen Überwachung von Menschen) komplett verboten. Dazwischen liegen Anwendungen mit geringem und mit hohem Risiko. Bei Anwendungen mit geringem Risiko, z. B. Chatbots, müssen Anbieter und Betreiber lediglich transparent machen, dass KI eingesetzt wird. Betreiber müssen zudem dafür sorgen, dass alle Personen, die mit dem KI-System umgehen, angemessen geschult sind. Bei KI-Systemen mit hohem Risiko bestehen zusätzliche Pflichten. Beispiele sind KI-Werkzeuge, die Einfluss auf die Sicherheit von Produkten und kritischer Infrastruktur haben oder mit denen sensible personenbezogene Daten verarbeitet werden. In solchen Fällen gilt:

    Anbieter müssen:

    • ein Risikomanagement entwickeln
    • ausreichende Qualität (Fehlerfreiheit, Repräsentativität) von Trainings-, Validierungs- und Testdaten sicherstellen
    • Aufbau und Funktionsweise des KI-Systems dokumentieren und diese technischen Unterlagen zum Nachweis der Gesetzeskonformität bereitstellen
    • KI-Systeme so konzipieren, dass sie sicherheitsrelevante Ereignisse und wesentliche Veränderungen automatisch aufzeichnen können
    • Gebrauchsanweisungen zum rechtskonformen Einsatz der KI-Systeme für Händler/Importeure bereitstellen
    • die Möglichkeit einer menschlichen Aufsicht durch die Anwendenden implementieren
    • das System so gestalten, dass es angemessen genau, robust im Betrieb und sicher vor Cyberangriffen ist
    • ein Qualitätsmanagement entwickeln

    Betreiber müssen:

    • technische Maßnahmen für einen sicheren Betrieb gemäß der Anleitung des Anbieters ergreifen, inklusive dem automatischen Erstellen von Log Files
    • dafür sorgen, dass alle Personen, die mit dem KI-System umgehen, angemessen informiert und geschult sind
    • den Betrieb des Systems überwachen und ggf. Schwachstellen und Fehlfunktionen an den Entwickler zurückmelden
    • sicherstellen, dass alle Bestimmungen der DSGVO eingehalten werden, falls personenbezogene Daten verarbeitet werden
    Die EU stellt einen Leitfaden zur Verfügung, wie die Transparenz-Anforderungen beim Einsatz von KI und KI-generierter Inhalte aus Art. 50 der KI-Verordnung in die Praxis umgesetzt werden können.
  • KI und Urheberrechtsgesetz

    Inwieweit urheberrechtlich geschützte Werke ohne ausdrückliche Zustimmung der Rechteinhaber*innen für das Training von KI-Modellen genutzt werden dürfen, ist weiter Gegenstand von Rechtsstreitigkeiten. Auch die Schrankenregelung des § 60d UrhG, die das Text- und Data Mining zu nicht-kommerziellen wissenschaftlichen Zwecken gestattet, ist kein Freifahrtschein für das unbegrenzte Nutzen geschützter Inhalte aus dem Internet. Erste Urteile dazu (vor allem LG Hamburg, 27.9.2024, Az.: 310 O 227/23) beziehen sich zunächst nur auf das Zusammenstellen von Trainingsdatensätzen, nicht aber auf die Nutzung (und ggf. kommerzielle Verwertung) damit erstellter KI-Modelle. Wenn Sie also eigene KI-Modelle mit Datensätzen aus fremden Quellen trainieren wollen, versuchen Sie, Informationen darüber zu erhalten, ob die Daten rechtskonform zusammengestellt wurden und frei von Rechten Dritter sind. Wenn Sie selbst Daten durch Webcrawling erheben, achten Sie darauf, dass die eingesetzten Crawler maschinenlesbare Nutzungsvorbehalte auf Webseiten erkennen können und entsprechend beachten.

    Wenn Sie generative KI-Systeme verwenden, um z. B. Texte oder Grafiken zu erstellen, seien Sie sich bewusst, dass die Ausgaben mitunter sehr nahe an ganz bestimmten Inhalten aus den Trainingsdaten liegen können, insbesondere dann, wenn für eine spezifische Aufgabe nur wenige Trainingsdaten zur Verfügung standen. KI-generierte Werke sind, unabhängig vom Erreichen der notwendigen Schöpfungshöhe, grundsätzlich nicht urheberrechtlich schutzfähig, da sie nicht von einer natürlichen Person (also einem Menschen) geschaffen wurden. Eine zu große Ähnlichkeit KI-generierter Inhalte zu geschützten Werken kann jedoch zu Urheberrechtsverletzungen mit rechtlichen Konsequenzen führen, wenn diese Inhalte veröffentlicht werden. Die rechtliche Verantwortung liegt bei denjenigen, die ein KI-Tool einsetzen und die Ergebnisse nutzen. Wenn Sie KI-generierte Inhalte aus dem Internet herunterladen, bedenken Sie, dass Sie die Nutzungsbedingungen der Seitenbetreiber beachten müssen, auch wenn die Inhalte selbst gemeinfrei sind. Zum Beispiel kann eine Plattform kostenlos KI-generierte Bilder zum Download anbieten, aber in den Nutzungsbedingungen festlegen, dass bei jeder Verwendung die Plattform als Quelle genannt werden muss.

  • KI und Datenschutz/Persönlichkeitsrechte

    Die DSGVO und weitere Datenschutzgesetze gelten selbstverständlich auch für KI-Anwendungen. Etliche derzeit kommerziell verfügbare KI-Modelle wurden mit Daten trainiert, die auch personenbezogene Informationen beinhalten. Die Rechtmäßigkeit dieser Datenverarbeitung ist in vielen Fällen mindestens umstritten, da oft keine wirksame Einwilligung der Betroffenen oder eine andere Rechtsgrundlage vorlag. Wie bei urheberrechtlich geschützten Inhalten ergibt sich auch hier die Problematik, dass die Ausgabedaten eines KI-Systems ganz spezifischen Trainingsdaten ähneln können und beispielsweise erzeugte Bilder an reale Personen erinnern. Wenn Sie generative KI nutzen, seien Sie sehr vorsichtig mit der Verwendung erzeugter fotorealistischer Bilder, da sich schwer einschätzen lässt, wie sehr diese einer realen Person ähneln. Bei Textausgaben könnte eine Anfrage wie „Erstelle mir einen Lebenslauf der Person XY“ zu Ergebnissen führen, die eigentlich nichtöffentliche Informationen zu einer realen Person preisgeben oder falsche Informationen generieren.

    Geben Sie auf keinen Fall sensible personenbezogene Daten in ein KI-System ein, sofern es sich nicht um ein geschlossenes selbst entwickeltes System unter Ihrer alleinigen und vollständigen Kontrolle handelt. Sie können nicht kontrollieren, ob und wie diese Eingaben letztlich in das KI-Modell einfließen und dann auch wieder von Dritten abgefragt werden können. Diese Gefahr lässt sich auch dann nicht vollständig bannen, wenn die Entwickler durch Programmierung und sonstige technische Maßnahmen explizit versucht haben, dieses Verhalten des Systems zu unterbinden. Auch das vom LUIS betriebene LUHKI und ChatAI der GWDG (wenn ein OpenAI-Modell ausgewählt wird) senden Eingabeprompts an Server von Microsoft/OpenAI. Grundsätzlich gilt auch in Bezug auf Datenschutz: Die rechtliche Verantwortung liegt (auch) bei denjenigen, die ein KI-Tool einsetzen und die Ergebnisse nutzen.

    Wenn Sie selbst KI-Modelle mit personenbezogenen Daten (weiter)trainieren, achten Sie darauf, nur solche Daten zu verwenden, für die eine wirksame Einwilligung der Betroffenen in die Verarbeitung zum Zweck des KI-Trainings oder eine andere geeignete Rechtsgrundlage vorliegt. Beachten Sie Ihre Informations- und Dokumentationspflichten aus der DSGVO und treffen Sie geeignete technische und organisatorische Schutzmaßnahmen. Unter Umständen kann eine Datenschutz-Folgenabschätzung erforderlich sein. Sofern Sie personenbezogene Daten mithilfe eines KI-Systems eines externen Anbieters verarbeiten, schließen Sie einen Vertrag zur Auftragsverarbeitung ab, in dem der Anbieter zur Einhaltung aller Bestimmungen der DSGVO verpflichtet wird.

Tools & Infos

ANLAUFSTELLEN UND WEITERFÜHRENDE INFORMATION
KI-TOOLS
BEISPIELE FÜR KI IN DER FORSCHUNG
WEITERBILDUNG ZU KI