Darf ich Kundendaten in einen KI-Chatbot eingeben?

Dafür brauchen Sie eine Rechtsgrundlage, und die betroffenen Personen müssen transparent informiert werden. Die Datenschutzkonferenz weist darauf hin, dass es regelmäßig nicht reicht, nur Namen und Anschriften zu entfernen, weil sich ein Personenbezug aus dem Zusammenhang ergeben kann. Vorzugswürdig sind Anwendungen, die Eingaben nicht für das Training verwenden.

Brauche ich einen Vertrag mit dem Anbieter der KI-Anwendung?

Nutzen Sie eine KI-Anwendung eines externen Anbieters, etwa als Cloud-Lösung, liegt laut Datenschutzkonferenz häufig eine Auftragsverarbeitung vor. Dann ist mit dem Anbieter ein Vertrag nach Art. 28 Abs. 3 DSGVO abzuschließen. Er regelt unter anderem Weisungen, Vertraulichkeit, Sicherheit und die Löschung der Daten.

Was bedeutet KI-Kompetenz nach Art. 4 der KI-Verordnung für einen kleinen Betrieb?

Wer ein KI-System beruflich in eigener Verantwortung verwendet, muss Maßnahmen zur KI-Kompetenz der Beschäftigten ergreifen, die damit arbeiten. Dabei zählen Vorkenntnisse, Erfahrung und der konkrete Einsatzzweck. Für KMU sollen Kommission und Mitgliedstaaten Unterstützung und praktische Beispiele bereitstellen.

KI im Betrieb und DSGVO

Sie dürfen KI-Anwendungen im Betrieb nutzen, solange Sie dabei die Datenschutzregeln einhalten. Sobald eine KI personenbezogene Daten verarbeitet, gilt die DSGVO, und Sie brauchen für jeden Verarbeitungsschritt eine Rechtsgrundlage, passende Verträge mit Anbietern und klare interne Regeln. Zusätzlich verlangt Art. 4 der europäischen KI-Verordnung seit dem 2. Februar 2025, dass Sie Maßnahmen zur KI-Kompetenz Ihrer Beschäftigten ergreifen.

Dieser Artikel ist keine Rechtsberatung. Er fasst öffentlich zugängliche Quellen zusammen und ersetzt nicht die Prüfung Ihres Einzelfalls durch eine Anwältin, einen Anwalt oder Ihre Datenschutzbeauftragten.

Wann die DSGVO beim KI-Einsatz greift

Die DSGVO greift, sobald bei der Nutzung einer KI-Anwendung personenbezogene Daten verarbeitet werden. Die Datenschutzkonferenz (DSK) von Bund und Ländern hat dazu am 6. Mai 2024 die Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ veröffentlicht, die sich vor allem an Verantwortliche richtet, die KI-Anwendungen einsetzen.

Aus der Orientierungshilfe ergeben sich für den Start drei wichtige Punkte:

Legen Sie vor dem Einsatz fest, für welche Einsatzfelder und welchen konkreten Zweck die KI-Anwendung dienen soll. Nur so lässt sich prüfen, ob die Verarbeitung personenbezogener Daten dafür erforderlich ist.
Einsatzfelder, in denen weder in der Eingabe noch in der Ausgabe noch bei der Anmeldung personenbezogene Daten vorkommen, unterliegen nicht dem Datenschutzrecht. Ein Personenbezug kann sich aber aus vielen Merkmalen ergeben, auch ohne Namen und Adresse.
Auch eine Eingabe ohne personenbezogene Daten kann eine Ausgabe mit personenbezogenen Daten erzeugen. Dann kann ebenfalls eine Rechtsgrundlage erforderlich sein.

Die DSK nennt als Beispiel die Bitte, ein Arbeitszeugnis für einen Kundenberater in einem namentlich genannten Autohaus zu entwerfen. Eine solche Eingabe kann Personenbezug haben, wenn erkennbar ist, aus welchem Unternehmen sie zu welchem Zeitpunkt kam.

Rechtsgrundlage und menschliche Entscheidung

Für jeden Verarbeitungsschritt, bei dem eine KI-Anwendung personenbezogene Daten verarbeitet, brauchen Sie laut DSK eine datenschutzrechtliche Rechtsgrundlage. Welche infrage kommt, hängt vom Einsatzbereich ab, etwa Personalwesen, Gesundheitswesen oder die Abwicklung eines Kundenvertrags.

Zwei Grenzen sollten Sie besonders beachten:

Entscheidungen mit Rechtswirkung dürfen nach Art. 22 Abs. 1 DSGVO grundsätzlich nur Menschen treffen. Die DSK wertet es als Verstoß, wenn eine KI alle Bewerbungen auswertet und selbstständig Einladungen zu Vorstellungsgesprächen verschickt. Eine nur formelle Beteiligung eines Menschen reicht nicht aus.
Besondere Kategorien personenbezogener Daten, zum Beispiel Gesundheitsdaten oder Angaben zur Religion, dürfen nach Art. 9 Abs. 1 DSGVO grundsätzlich nicht verarbeitet werden. Erlaubt ist das nur, wenn eine der Ausnahmen aus Art. 9 Abs. 2 DSGVO greift.

Den passenden Anbieter auswählen

Bei der Auswahl einer KI-Anwendung entscheiden Sie mit, wo Ihre Daten landen und wofür sie verwendet werden. Die DSK unterscheidet zwischen geschlossenen und offenen Systemen.

In geschlossenen Systemen läuft die Verarbeitung in einer abgegrenzten technischen Umgebung, nur ein eng begrenzter Kreis hat Zugriff, und eingegebene Daten werden nicht zum weiteren Training verwendet.
Offene Systeme betreibt der Anbieter zum Beispiel als Cloud-Lösung für einen unbestimmten Nutzerkreis. Eingaben verlassen dabei Ihren geschützten Bereich, und häufig kommt es zu Übermittlungen in Drittstaaten, für die Kapitel V der DSGVO gilt.

Aus Datenschutzsicht hält die DSK technisch geschlossene Systeme für vorzugswürdig. Prüfen Sie außerdem, ob der Anbieter Ihre Ein- und Ausgaben für das Training nutzt und ob Sie das ausschließen können. Können Sie es nicht ausschließen und sind personenbezogene Daten betroffen, brauchen Sie auch für diesen Zweck eine Rechtsgrundlage.

Setzen Sie die KI eines externen Anbieters zu eigenen Zwecken ein, liegt laut DSK häufig eine Auftragsverarbeitung vor. Dann schließen Sie mit dem Anbieter einen Vertrag nach Art. 28 Abs. 3 DSGVO. Nach Art. 28 Abs. 1 dürfen Sie nur mit Auftragsverarbeitern arbeiten, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten. Der Vertrag muss unter anderem regeln, dass der Anbieter

Daten nur auf Ihre dokumentierte Weisung verarbeitet,
sein Personal zur Vertraulichkeit verpflichtet,
Sicherheitsmaßnahmen nach Art. 32 DSGVO trifft,
Unterauftragsverarbeiter nur unter festgelegten Bedingungen einsetzt,
Sie bei Anfragen betroffener Personen unterstützt,
die Daten nach Ende der Leistung löscht oder zurückgibt und
Ihnen die nötigen Informationen für Nachweise und Überprüfungen bereitstellt.

Interne Regeln und betriebliche Accounts

Ohne klare Regeln nutzen Beschäftigte KI-Anwendungen leicht auf eigene Faust, und die DSK geht davon aus, dass das in vielen Unternehmen bereits Realität ist. Sie empfiehlt deshalb dokumentierte interne Weisungen dazu, ob, unter welchen Voraussetzungen und für welche Zwecke welche KI-Anwendungen genutzt werden dürfen.

Für die Umsetzung nennt die Orientierungshilfe diese Punkte:

Konkrete Beispiele für erlaubte und untersagte Einsatzszenarien machen die Regeln verständlich.
Eine Betriebsvereinbarung kann sinnvoll sein, und die Einführung einer KI-Anwendung kann ein Mitbestimmungsrecht des Betriebsrats auslösen.
Stellen Sie für die berufliche Nutzung eigene Geräte und Accounts bereit, damit Beschäftigte keine privaten Accounts verwenden müssen.
Wird die Anwendung nicht auf eigenen Servern betrieben, sollten Accounts keine Namen einzelner Beschäftigter enthalten. Nutzen Sie eine Funktions-E-Mail-Adresse des Betriebs.
Stellen Sie bei Accounts von Beginn an ein, dass Eingaben nicht für das Training verwendet werden und keine Eingabe-Historie über die Sitzung hinaus gespeichert wird.
Binden Sie Ihre Datenschutzbeauftragten stets ein, wenn Entscheidungen über KI-Anwendungen vorbereitet oder getroffen werden.

Vor der Verarbeitung personenbezogener Daten nehmen Sie zudem eine Vorabprüfung des Risikos vor. Ergibt sich voraussichtlich ein hohes Risiko, ist eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich, was laut DSK beim KI-Einsatz vielfach der Fall sein wird.

KI-Kompetenz nach Art. 4 der KI-Verordnung

Die KI-Verordnung (EU) 2024/1689 verlangt von Betrieben, die KI-Systeme beruflich in eigener Verantwortung verwenden, Maßnahmen zur KI-Kompetenz ihrer Beschäftigten. Der zugehörige Art. 4 gilt seit dem 2. Februar 2025.

In seiner ursprünglichen Fassung verlangte Art. 4, nach besten Kräften sicherzustellen, dass Personal und andere Personen, die im Auftrag des Betriebs mit KI-Systemen arbeiten, über ein ausreichendes Maß an KI-Kompetenz verfügen. Laut artificialintelligenceact.eu wurde der Artikel durch die Verordnung (EU) 2026/1744 vom 8. Juli 2026 geändert, die am 27. Juli 2026 in Kraft getreten ist. Nach der neuen Fassung ergreifen Anbieter und Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Kompetenzniveau müssen sie nicht garantieren.

In beiden Fassungen zählen die technischen Kenntnisse, die Erfahrung, die Aus- und Fortbildung der Beschäftigten und der Kontext, in dem die KI eingesetzt wird. Kommission und Mitgliedstaaten sollen besonders kleine und mittlere Unternehmen unterstützen, und die Kommission veröffentlicht dafür praktische Beispiele. Die DSK empfiehlt ergänzend, Beschäftigte durch Schulungen, Leitfäden und Gespräche dafür zu sensibilisieren, ob und wie sie KI-Anwendungen nutzen dürfen.

Ergebnisse prüfen, bevor Sie sie verwenden

Ergebnisse einer KI-Anwendung mit Personenbezug müssen Sie kritisch prüfen, bevor Sie sie weiterverwenden. Die DSK weist darauf hin, dass Anbieter von Sprachmodellen häufig selbst klarstellen, dass die erzeugten Texte keinen Anspruch auf Richtigkeit haben.

Für den Alltag heißt das:

Unrichtige Ergebnisse mit Personenbezug können zu einer unzulässigen Verarbeitung führen. Prüfen Sie sie deshalb vor der Weiterverarbeitung.
Ergebnisse können diskriminierend wirken, auch wenn das im Einzelfall nicht erkennbar ist. Die DSK nennt als Beispiel eine KI, die aus früheren Bewerbungen ableitet, bevorzugt Männer einzustellen. Das würde gegen das Allgemeine Gleichbehandlungsgesetz verstoßen.
Betroffene Personen müssen ihre Rechte auf Berichtigung und Löschung wirksam ausüben können. Dafür brauchen Sie organisatorische und technische Abläufe.
Verfolgen Sie rechtliche und technische Entwicklungen und prüfen Sie regelmäßig, ob Ihre internen Vorgaben angepasst werden müssen.

Wie sich KI in feste Abläufe einbinden lässt, beschreibt die Seite zur Prozessautomatisierung.

Growth Media Solution aus Hamm (Westfalen) unterstützt Betriebe bei der Auswahl und Einführung von KI-Lösungen. Wenn Sie ein konkretes Vorhaben besprechen möchten, vereinbaren Sie ein Erstgespräch.

Darf ich KI im Betrieb nutzen, und was verlangt die DSGVO?