ChatGPT erfindet Quellen und Fakten? So prüfen Sie KI-Antworten im Betrieb

Die Kundenmail ist fast fertig, der Text für die Website klingt gut, die Produktbeschreibung wirkt vollständig. Dann führt ein Quellenlink ins Leere. Oder die KI nennt eine Produkteigenschaft, die im Datenblatt gar nicht steht. Spätestens jetzt fragt man sich, welche anderen Angaben auch nicht stimmen. Und im kleinen Betrieb bleibt für so eine Nachprüfung selten viel Zeit.

ChatGPT, Copilot und ähnliche Werkzeuge liefern oft brauchbare Entwürfe. Ein flüssiger Text ist aber kein Beleg für richtige Inhalte. Hier lesen Sie, wie Sie Quellen und Fakten prüfen und daraus einen festen Ablauf für Ihr Team machen. Angaben zu den Produkten von OpenAI und Microsoft sind Herstellerangaben mit Stand Oktober 2026. Funktionen und Oberflächen unterscheiden sich je nach Tarif.

Warum ChatGPT Dinge erfindet

Ein Sprachmodell, also ein KI-System zur Verarbeitung und Erzeugung von Sprache, berechnet wahrscheinliche Textfortsetzungen aus erlernten Mustern. Es schlägt beim normalen Antworten nicht automatisch in einem Nachschlagewerk nach. Laut OpenAI kann ChatGPT deshalb falsche Definitionen, Daten und Quellen liefern und dabei sehr sicher klingen.

Solche erfundenen oder sachlich falschen Ausgaben werden Halluzinationen genannt. Das BSI beschreibt, dass generative KI auch dann Antworten erzeugen kann, wenn die Grundlage dafür fehlt. Statt eine Lücke offenzulassen, entsteht ein plausibel klingender Text. Die Formulierung „ChatGPT lügt“ beschreibt den Ärger darüber, erklärt aber nicht den technischen Vorgang. Entscheidend ist, dass Sie aus dem Tonfall keine Verlässlichkeit ableiten können.

Auch der Wissensstand hat Grenzen. Ohne Websuche, also das zusätzliche Abrufen von Informationen aus dem Internet, oder andere aktuelle Quellen fehlen Informationen nach dem jeweiligen Trainingsstand. Eine erneute Frage kann anders beantwortet werden. Das ist noch keine Korrektur und kein Beleg dafür, dass die zweite Fassung stimmt.

So gehen Sie vor

1. Markieren Sie Aussagen, die nachprüfbare Tatsachen enthalten. Dazu gehören Namen, Produkteigenschaften, Termine und Behauptungen über Vorschriften. Behandeln Sie auch sehr bestimmt formulierte Sätze zunächst als ungeprüft.
2. Prüfen Sie, ob für die konkrete Antwort tatsächlich die Websuche verwendet wurde. Achten Sie auf die Suchfunktion und auf angeführte Webquellen. Die bloße Formulierung „nach aktueller Recherche“ reicht nicht.
3. Fragen Sie nach fehlenden Grundlagen und Unsicherheiten. Verwenden Sie die Antwort als Hinweis für Ihre Prüfung, nicht als Selbstkontrolle der KI. Auch eine überzeugende Entschuldigung mit anschließendem Korrekturvorschlag braucht einen Abgleich.

Woran Sie erfundene Quellen und Links erkennen

Eine Quellenangabe kann wie ein echter Literaturhinweis aussehen und trotzdem erfunden sein. OpenAI nennt erfundene Zitate, Studien und Verweise ausdrücklich als mögliche Fehler. Laut BSI wirken solche Antworten gerade durch wissenschaftlich aussehende Referenzen besonders glaubhaft.

Prüfen müssen Sie zwei unterschiedliche Dinge. Existiert die Quelle überhaupt, und belegt sie die konkrete Aussage? Eine echte Veröffentlichung mit passendem Titel kann etwas anderes behandeln. Ein funktionierender Link allein genügt deshalb nicht. Umgekehrt beweist ein toter Link noch keine Erfindung. Die Seite könnte umgezogen sein. Bis Sie den Inhalt gefunden haben, bleibt die Aussage unbelegt.

Bei angeblichen Zitaten kommt es auf den Wortlaut und den Zusammenhang an. Eine sinngemäße Zusammenfassung darf nicht als wörtliches Zitat erscheinen. Auch eine Aussage wie „Ich habe die Quelle kontaktiert“ ist ohne nachvollziehbaren Nachweis kein Beleg für eine erfolgte Kontaktaufnahme.

So gehen Sie vor

1. Prüfen Sie vor dem Öffnen die Zieladresse. Am Computer sehen Sie sie, wenn Sie den Mauszeiger über den Link halten. Achten Sie besonders auf den Domainnamen. Wirkt er unpassend, suchen Sie die Organisation lieber selbst über eine Suchmaschine. Wie gefälschte Adressen aussehen, zeigt unser Ratgeber Phishing-Mails erkennen.
2. Öffnen Sie die geprüfte Quelle selbst. Suchen Sie mit Strg + F, am Mac mit Cmd + F, nach dem entscheidenden Begriff. Lesen Sie auch den Absatz davor und danach.
3. Suchen Sie Titel und Autor unabhängig vom KI-Link. Bei Büchern können Sie die ISBN in einem Bibliothekskatalog prüfen. Ein angebliches Urteil prüfen Sie über das Aktenzeichen in einer offiziellen Rechtsprechungsdatenbank oder auf der Seite des Gerichts.
4. Suchen Sie wörtliche Zitate im Original. Finden Sie weder die Veröffentlichung noch die behauptete Textstelle, entfernen Sie das Zitat aus dem Entwurf oder kennzeichnen Sie es intern als ungeklärt. Verdächtige Anhänge sollten Sie nicht öffnen.

Zahlen, Paragrafen, Preise und Daten gegenprüfen

Fehler betreffen nicht bloß Quellenlisten. Eine KI kann eine Frist falsch berechnen, einen veralteten Produktstand verwenden oder aus einer vagen Anfrage eine feste Zusage machen. OpenAI nennt falsche Daten und Fakten als mögliche Ausgaben. Das BSI warnt zusätzlich vor fehlender Aktualität.

Für Ihren Betrieb ist die passende Originalquelle entscheidend. Ein Preis gehört gegen Ihre freigegebene Preisliste geprüft, eine technische Eigenschaft gegen das Datenblatt des richtigen Modells. Bei Vorschriften benötigen Sie den gültigen Gesetzestext. Eine allgemeine Erklärung der KI ersetzt keine fachliche Einordnung für Ihren konkreten Fall.

Auch rechnerisch stimmige Ergebnisse können auf falschen Ausgangswerten beruhen. OpenAI nennt Code Interpreter beziehungsweise Datenanalyse als Werkzeug für genauere Berechnungen. Gemeint ist eine Funktion, die Berechnungen mithilfe von ausgeführtem Code bearbeitet. Das entbindet Sie nicht davon, Eingabewerte, Einheiten und den gewählten Rechenweg zu kontrollieren.

So gehen Sie vor

1. Gehen Sie den Entwurf gezielt nach Zahlen, Datumsangaben, Preisen und Paragrafen durch. Notieren Sie intern zu jeder relevanten Angabe die Originalquelle und, falls nötig, deren Gültigkeitsstand.
2. Vergleichen Sie Produktdaten mit der Herstellerseite oder dem passenden Datenblatt. Achten Sie auf Modell, Ausführung und Dokumentstand. Angaben für ein ähnlich benanntes Produkt dürfen Sie nicht übernehmen.
3. Rechnen Sie Ergebnisse unabhängig nach. Bei einer Excel-Formel prüfen Sie Zellbezüge, Einheiten und das Ergebnis an einem kleinen Testfall, dessen richtigen Wert Sie kennen. Arbeiten Sie dabei mit einer Kopie der Datei.
4. Lassen Sie rechtliche, steuerliche und medizinische Aussagen durch entsprechend qualifizierte Fachleute prüfen, bevor Sie darauf eine Entscheidung oder Kundeninformation stützen. Ein echter Paragraf kann trotzdem falsch auf Ihren Fall angewendet worden sein.

Websuche und Quellenangaben richtig nutzen

Nach Angaben von OpenAI bietet ChatGPT mit Suche und Deep Research Antworten mit Webquellen. Deep Research bezeichnet eine Recherchefunktion, die mehrere Quellen verarbeitet. Verfügbarkeit und Bedienung hängen vom Tarif ab (Stand Oktober 2026). Ob die Suche lief, erkennen Sie laut OpenAI an den Symbolen für Suche oder Deep Research im Eingabefeld oder an Webquellen, die in der Antwort genannt werden.

Websuche kann aktuellere Grundlagen liefern, macht die fertige Antwort aber nicht automatisch richtig. Laut OpenAI sind manche Seiten wegen technischer Einschränkungen, einer Bezahlschranke oder ihrer robots.txt-Einstellungen nicht erreichbar. Letztere geben automatisierten Abrufen Regeln vor. Die KI kann also gerade das Dokument nicht gelesen haben, das Sie für Ihre Prüfung benötigen.

Für Microsoft Copilot im Unternehmen gilt eine ähnliche Grenze. Microsoft hat Microsoft 365 Copilot inzwischen in Microsoft Copilot umbenannt. Laut Microsoft enthalten Antworten auf Basis von Firmendokumenten nach Möglichkeit Quellenverweise. Beim Zusammenfassen kann Copilot dennoch Informationen ergänzen, die gar nicht in diesen Quellen stehen. Prüfen Sie deshalb die Verbindung zwischen Aussage und Textstelle, statt nur das Vorhandensein eines Quellensymbols zu kontrollieren.

So gehen Sie vor

1. Wählen Sie für zeitabhängige Fragen ausdrücklich die verfügbare Suchfunktion. Nennen Sie den benötigten Zeitraum und verlangen Sie Belege für die einzelnen Kernaussagen. Prüfen Sie anschließend, ob tatsächlich passende Quellen erscheinen.
2. Rufen Sie die Quellen nach einer Prüfung der Adresse auf. Kontrollieren Sie Veröffentlichungsdatum, Gültigkeitsstand und die genaue Textstelle. Ein kürzlich abgerufener alter Text ist keine aktuelle Information.
3. Trennen Sie belegte Aussagen von Ergänzungen der KI. Wenn eine Quelle nicht erreichbar ist oder die Aussage nicht enthält, suchen Sie eine andere verlässliche Originalquelle. Lassen Sie die betreffende Behauptung bis dahin nicht nach außen gehen.

Eigene Unterlagen statt Weltwissen

Für Angebote, Leistungsbeschreibungen und Antworten auf Kundenfragen sind Ihre freigegebenen Unterlagen oft die passendere Grundlage. Microsoft beschreibt diese Verankerung in Firmendaten als Grounding. Die KI soll sich auf bereitgestellte Inhalte stützen, statt fehlende Angaben aus allgemeinen Mustern zu ergänzen.

Das BSI beschreibt, dass nachvollziehbare Verweise auf Textauszüge aus hinterlegten Dokumenten die Auswirkungen von Halluzinationen mildern können. Das ist kein Schutz vor allen Fehlern. Auch mit einem passenden Dokument kann die KI Einschränkungen übergehen oder aus einer vorsichtigen Formulierung eine feste Zusage machen.

Ein Prompt, also Ihre Arbeitsanweisung an die KI, sollte die Grenze klar benennen. Zum Beispiel können Sie schreiben „Verwenden Sie ausschließlich den folgenden Text. Wenn eine gesuchte Angabe darin fehlt, schreiben Sie, dass sie nicht enthalten ist. Nennen Sie zu jeder Sachangabe die passende Textstelle.“ Geben Sie nur Unterlagen ein, die nach Ihrer internen Regel dafür zugelassen sind. Was dabei erlaubt ist, erklärt unser Ratgeber Kundendaten in ChatGPT oder Copilot.

So gehen Sie vor

1. Wählen Sie die aktuelle, freigegebene Fassung der benötigten Unterlage. Entfernen Sie überholte Fassungen aus der konkreten Arbeitsgrundlage, damit widersprüchliche Angaben nicht unbemerkt nebeneinanderstehen.
2. Begrenzen Sie den Auftrag ausdrücklich auf diese Unterlage. Lassen Sie fehlende Angaben offen benennen und bitten Sie um zugehörige Textstellen. Verlangen Sie keine vollständige Antwort um jeden Preis.
3. Vergleichen Sie den Entwurf mit dem Original. Achten Sie besonders auf Wörter wie „immer“, „enthalten“ und „verbindlich“. Prüfen Sie, ob Voraussetzungen und Ausnahmen bei der Zusammenfassung erhalten geblieben sind.

Das Vier-Augen-Prinzip vor dem Versand

Wenn jede Person anders prüft, bleiben leicht Lücken. Legen Sie deshalb fest, wer einen KI-Entwurf erstellt und wer die sachliche Freigabe übernimmt. Die zweite Person muss die verwendeten Grundlagen sehen können. Reines Korrekturlesen auf Rechtschreibung reicht bei Angeboten oder fachlichen Website-Texten nicht.

Das BSI empfiehlt in Maßnahme M20 seines Leitfadens zu generativen KI-Modellen, Ausgaben bei potenziell kritischen Auswirkungen zu prüfen, bei Bedarf mit weiteren Quellen abzugleichen und vor der Verwendung manuell nachzubearbeiten. Besonders angesprochen werden Inhalte mit Außenwirkung, etwa für den eigenen Internetauftritt. Microsoft warnt ebenfalls vor übermäßigem Vertrauen in schwer erkennbare Fehler und fordert menschliche Aufsicht.

Der Prüfaufwand sollte zu den Folgen eines Fehlers passen. Ein sprachlich geglätteter Absatz ohne neue Sachangaben braucht eine andere Kontrolle als eine Leistungszusage. Kann die prüfende Person eine Aussage nicht beurteilen, muss sie diese zurückstellen oder fachliche Unterstützung holen. Eine Freigabe darf nicht bloß ein Klick sein.

So gehen Sie vor

1. Kennzeichnen Sie KI-Texte intern sichtbar als Entwurf. Legen Sie fest, welche Inhalte vor Versand oder Veröffentlichung eine zweite Freigabe benötigen und wer diese bei Abwesenheit übernimmt.
2. Verwenden Sie eine feste Prüfliste mit Namen, Zahlen, Terminen, Zusagen, Links und Zitaten. Kontrollieren Sie zusätzlich, ob die Antwort die eigentliche Kundenfrage trifft oder unbelegte Ergänzungen enthält.
3. Übernehmen Sie Preise und Kundenzusagen ausschließlich aus freigegebenen eigenen Unterlagen. Fehlt dort eine Angabe, klären Sie sie intern. Lassen Sie die KI keine Liefertermine, Leistungen oder Bedingungen ergänzen.
4. Halten Sie die geprüfte Fassung und ihre Grundlagen nachvollziehbar fest. Wenn nach der Freigabe sachliche Angaben geändert werden, müssen diese erneut geprüft werden. Fehlt die Zeit dafür, bleibt der Entwurf unveröffentlicht.

Chatbots auf der eigenen Website und KI-Code

Bei einem Website-Chatbot können ungeprüfte Antworten unmittelbar Kunden erreichen. In Foren wird gerade diskutiert, ob ein Betrieb für Falschaussagen seines Chatbots einstehen muss. Die vorsichtige Antwort lautet, dass Sie für das, was Sie veröffentlichen, auch selbst geradestehen sollten. Ein Hinweis „KI kann Fehler machen“ ersetzt keine Prüfung und ist keine allgemeine rechtliche Absicherung. Welche Haftung im konkreten Fall besteht, kann nur eine Anwältin oder ein Anwalt beurteilen.

Begrenzen Sie einen Bot auf freigegebene eigene Inhalte und klar umrissene Aufgaben. Fragen außerhalb dieses Bereichs sollte er an einen Menschen übergeben. Gerade bei medizinischen, rechtlichen oder steuerlichen Themen darf ein überzeugender Ton nicht dazu führen, dass ungeprüfte Auskünfte als fachliche Beratung erscheinen.

Bei KI-Code besteht zusätzlich ein technisches Risiko. Das BSI warnt vor erfundenen Programmbibliotheken, also zusätzlichen Softwarebausteinen. Angreifer können Bibliotheken unter solchen Namen bereitstellen. Ein Paketname im KI-Vorschlag ist deshalb weder ein Existenznachweis noch eine Empfehlung für eine sichere Installation. Auch ein inzwischen auffindbares Paket muss auf Herkunft und Eignung geprüft werden.

So gehen Sie vor

1. Legen Sie zulässige Themen, Quellen und Übergaben des Chatbots fest. Lassen Sie ihn fehlende Angaben offen benennen. Individuelle Zusagen und heikle Fachfragen sollten zu einer zuständigen Person führen.
2. Testen Sie typische Kundenfragen und Fragen, deren Antwort absichtlich nicht in den Unterlagen steht. Prüfen Sie, ob der Bot seine Grenze einhält. Wiederholen Sie diese Tests nach Änderungen an Inhalten oder Einstellungen.
3. Prüfen Sie vor jeder Paketinstallation den Namen in der offiziellen Dokumentation des betreffenden Projekts und dessen Verweise auf das Paketverzeichnis. Wenn die Herkunft unklar bleibt, installieren Sie das Paket nicht.
4. Führen Sie KI-Skripte zunächst in einer getrennten Testumgebung mit Kopien aus. Lassen Sie Code, der Dateien verändert, löscht oder auf betriebliche Systeme zugreift, fachkundig prüfen. Ohne Verständnis der Wirkung sollten Sie ihn nicht im laufenden Betrieb starten.

Wann Sie lieber Hilfe holen

Wir helfen beim Einrichten, wenn KI regelmäßig Kundenanfragen beantworten, Angebote vorbereiten oder als Chatbot auf Ihrer Website arbeiten soll. Wir binden Ihre eigenen Unterlagen als Arbeitsgrundlage ein, bauen Prüfschritte in den Ablauf ein und begrenzen, wofür ein Bot zuständig ist. Technische Einrichtung und menschliche Freigabe gehören für uns zusammen. Wie so etwas in einem eigenen Ablauf aussieht, zeigt unsere Seite Automatisierung und KI.

Holen Sie sich auch dann Unterstützung, wenn im Team niemand Zeit für die Prüfung hat. Diese Lücke schließt keine noch so strenge Anweisung an die KI. Sind schon falsche Angaben an Kunden gegangen, stoppen Sie die weitere Verwendung und sichern Sie die betroffenen Texte. Bei der technischen Eingrenzung helfen wir. Die rechtliche Bewertung, etwa zu Gewährleistung oder verbindlichen Zusagen, gehört zu einer Anwältin oder einem Anwalt.

Ein KI-Skript, das unerwartet Dateien verändert, stoppen Sie sofort. Fehlen danach Dateien, versuchen Sie es nicht mit neu erzeugtem Code. Dann klären wir zuerst, ob eine Sicherung oder eine Datenrettung weiterhilft. Ob das gelingt, lässt sich vorher nicht sagen.

Häufige Fragen

Warum erfindet ChatGPT Quellen, die es gar nicht gibt?

ChatGPT erzeugt Text aus erlernten Mustern und prüft beim normalen Antworten nicht automatisch, ob jede Quelle existiert. Dadurch können glaubhaft aussehende Titel, Autoren und Links entstehen, für die es keine entsprechende Veröffentlichung gibt.

Kann ich ChatGPT als Quelle angeben?

Für Tatsachenbehauptungen sollten Sie die geprüfte Originalquelle angeben, nicht ChatGPT als Beleg verwenden. Wenn Sie dokumentieren möchten, dass ein Text mit KI-Unterstützung entstand, ist das eine Angabe zum Arbeitsprozess und kein Nachweis für die Richtigkeit.

Hilft es, ChatGPT nach seinen Quellen zu fragen?

Es kann helfen, mögliche Ausgangspunkte für eine Recherche zu erhalten. Die nachgereichten Quellen können aber ebenfalls falsch oder erfunden sein. Prüfen Sie ihre Existenz und die passende Textstelle unabhängig von der KI.

Ist Copilot zuverlässiger als ChatGPT?

Aus den Herstellerangaben lässt sich keine pauschale Antwort ableiten. Copilot kann Antworten auf Ihre Firmendokumente stützen und nennt dann wo möglich die Quellen. Laut Microsoft kann Copilot beim Zusammenfassen trotzdem Dinge ergänzen, die dort nicht stehen. Prüfen müssen Sie bei beiden.

Reicht ein Hinweis „KI kann Fehler machen“ auf unserer Website?

Ein solcher Hinweis ersetzt keine Prüfung und ist keine rechtliche Absicherung. Begrenzen und testen Sie den Chatbot und geben Sie heikle Fragen an Menschen weiter. Fragen zur Haftung klärt eine Anwältin oder ein Anwalt.

Warum kennt ChatGPT aktuelle Produkte oder das heutige Datum nicht?

Das Trainingswissen reicht nur bis zu einem bestimmten Zeitpunkt. Neuere Produkte oder Ereignisse kennt ChatGPT nur, wenn die Websuche läuft. Prüfen Sie zeitabhängige Antworten deshalb an aktuellen Originalquellen.

Quellen

• Does ChatGPT tell the truth? (englisch) (OpenAI Help Center)
• Texte und Co. mit Künstlicher Intelligenz erstellen, generative KI und ihre Risiken (BSI)
• Generative KI-Modelle, Chancen und Risiken für Industrie und Behörden (Version 2.0, Januar 2025) (BSI)
• Application card Microsoft Copilot for organizations (englisch) (Microsoft Learn)
• Orientierungshilfe Künstliche Intelligenz und Datenschutz (Version 1.0, 6. Mai 2024) (Datenschutzkonferenz)

Ihr nächster Schritt

Gehen Sie die Fragen der Reihe nach durch.

1. Geht ein KI-Text an Kunden oder auf die Website? Dann markieren Sie alle Fakten, prüfen jede an der Originalquelle und lassen eine zweite Person freigeben.
2. Nennt die KI Quellen oder Links? Öffnen Sie jede Quelle selbst und suchen Sie die konkrete Textstelle. Was Sie nicht finden, fliegt raus.
3. Nutzt Ihr Team KI ohne feste Regel? Schreiben Sie auf, wer prüft, welche Unterlagen erlaubt sind und was nie ungeprüft rausgeht. Für den Datenschutz hilft unser Ratgeber Kundendaten in ChatGPT oder Copilot.
4. Soll KI fest in Abläufe oder einen Chatbot? Dann planen Sie Tests und Übergaben an Menschen von Anfang an mit ein. Dabei unterstützen wir Sie gern.