Disclaimer: Menschlich geprüfter und überarbeiteter, KI-generierter Inhalt; Prompt im Anhang; bitte ganzen Beitrag lesen

Wenn Maschinen Vorurteile lernen – Wie KI Rassismus verstärkt und Demokratie gefährden kann

Künstliche Intelligenz gilt oft als objektiv. Computer, so die verbreitete Vorstellung, entscheiden neutral und ohne Gefühle. Doch genau das stimmt so nicht. KI-Systeme übernehmen häufig Vorurteile aus der Gesellschaft – und können sie sogar verstärken. Besonders problematisch wird das, wenn diskriminierende Entscheidungen automatisiert werden oder KI demokratische Prozesse beeinflusst.

Der Grund dafür liegt vor allem in den Daten, mit denen KI trainiert wird. Sprachmodelle wie ChatGPT lernen aus riesigen Mengen an Texten aus dem Internet, aus Büchern, sozialen Medien oder Nachrichtenartikeln. Diese Daten spiegeln jedoch nicht nur Wissen wider, sondern auch gesellschaftliche Ungleichheiten, Vorurteile und Diskriminierung. Wenn rassistische oder sexistische Muster häufig vorkommen, erkennt die KI sie als statistische Wahrscheinlichkeiten – und reproduziert sie später in ihren Antworten.

KI „versteht“ dabei nicht, was richtig oder falsch ist. Sie berechnet lediglich, welche Antwort mit hoher Wahrscheinlichkeit passend erscheint. Dadurch kann es passieren, dass stereotype Verknüpfungen entstehen: etwa bestimmte Herkunft mit Kriminalität, Männer mit Führungspositionen oder weiße Menschen mit Kompetenz zu verbinden. Was mathematisch wie ein Wahrscheinlichkeitsmodell aussieht, hat reale gesellschaftliche Folgen.

Mehrere Studien zeigen inzwischen deutlich, dass KI-Systeme diskriminierende Muster übernehmen. Amin et al. (2024) konnten beispielsweise nachweisen, dass selbst bei der Nutzung von ChatGPT rassistische Unterschiede bestehen bleiben. Auch Desai et al. (2024) zeigten, dass ChatGPT geschlechtsspezifische Ungleichheiten bei akademischen Beförderungen reproduziert. KI übernimmt also bestehende Machtverhältnisse nicht zufällig, sondern weil sie auf Daten aus einer ungleichen Gesellschaft trainiert wird.

Besonders deutlich wurde das auch in einer deutschen Studie von Anna Kruspe und Mila Stillmann. Die Forscherinnen untersuchten, wie Sprachmodelle Menschen aus ostdeutschen Bundesländern bewerten. Dabei zeigte sich, dass ChatGPT Ostdeutsche häufiger mit negativen Eigenschaften verband – etwa mit geringerer Attraktivität, schlechterer Arbeitsmoral oder weniger Sympathie (Kruspe & Stillmann, 2024). Die KI hatte also gesellschaftliche Vorurteile über Ostdeutschland übernommen. Anmerkung: die KI schrieb Ostdeutschen (und dem Saarland) nicht nur schlechte Eigenschaften zu, sondern generell einfach weniger, das heißt zum Beispiel auch weniger Faulheit, bei gleichzeitig weniger Arbeitsmoral. Diese Verzerrung kommt im Speziellen zustande, weil die KI gelernt hat, dass Werte in Ostdeutschland (und dem Saarland) einfach niedriger sind, so zum Beispiel das Einkommen und das Vermögen, was tatsächlich niedriger ist, „warum sollte also nicht auch ihre Intelligenz oder Attraktivität geringer sein?“ (Vinz Rauchhaus, Katapult Magazin Nr. 38, 2025)

Das Problem betrifft nicht nur einzelne beleidigende Antworten. KI wird inzwischen in vielen Bereichen eingesetzt: bei Bewerbungen, Kreditvergaben, Polizeiarbeit oder medizinischen Diagnosen. Wenn diskriminierende Muster in solchen Systemen enthalten sind, können Benachteiligungen automatisiert und schwerer erkennbar werden. Menschen vertrauen technischen Entscheidungen oft mehr als menschlichen – selbst wenn die Systeme fehlerhaft sind.

Neben Diskriminierung birgt KI auch Risiken für demokratische Prozesse. Besonders soziale Netzwerke zeigen, wie stark Algorithmen beeinflussen können, welche Informationen Menschen sehen. KI-Systeme priorisieren häufig Inhalte, die Aufmerksamkeit erzeugen – also emotionale, polarisierende oder extreme Beiträge. Dadurch verbreiten sich Desinformation, Hassrede und Verschwörungserzählungen schneller.

Hinzu kommt die Gefahr sogenannter Deepfakes: täuschend echte Bilder, Videos oder Tonaufnahmen, die mit KI erstellt werden. Politikerinnen und Politiker können dadurch Aussagen zugeschrieben werden, die sie nie gemacht haben. Gerade vor Wahlen kann das Vertrauen in Medien und demokratische Institutionen erschüttert werden.

Ein weiteres Problem ist die Konzentration von Macht. Die Entwicklung leistungsfähiger KI liegt vor allem in den Händen großer Technologiekonzerne. Diese Unternehmen entscheiden oft selbst darüber, welche Daten genutzt werden, wie Algorithmen funktionieren und welche Inhalte sichtbar werden. Demokratische Kontrolle fehlt dabei häufig.

KI ist also nicht einfach nur eine technische Innovation. Sie spiegelt gesellschaftliche Verhältnisse wider – inklusive Rassismus, Sexismus und sozialer Ungleichheit. Deshalb reicht es nicht, KI nur effizienter zu machen. Entscheidend ist die Frage, wer sie entwickelt, mit welchen Daten sie trainiert wird und welche Regeln für ihren Einsatz gelten.

Damit KI demokratische Gesellschaften unterstützt statt gefährdet, braucht es Transparenz, klare gesetzliche Vorgaben und vielfältige Perspektiven in der Entwicklung solcher Systeme. Technologie ist niemals neutral. Sie wird von Menschen gemacht – und trägt deshalb auch deren Vorurteile weiter.

Perplexity im Interview:

I: „Ist KI rassistisch?”

Perplexity:

„Ja — KI kann rassistische Ergebnisse erzeugen, auch wenn sie nicht „von sich aus“ bewusst rassistisch ist. Das passiert vor allem, wenn Trainingsdaten Vorurteile enthalten oder das System so gebaut ist, dass es bestimmte Gruppen häufiger benachteiligt.“

I: „Welche Verantwortung tragen Entwicklerinnen und Entwickler?“

Perplexity:

„Entwicklerinnen und Entwickler müssen dafür sorgen, dass Daten, Modelle und Ergebnisse auf Vorurteile geprüft und fair gestaltet werden, damit KI nicht diskriminiert. Dazu gehören Transparenz, Tests und das bewusste Einbauen von Diversität und Schutzmechanismen.“

I: „Wie sollte man als Nutzerin oder Nutzer mit dieser Problematik umgehen?“

Perplexity:

„Als Nutzerin oder Nutzer sollte man KI-Ergebnisse kritisch prüfen, besonders bei Themen wie Herkunft, Hautfarbe oder Sprache, und problematische Ausgaben nicht einfach übernehmen. Bei Verzerrungen hilft es, nachzufragen, andere Quellen zu vergleichen und das System zu melden oder zu meiden.“

I: „Was ist dein Fazit zum Thema ‚KI und Gefährdung der Demokratie?‘ “

Perplexity:

„Mein Fazit: KI kann die Demokratie gefährden, wenn sie Desinformation, Manipulation und Polarisierung verstärkt oder Macht bei wenigen Akteuren bündelt. Gleichzeitig kann sie demokratische Prozesse auch unterstützen, wenn sie transparent, reguliert und verantwortungsvoll eingesetzt wird.“

Anmerkung: Die KI wurde dazu gepromptet, kurz in 1–2 Sätzen zu antworten

Persönlicher Kommentar (KI-frei):

So, jetzt sind wir schon so weit, dass selbst Artikel auf dieser Website von KI generiert werden und dabei auch noch KI-kritische Texte, welch paradoxe Situation…

Das Thema KI ist allerdings allgegenwärtig und sogar in meinem Masterstudiengang Psychologie habe ich bereits ein Seminar dazu belegt. Außerdem bekomme ich viel von der Forschung mit, die der Lehrstuhl für Arbeits- und Organisationspsychologie der Universität des Saarlandes betreibt, da ich dort als Hiwi arbeite. Diese Forschung halte ich für sehr wertvoll und äußerst interessant, denn Fakt ist: KI ist Teil unseres Lebens, Teil unserer Realität, und das können wir nicht ändern. Das mag erschreckend sein, betrachtet man so manche Fakten zur KI. Beispielsweise liegt der Anteil falscher Antworten zu Nachrichtenthemen gängiger KI-Modelle bei knapp 40–60 % (Katapult-Magazin N°40). Und obwohl ich mich auf eine der Ausgaben des Katapult-Magazins von 2026 beziehe, scheint es schon wieder unendlich viele Entwicklungen in diesem Feld gegeben zu haben, teils eine beunruhigender als die andere. Siehe neueste Meldungen rund um „Anthropic“ und KI-basierte Waffensysteme oder KI-provozierte Suizide, etc. KI, bzw. der Einsatz von KI, denn noch stecken ja auch Menschen dahinter in Entwicklung und Anwendung, ist also durchaus gefährlich. KI kann rassistisch sein und teils rechts, KI gefährdet grundlegende demokratische Werte und Prozesse, je nach Vorhersage auch Arbeitsplätze und sogar Menschenleben. KI ist nicht besonders umweltfreundlich und wir sind noch lange nicht am Ende angekommen, und verstehen jetzt schon nicht mehr, was wir da eigentlich erschaffen.

Trotzdem habe ich einen Artikel von KI schreiben lassen. Warum? Sollten wir nicht alle auf die Barrikaden gehen? Uns droht eine Gefahr von unbekanntem Ausmaß, wir wissen nicht genau, wie es wird, aber wir wissen, es kann sehr, sehr übel werden, und wir tun trotzdem kaum was (ein wenig wie beim Klimawandel). Aber was auch? Was sollte man tun angesichts der Übermacht von Tech-Giganten, Milliardären (bewusst maskuline Form) und autokratischen Regierungen? Die Gesetzgebung kann schon lange nicht mehr mit der Rasanz der technologischen Entwicklungen Schritt halten. So gerne ich aufrufen würde zur Revolution – denn nichts weniger als das bräuchte es wohl – tue ich doch irgendwie das Gegenteil: Ich passe mich gewissermaßen an. Und tatsächlich, ein Studium ohne KI? Das könnte ich mir nicht mehr vorstellen. Es ist nützlich, es ist praktisch, es spart Zeit, Zeit, um diesen Artikel zu erstellen/schreiben, Zeit, um sich weiterzubilden, um aktiv zu werden, um etwas zu unternehmen. KI ist nun mal nur ein Werkzeug. Mit Sicherheit vor allem eines, das ein großes Risiko birgt, aber auch eines, dessen Potential man mal nutzen kann – kommt man ja eh nicht drumrum, KI als Teil der Lebensrealität anzuerkennen.

Deshalb ist dieser Artikel eine Art Experiment, ein Versuch, KI zu integrieren, etwas Gutes damit anzustellen, aufmerksam zu machen für die Thematik. Er deckt nicht ansatzweise die Breite oder Tiefe des Feldes ab und wäre selbst wenn womöglich in wenigen Wochen nicht mehr aktuell, aber das ist auch weder der Anspruch noch das Ziel des Beitrages. Sondern der Aufruf: Wir können ein wenig bestimmen, wie wir dieses mächtige Werkzeug KI verwenden, und wir sollten uns damit auseinandersetzen. Davon bin ich zwar nur mäßig begeistert, aber trotzdem überzeugt.

Anhang

Als Grundlage dienten unter anderem Artikel aus zwei Ausgaben des Katapult-Magazins:

• N° 38 Juli-September 2025:

ChatGPT diskriminiert Ostdeutsche (Vinz Rauchhaus) 

• N° 40 Januar-März 2026:

Editorial (Benjamin Fredrich) + Ohne Demokratie (Cornelia Schimek & Benjamin Fredrich

Buch/Magazinempfehlung: Katapult-Magazin, Qualityland & Qualityland 2.0 (Marc-Uwe Kling)

Der Prompt für die „Rohfassung“ des KI-Artikels wurde mit Copilot erstellt, von mir etwas angepasst und für ChatGPT verwendet:

Aufgabe:

Rolle & Ziel: Du bist eine Studentin, die einen kurzen, gut verständlichen Artikel für eine Website schreibt, die über Rassismus aufklärt. Der Artikel soll sich mit Rassismus in Künstlicher Intelligenz beschäftigen und der Gefährdung von Demokratie durch KI.

1. Erkläre mir in klarer, prägnanter Sprache, warum KI rassistische Verzerrungen entwickeln kann (Stichworte: Trainingsdaten, Wahrscheinlichkeiten, Bias, gesellschaftliche Strukturen) und wie KI demokratische Prozesse und Demokratie gefährdet.
2. Beziehe dich auch auf das Zusatzmaterial, das ich dir anhänge. Erwähne es nicht als „Zusatzmaterial“ sondern zitiere nach APA 7, wenn möglich, sodass Leserinnen (die die Zusatzmaterialien nicht vorliegen haben) die Studien und Quellen nachrecherchieren können.

Wichtig:

• Schreibe sachlich, aber zugänglich.
• Keine überlangen Absätze.

Schreibe einen fertigen Artikel, überwiegend als Fließtext, die kreativen Anteile, wie das Interview sollen sinnvoll übersichtlich eingebunden sein, Stil: (Leit-)Artikel, Kolumne, Essay

KI-Einstellungen:

ChatGPT 5.5: präzise, sachlich, eher analytisch; Webzugriff verfügbar, aber nicht verwendet; ungefähre Region des Nutzers verfügbar

Copilot: Standardversion/-Einstellungen

Perplexity: webbasierte Standardversion

Quellen (Katapult-Magazin):

Kruspe, Anna; Stillmann, Mila: Saxony-Anhalt is the Worst. Bias towards German Federal States in Large Language Models, in: Hotho, Andreas; Rudolph, Sebastian (Hg.): KI 2024. Advances in Artificial Intelligence, Berlin 2024, S. 160-175, hier: S. 164-165.

Amin, Kanhai S. u.a.: Even with ChatGPT, race matters, in: Clinical Imaging 109 (2024) / Desai, Pooja u.a.: ChatGPT Learns Gender Inequities in Academic Surgery Promotions, in: Journal of Surgical Education 81, Nr. 11 (2024), S. 1553-1557.

Hautz W., Marcin T., Hautz S. et al. (2025). Diagnoses supported by a computerised diagnostic decision support system versus conventional diagnoses in emergency patients (DDX-BRO): a multicentre, multiple-period, double-blind, cluster-randomised, crossover superiority trial. The Lancet Digital Health. 7. e136-e144. 10.1016/S2589-7500(24)00250-4.

EBU & BBC (2025). News Integrity in AI Assistants.

Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C.D., & Ho, D.E. (2024). Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools. ArXiv, abs/2405.20362.