Wir haben alle eine Zunahme von sensationalisierten, polarisierenden und falschen Inhalten online in Bezug auf den Konflikt zwischen Israel und Hamas beobachtet. Als Reaktion darauf haben Journalisten, Regulierungsbehörden, Politiker und zivilgesellschaftliche Gruppen die sozialen Medienunternehmen aufgefordert, ihre Inhaltsmoderation zu verstärken, was das Auffinden und Bearbeiten einzelner Inhalte beinhaltet, die gegen die Richtlinien der Plattformen verstoßen. Über 4 Jahre hinweg habe ich bei Meta an der Verbesserung der Auswirkungen der Plattform auf zahlreiche Konflikte gearbeitet. Seit meinem Ausscheiden habe ich mich auf Plattformgestaltung konzentriert, zum Teil weil die Grenzen der Inhaltsmoderation selbst in kritischen Situationen noch deutlicher werden. Natürlich gibt es Inhalte, die moderiert werden sollten, und die Plattformen könnten in solchen Fällen besser werden, aber die Moderation wird niemals mehr als einen kleinen Bruchteil der schädlichen Inhalte betreffen und sich daher nicht wesentlich auf die Online-Diskussion auswirken.
Hier ist ein Beispiel für Inhalte aus dem aktuellen Konflikt, das in der New York Times als falsch hervorgehoben wurde.
Als Reaktion auf Beiträge wie diesen gaben Kirchenvertreter eine Erklärung ab, in der stand: “Die Kirche des Heiligen Porphyrius in Gaza ist unversehrt”, aber das war nur möglich, weil die Behauptung konkret und rückwirkend war (die Kirche wurde tatsächlich einige Tage später durch einen Luftangriff getroffen). Häufiger im Online-Diskurs sind allgemeinere Aussagen wie Beiträge, die den weit verbreiteten und undifferenzierten Einsatz von Phosphorbomben oder sexuellen Übergriffen durch die andere Seite andeuten. Solche allgemeinen ängstigende Aussagen sind aufgrund folgender Punkte nur schwer effektiv zu moderieren:
- Man kann eine allgemeine Aussage nicht beweisen. Wie soll man beweisen, dass etwas niemals vorgekommen ist, wenn keine konkrete Behauptung über einen bestimmten Fall aufgestellt wird? Das Widerlegen ist möglich, wenn ein Beitrag einen konkreten Fall oder wiederverwendete Bilder nennt, aber viele werden das nicht tun.
- Man möchte wichtige Inhalte nicht zensieren. Solche Aussagen beziehen sich potentiell auf Menschenrechtsverletzungen und sind wichtig zur Dokumentation. Menschen können sie auch nutzen, um sich selbst zu schützen – wenn sie ihnen vertrauen können. Fälschlicherweise solche Inhalte zu löschen, könnte einen hohen Preis haben.
- Menschen sind motiviert, solche Inhalte zu verbreiten. Im Kontext eines Konflikts werden alle Seiten natürlicherweise dazu neigen, inflammatorische Informationen über die andere Seite zu verbreiten. Solche Inhalte werden häufig gepostet und von Menschen schnell geteilt, die ihre Seite unterstützen wollen, so dass keine Zeit bleibt, Fakten zu überprüfen, bevor sie weit verbreitet wurden.
- Menschen haben Durst nach den neuesten Informationen. Dieser Wunsch nach dem Neuesten bedeutet, dass Menschen, die keine Informationen oder Meinung zum Konflikt haben, trotzdem motiviert sind, mit dem neuesten und eindrucksvollsten Informationsstand Aufmerksamkeit, Follower und Werbeeinnahmen zu erzielen. Sie haben wenig Anreiz, sich um die Wahrheit oder Falschheit von Informationen zu kümmern. Wenn etwas gelöscht wird, können sie einfach weitermachen, vielleicht mit einem neuen Konto.
Um es klarzustellen, ich sage nicht, dass Inhaltsmoderation keine gute Arbeit leistet. Aber die Forderung an Unternehmen, sich mehr anzustrengen, wie es die EU bei Meta und Twitter getan hat, wird nur einen sehr begrenzten Effekt haben, da der Großteil der schädlichen Inhalte gegen keine Richtlinien verstößt und häufig mit authentischer politischer Meinungsäußerung einhergeht. Wie in einem internen Facebook-Dokument zitiert: “Bedeutsame Anteile schädlicher Inhalte wie persönliche Geschichten, leitende Fragen oder Herabwürdigungen sind oft völlig nicht durchsetzbar. Mit zunehmender Reife und Bekanntheit der Arbeit von Facebook Integrity verschieben problematische Akteure ihre Aktivitäten zunehmend in diese Lücken.” Und in diesen Lücken wird von Plattformen anerkannt, dass Inhalte häufig mit mehr Verbreitung belohnt werden, wenn sie die Grenze zur Desinformation und zum Hass anschleichen.
Tatsächlich führt der Fokus auf Inhaltsmoderation bei Plattformen oft zu neuen Problemen. Aus früheren Erfahrungen wissen wir, dass verstärkte Durchsetzung im Israel-Palästina-Konflikt zu glaubwürdigen Berichten über Zensur und Voreingenommenheit geführt hat. Wenn sie sorgfältig auf klare Fälle schädlicher Inhalte angewendet wird (z.B. ein falsch dargestelltes Bild), ist die Moderation ein wichtiges Instrument. Aber die meisten Fälle schädlicher Inhalte sind nicht eindeutig, und wenn die Moderation in einem Notfall ausgeweitet wird, um einen breiteren Bereich schädlicher Inhalte anzusprechen, bei denen komplexere und subjektivere Urteile erforderlich sind, werden Fehler wahrscheinlich sein.
Deshalb setzen Unternehmen oft auf “Break-the-Glass”-Maßnahmen, die inhaltsneutral sind, um Krisen zu begegnen. Wir können aus diesen Bemühungen lernen, um Alternativen zur Konzentration auf Inhaltsmoderation vorzuschlagen, die nicht von starren Regeln über gute oder schlechte Inhalte abhängen. Zu den Schritten, die Desinformation skalierbarer angehen können, gehören die Begrenzung der Rate für alle Konten, um es kleinen Gruppen zu erschweren, das System zu manipulieren, die Entfernung von Anreizen für Engagement, so dass Menschen keine größere Verbreitung für sensationalistischere Inhalte erhalten, der Ausbau des Datenschutzes für vertrauenswürdige Quellen, die Ereignisse online diskutieren, und die Priorisierung von Konten mit positiven, vertrauenswürdigen Historien gegenüber völlig neuen Konten, die soeben erstellt wurden.