Warum Social Media eigentlich wie eine Stadt verwaltet werden sollte
Hassrede, Cybermobbing – und trotzdem eigentlich viel Gutes: Wenn wir Facebook, Twitter & Co. retten wollen, braucht es neue Regeln aus der Offline-Welt.
Wer sich in den sozialen Medien tummelt, fühlt sich manchmal so, als würde er oder sie in einer neuen Art von Stadt leben – in der größten Stadt der Welt. Millionen von Menschen können hier Dinge tun, von denen ihre Eltern nicht mal geträumt hätten. Sie können virtuell miteinander leben, miteinander spielen, miteinander lernen. Auf den ersten Blick sieht diese unendliche Metropole aus wie ein Wunderwerk.
Ein Wunderwerk, das oft hässlich ist
Doch schaut man näher hin, zeigen sich in der Stadt der sozialen Medien auch extreme Hässlichkeiten. Ungeklärte Abwässer scheinen durch die Straßen zu fließen. Von Zeit zu Zeit gibt es Aufstände und die Bürger denunzieren sich gegenseitig und ihre Beziehungen untereinander scheinen manchmal unwiderruflich zerrüttet.
Um im Bild zu bleiben: Meine Aufgabe war es, diese Stadt zu schützen. Ich war Mitglied des Facebook-Teams für Civic Integrity – bürgerliche Integrität auf der Plattform. Meine Kollegen und ich untersuchten und behoben Probleme – von der Bekämpfung der Verbreitung von Fake News über Hassrede, Belästigung bis hin zu Aufrufen zu nackter Gewalt.
Mit der Zeit wurden wir zu Experten, wir wandten viele, viele Stunden Manpower und eine riesige Datenbasis an. Wie in jeder anderen Community von Experten hatten wir alle zumindest leicht unterschiedliche Sichtweisen auf das Problem. Ich für meinen Teil begann schließlich, wie ein Stadtplaner zu denken. Und die Stadt muss von Anfang an richtig geplant werden. Sie braucht Stadtteile, die so aufgebaut sind, dass Bewohner, Gesellschaft und Demokratie gedeihen können.
Getrimmt auf Integrität
Ein solcher Ansatz scheint sich in der gesamten Social-Media-Landschaft mehr und mehr durchzusetzen: das sogenannte Integrity Design. Für die Integrität zuständige Mitarbeiter wie ich versuchen, ein System gegen Angreifer zu verteidigen, die Fehler oder Schlupflöcher in seinen Regeln oder seinem Design gefunden und gelernt haben, diese zu missbrauchen. Unsere Aufgabe war es, systematisch die Verletzungen einzudämmen, die sich die Nutzer gegenseitig beibringen.
Wir mischen uns dabei (oft) nicht direkt ein und versuchen nicht, Entscheidungen über bestimmte Beiträge oder Personen zu treffen. Stattdessen denken wir über Anreize, Informationsökosysteme und soziale Systeme im Allgemeinen nach. Dabei zeigt sich: Die Social-Media-Firmen müssen der Gestaltung hin zur Integrität Vorrang vor der Moderation von Inhalten einräumen. Wenn sie das nicht tun, sollte sich die Öffentlichkeit dagegen wehren.
Lassen Sie uns aber zunächst einen Schritt zurückgehen: Wenn soziale Medien eine neuartige Stadt sind, warum ist sie dann so schwer zu regieren? Warum schließen sich in realen Städten nicht Millionen von Bürgern plötzlich irgendwelchen Sekten an? Warum funktionieren dort Konferenzen oder Clubs ohne viel Belästigung und Propaganda? Warum wird dort nicht offen für Neonazis rekrutiert? Mit anderen Worten: Was hat die physische Stadt, das die virtuelle nicht hat?
Irgendwo ist Schluss in der echten Welt
Die Antwort ist einfach: echte, physische Grenzen. Als Gesellschaft haben wir eine Kombination aus Regeln, Normen und Gestaltungsmustern entwickelt, die mehr oder weniger funktionieren, um bestimmte Arten schrecklichen Verhaltens einzudämmen. Diese Regeln setzen aber voraus, dass wir keine physischen Superkräfte entwickelt haben. Online haben die Menschen diese jedoch tatsächlich. Sie können sich klonen (Bot-Armeen), teleportieren (die Fähigkeit, an vielen Orten gleichzeitig zu posten), sich unerkennbar verkleiden (sogenannte Sockenpuppen) – und vieles mehr. In einer physischen Stadt ist ein einzelner Propagandist durch seine stimmliche Ausdauer (oder seine Geldbörse) begrenzt.
In unserer Online-Stadt kann ein und dieselbe Person jede Stunde kostenlos in 400 Gruppen (mit Zehntausenden von Menschen) posten. In einer physischen Stadt erfordert die Annahme einer neuen Identität viel Schminke oder eine Verkleidung, gefälschte Dokumente und viel harte Arbeit. In der Stadt der sozialen Medien genügt eine Anmeldung von wenigen Minuten, um ein neues Konto zu erstellen. Die physische Stadt wird von echten Menschen bevölkert. In "Social-City" könnten Sie jederzeit mit jemandem sprechen, der insgeheim ein Roboter ist. In einer realen Stadt braucht eine Reise Zeit. In der Stadt der sozialen Medien ist es für einen mazedonischen Teenager trivial, die Identität von Tausenden von Menschen in einer anderen Hemisphäre anzunehmen, um damit Werbegelder einzusammeln.
In einem System, in dem es die größten Anreize dafür gibt, ein möglichst schlimmes Verhalten an den Tag zu legen, ist nachträgliche Bestrafung zum Scheitern verurteilt. Zum Glück haben wir mittlerweile andere Ansätze. Schließlich löst auch die physische Stadt die Probleme nicht, indem sie jeden überwacht und verhaftet. Öffentliche Gesundheitskampagnen und örtliche Sozialarbeiter können Menschen helfen, bevor es zu spät ist. Es gibt öffentliche Räume wie Kulturzentren oder Bibliotheken beispielsweise, um ein Gefühl der Gemeinschaft zu erzeugen.
Die Arbeit am Integrity Design
Wenn wir Integrity-Designer die Stadtplaner sind, dann sind die Moderatoren auf den Plattformen Polizisten, Richter und Geschworene in einem. Diese Menschen, bei denen es sich in der Regel um unterbezahlte und oft genug nach kurzer Zeit traumatisierte Vertragsarbeiter handelt, haben die unmögliche Aufgabe, Millionen potenziell problematischer Beiträge zu prüfen und in Sekundenschnelle und ohne kritischen Kontext zu entscheiden, ob sie gegen die sich ständig ändernden Gesetze des jeweiligen Netzwerks verstoßen, damit die richtigen Sanktionen verhängt werden können.
Sie sind gezwungen, mit minimalen Beweisen und ohne Gerichtsverfahren über Fälle zu entscheiden, bei denen viel auf dem Spiel steht. Wie auch immer sie entscheiden, die Menschen bleiben wütend – und die Online-Stadt scheint nie sicherer zu werden. Die Moderation von Inhalten kann die systemischen Probleme in den sozialen Medien ebenso wenig beheben wie die Verkehrspolizei Straßen ohne Fahrbahnmarkierungen, Geschwindigkeitsbegrenzungen, Schilder oder Ampeln sichern kann. Wir werden dieses Problem niemals durch "Verhaftung" (also Zensur) lösen können – und wir sollten es auch nicht versuchen.
Die Arbeit von Integritätsteams bietet eine andere Lösung. Wir mögen zwar erst seit jüngster Zeit im Rampenlicht stehen, aber wir haben eine lange Geschichte in der Branche. Wir haben viel von den Ansätzen zur Bekämpfung von Spam bei E-Mails oder in Suchmaschinen gelernt – und wir leihen uns viele Konzepte aus der IT-Sicherheit.
Mechanismen der Offline-Welt integrieren
Eine der besten Integritätsstrategien, die wir kennen, besteht darin, eine Form von Bremsmechanismen der realen Welt – quasi Friktion – wieder zurück in die Online-Interaktionen zu bringen. Ich werde mich hier auf zwei Beispiele konzentrieren, um dies zu erläutern, aber es gibt noch viele weitere solcher Mechanismen, wie z. B. die Begrenzung der Gruppengrößen, ein Karma- oder Reputationssystem (wie Googles Suchmaschinenalgorithmus PageRank), Indikatoren für die "Nachbarschaft, aus der du kommst", Vorgaben für gute Kommunikation und Menüs, die das Teilen erschweren oder die Nutzer zumindest nachdenken lassen.
Ich greife hier zwei Ideen heraus: "Fahrprüfungen" und "Geschwindigkeitsbegrenzungen". Zunächst müssen wir es den Leuten schwerer machen, falsche Konten zu haben. Stellen Sie sich vor, dass jeder, der wegen eines Verbrechens verhaftet wird, aus dem Gefängnis kommt und sich als eine völlig neue Person ausgeben kann. Stellen Sie sich weiter vor, es wäre unmöglich zu erkennen, ob Sie mit mehreren Personen sprechen oder mit einer einzigen Person, die sehr schnell ihre Verkleidung wechselt. Dieser Mangel an Vertrauen ist nicht gut.
Gleichzeitig dürfen wir aber nicht vergessen, dass pseudonyme Konten nicht immer schlecht sind. Vielleicht ist die Person hinter dem Pseudonym ein schwuler Teenager, der sich vor seiner Familie nicht outet – oder ein Menschenrechtsaktivist, der unter einem repressiven Regime lebt. Wir dürfen nicht alle Fake-Konten verbieten. Aber wir können die Kosten dafür erhöhen.
Neue Konten nach dem Vorbild der Fahrprüfung
Eine Lösung könnte darin bestehen, dass wir uns das Beispiel Auto vornehmen. In den meisten Ländern darf man erst hinters Lenkrad, wenn man unter Aufsicht gelernt hat, wie man das Auto bedient und eine Fahrprüfung bestanden hat. In ähnlicher Weise sollten neue Konten nicht sofort Zugang zu allen Funktionen einer App erhalten. Um Funktionen freizuschalten, die am meisten missbraucht werden können (um zu spammen, zu belästigen usw.), sollte ein Neunutzer vielleicht einige Kosten in Form von Zeit und Mühe zahlen müssen. Vielleicht braucht es die Zeit, um zu "reifen". Vielleicht muss er genug Goodwill in einem Karmasystem angesammelt haben. Vielleicht muss er ein paar Dinge tun, die schwer zu automatisieren sind. Erst wenn sich das Konto durch diese "Fahrprüfung" qualifiziert hat, wird ihm der Zugang zum Rest der Anwendung gewährt.
Spammer könnten diese Hürden natürlich überspringen. Tatsächlich erwarten wir das auch von ihnen. Schließlich wollen wir es den legitimen Nutzern gefälschter Konten nicht zu schwer machen. Indem wir jedoch einen gewissen Aufwand für die Erstellung einer neuen "Tarnung" verlangen, bringen wir wieder etwas Echtwelt in die Gleichung ein. Drei gefälschte Konten könnten funktionieren. Aber bei Hunderten oder Tausenden wäre es zu schwierig, das durchzuziehen.
Doch das reicht nicht. Denn online gehen die schlimmsten Schäden fast immer von den Power-Usern aus. Das ist ziemlich intuitiv zu verstehen: Soziale Anwendungen ermutigen ihre Mitglieder im Allgemeinen dazu, so viel wie möglich zu posten. Power-User können dies viel häufiger, an verschiedene Zielgruppen und gleichzeitig tun, als dies im wirklichen Leben möglich ist. In herkömmlichen Städten sind die Kosten für eine Person, die Schaden anrichtet, durch die physische Notwendigkeit begrenzt, sich an einem Ort aufzuhalten oder zu einem bestimmten Publikum zu sprechen. Dies ist online nicht der Fall. Hier erreicht man alle gleichzeitig.
Raser finden und ausbremsen
Einige dieser Aktionen sind durchaus sinnvoll, wenn sie in Maßen durchgeführt werden, aber sie werden verdächtig, wenn sie in großem Umfang durchgeführt werden. Stellen Sie sich vor, Sie erstellen zwei Dutzend Gruppen auf einmal, kommentieren tausend Videos pro Stunde oder posten einen ganzen Tag lang jede Minute. Wenn wir sehen, dass jemand eine Funktion zu häufig nutzt, denken wir, dass er wahrscheinlich "zu schnell fährt". Und es gibt eine Lösung: die Geschwindigkeitsbegrenzung. Wir sperren den Raser eine Zeit lang für diese oder jene Funktion. Hierbei gibt es kein Werturteil – es ist keine Bestrafung, sondern eine Sicherheitsmethode. Solche Maßnahmen wären ein einfacher Weg, die Dinge für alle besser zu machen, während sie nur einen kleinen Teil der Menschen belästigen würden.
Bremsen gegen Spam
Die Ideen beruhen allesamt auf demselben Prinzip: Sie bringen Friktion zurück ins System. Bei Fahrprüfungen geht es um die Erstellung eines Kontos, bei Geschwindigkeitsbegrenzungen um das Posten oder Kommentieren. Die Friktion muss aber nicht unbedingt in Geld bestehen. Sie kann auch darin bestehen, dass eine gewisse Verzögerung eingefügt wird, bevor die Aktion abgeschlossen ist, dass die Rangfolge der Inhalte des Nutzers in einem Feed verschlechtert wird oder dass das Erscheinungsbild verändert wird, um sie weniger attraktiv zu machen. Kurz gesagt: Ab einem bestimmten Schwellenwert sollte das Anlegen des xten Beitrags/Kommentars/Retweets mehr kosten als das vorherige.
Daraus lässt sich sogar eine schöne Definition von Spam ableiten. Spam ist das, was passiert, wenn Menschen betrügen, indem sie den Mangel an physischen Grenzen im Internet ausnutzen. Die Lösung scheint einfach zu sein – man baut wieder Bremsen ein. Schließlich wissen wir als Branche, wie man Spam bekämpft.
Integritätsdesign kann einige heikle Probleme lösen, wie den ständigen Krieg um "Zensur". Es kann den Druck auf ein überlastetes Content-Moderations-System verringern. Es kann ein System schaffen, das sowohl gegen absichtliche "Angriffe" von Geheimdiensten als auch gegen "organische" Probleme von Menschen gewappnet ist, die herausfinden, wie man die Regeln missbraucht. Aber Integritätsdesign allein kann Unternehmen nicht davon abhalten, schlechte Entscheidungen zu treffen.
Wege zum Aufbau besserer Online-Städte
Die Stakeholder-Falle kann die Arbeit eines jeden Integritätsteams zunichte machen. Ein großer Teil der Spam-Bekämpfung besteht darin, Schlupflöcher im System zu finden und sie dann zu schließen. Es ist unmöglich, gegen diese Schlupflöcher, die Spam ermöglichen, vorzugehen, ohne denjenigen zu schaden, die gerade davon profitieren. Wenn man das tut, werden sie wütend. Vielleicht beschweren sie sich sogar lautstark. Denken Sie daran: Ihre derzeitige Reichweite kommt von Spam. Sie "besitzen" sie nicht. Es ist Diebstahl, kein Anspruch. Wenn Sie sich von ihnen einschüchtern lassen, werden Sie scheitern. Soziale Unternehmen scheitern oft an diesem Test.
Zu lange war Integritätsarbeit ein öffentlicher Dienst, der in privaten Einrichtungen gefangen war. Wir haben Wege zum Aufbau besserer Online-Städte aufgezeigt und dafür gekämpft, dass sie umgesetzt werden, aber wenn unsere Vorschläge anderen Unternehmenszielen zuwiderlaufen, erblicken sie vielleicht nicht das Licht der Welt. Wir waren auch allein: Wenn ein Team in einem Unternehmen eine wichtige neue Technik zum Schutz der Menschen entwickelt, ist es schwierig, dies den Kolleginnen und Kollegen in anderen Unternehmen mitzuteilen. Deshalb haben wir gerade das Integrity Institute ins Leben gerufen, eine erste gemeinnützige Denkfabrik, die von einer Gemeinschaft von Integritätsexperten geleitet wird. Wir werden die Theorie und Praxis der Integritätsarbeit voranbringen und dieses Wissen mit der Öffentlichkeit, den Unternehmen und untereinander teilen. Die Welt verdient es, unabhängige, ehrliche Erklärungen darüber zu hören, wie diese neuen Städte funktionieren und wie wir sie tatsächlich besser gestalten können.
Wir wissen, was die Unternehmen tun müssen. Sie müssen die Integrität des Designs in den Vordergrund stellen, mit Konzepten wie physisch inspirierten Grenzen und Strategien zur Bekämpfung von Spam. Sie müssen eine gewisse Content-Moderation beibehalten, sich aber mehr auf die Untersuchung von Angriffen konzentrieren, anstatt die Leute – bildlich gesprochen – wegen Müllabladens zu verhaften. Sie müssen stark bleiben und ihre eigenen Richtlinien tatsächlich durchsetzen. Wir wissen auch, was die Öffentlichkeit tun muss: entweder Druck auf die Unternehmen ausüben, damit sie das Richtige tun, oder ihre Mitarbeiter, Werbekunden oder Gesetzgeber davon überzeugen, sie zu zwingen. Einfach kündigen wird nicht funktionieren: Ihr Onkel wird auf gewalttätige Verschwörungstheorien hereinfallen, egal wie oft Sie sich bei YouTube einloggen oder nicht.
Glaube an das Internet
Integritätsdesign findet bereits in einigen Unternehmen statt, aber es braucht Unterstützung. Allzu oft hindern Unternehmen diese Teams daran, ihre Arbeit in vollem Umfang zu leisten, wenn diese mit anderen Prioritäten des Unternehmens kollidiert, z. B. der Steigerung des Engagements.
In den letzten Jahren hatte ich die Ehre, eine kambrische Explosion in der Theorie und Praxis der Integrität mitzuerleben (zum Teil dank der Einstellungswellen von Unternehmen wie meinem früheren Arbeitgeber). Ich habe die rigorose Arbeit, den ausgeprägten Sinn für Professionalität und das hohe Niveau der Fähigkeiten gesehen, die meine Mitarbeiter in ihre Arbeit einbringen. Sie wissen im Detail, wie man die Städte in den sozialen Medien aufbaut, nach denen wir uns alle sehnen. Applaudieren wir ihnen, lernen wir von ihnen und helfen wir ihnen bei ihrer Arbeit. Trotz allem glaube ich immer noch an das Internet. Die soziale Stadt ist zu wertvoll, um sie verkommen zu lassen.
