Einen Tag vor den Pariser Terroranschlägen veröffentlichten neun Wissenschaftler ein Digitales Manifest in der Online-Ausgabe von «Spektrum der Wissenschaften». Darin warnen sie vor dem gläsernen Bürger, der dazu dient, dass künstliche Intelligenzen steuern, was wir wissen (dürfen), wie wir denken (sollen) und wir handeln. «Wir steuern auf eine von Algorithmen gesteuerte diktatorische Gesellschaft zu, welche die Demokratie in Gefahr bringt», warnt Dirk Helbing, promovierter Physiker und Professor für Soziologie an der ETH Zürich.
Allmytraveltips publiziert hier Auszüge aus dem Manifest der neun Wissenschaftler Dirk Helbing , Bruno S. Frey , Gerd Gigerenzer , Ernst Hafen , Michael Hagner , Yvonne Hofstetter , Jeroen van den Hoven , Roberto V. Zicari und Andrej Zwitter, welche das Digitale Manifest publiziert haben und fordert alle Leser/innen dazu auf das Referendum gegen das Nachrichtendienstgesetz (Büpf) zu unterzeichnen.
Die digitale Revolution ist in vollem Gange. Wie wird sie unsere Welt verändern? Jedes Jahr verdoppelt sich die Menge an Daten, die wir produzieren. Mit anderen Worten: Allein 2015 kommen so viele Daten hinzu wie in der gesamten Menschheitsgeschichte bis 2014 zusammen. Pro Minute senden wir Hunderttausende von Google-Anfragen und Facebookposts. Sie verraten, was wir denken und fühlen.
In zehn Jahren wird es schätzungsweise 150 Milliarden vernetzte Messsensoren geben, 20-mal mehr als heute Menschen auf der Erde. Dann wird sich die Datenmenge alle zwölf Stunden verdoppeln. Viele Unternehmen versuchen jetzt, diese „Big Data“ in Big Money zu verwandeln. In der Tat macht das Gebiet der künstlichen Intelligenz atemberaubende Fortschritte.
Die Fernsteuerung des Menschen ist in vollem Gange
Algorithmen können nun Schrift, Sprache und Muster fast so gut erkennen wie Menschen und viele Aufgaben sogar besser lösen. Sie beginnen, Inhalte von Fotos und Videos zu beschreiben. Schon jetzt werden 70 Prozent aller Finanztransaktionen von Algorithmen gesteuert und digitale Zeitungsnews zum Teil automatisch erzeugt. All das hat radikale wirtschaftliche Konsequenzen: Algorithmen werden in den kommenden 10 bis 20 Jahren wohl die Hälfte der heutigen Jobs verdrängen. 40 Prozent der Top-500-Firmen werden in einem Jahrzehnt verschwunden sein.
«Auf die Automatisierung der Produktion und die Erfindung selbstfahrender Fahrzeuge folgt nun die Automatisierung der Gesellschaft». (Dirk Helbing, ETH Zürich)
Fest steht: Die Art, wie wir Wirtschaft und Gesellschaft organisieren, wird sich fundamental ändern. Wir erleben derzeit den größten historischen Umbruch seit dem Ende des Zweiten Weltkriegs: Auf die Automatisierung der Produktion und die Erfindung selbstfahrender Fahrzeuge folgt nun die Automatisierung der Gesellschaft.
Kürzlich lud Baidu, das chinesische Äquivalent von Google, das Militär dazu ein, sich am China-Brain-Projekt zu beteiligen. Dabei lässt man so genannte Deep-Learning-Algorithmen über die Suchmaschinendaten laufen, die sie dann intelligent auswerten. Darüber hinaus ist aber offenbar auch eine Gesellschaftssteuerung geplant. Jeder chinesische Bürger soll laut aktuellen Berichten ein Punktekonto („Citizen Score“) bekommen, das darüber entscheiden soll, zu welchen Konditionen er einen Kredit bekommt und ob er einen bestimmten Beruf ausüben oder nach Europa reisen darf. In diese Gesinnungsüberwachung ginge zudem das Surfverhalten des Einzelnen im Internet ein – und das der sozialen Kontakte, die man unterhält (siehe „Blick nach China“).
Darüber hinaus wird immer deutlicher, dass wir alle im Fokus institutioneller Überwachung stehen, wie etwa das 2015 bekannt gewordene „Karma Police“-Programm des britischen Geheimdienstes zur flächendeckenden Durchleuchtung von Internetnutzern demonstriert.
Programmierte Gesellschaft, programmierte Bürger
Heute wissen Algorithmen, was wir tun, was wir denken und wie wir uns fühlen – vielleicht sogar besser als unsere Freunde und unsere Familie, ja als wir selbst. Oft sind die unterbreiteten Vorschläge so passgenau, dass sich die resultierenden Entscheidungen wie unsere eigenen anfühlen, obwohl sie fremde Entscheidungen sind. Tatsächlich werden wir auf diese Weise immer mehr ferngesteuert. Je mehr man über uns weiß, desto unwahrscheinlicher werden freie Willensentscheidungen mit offenem Ausgang. Eines ist jedoch gewiss: Die Entwicklung verläuft also von der Programmierung von Computern zur Programmierung von Menschen.
Wer steuert was und mit welchem Ziel?
Was richtig und was falsch ist, stellt sich oft erst hinterher heraus. So wollte man während der Schweinegrippeepidemie 2009 jeden zur Impfung bewegen. Inzwischen ist aber bekannt, dass ein bestimmter Prozentsatz der Geimpften von einer ungewöhnlichen Krankheit, der Narkolepsie, befallen wurde. Glücklicherweise haben sich nicht mehr Menschen impfen lassen! Am Ende könnte es dafür aber mehr Hüftoperationen geben. In einem komplexen System wie der Gesellschaft führt eine Verbesserung in einem Bereich fast zwangsläufig zur Verschlechterung in einem anderen. So können sich großflächige Eingriffe leicht als schwer wiegende Fehler erweisen. Unabhängig davon würden Kriminelle, Terroristen oder Extremisten den digitalen Zauberstab früher oder später unter ihre Kontrolle bringen – vielleicht sogar ohne dass es uns auffällt. Denn: Fast alle Unternehmen und Einrichtungen wurden schon gehackt, selbst Pentagon, das Weisse Haus und der Bundestag.
«Hinzu kommt ein weiteres Problem, wenn ausreichende Transparenz und demokratische Kontrolle fehlen: die Aushöhlung des Systems von innen. Denn Suchalgorithmen und Empfehlungssysteme lassen sich beeinflussen». (Bruno Frey, Universität Basel)
Bei Wahlen wäre es daher im Prinzip möglich, sich durch Nudging Stimmen von Unentschlossenen zu sichern – eine nur schwer nachweisbare Manipulation. Wer auch immer diese Technologie kontrolliert, kann also Wahlen für sich entscheiden, sich sozusagen an die Macht nudgen.
Unter dem Stichwort Nudging versucht man, Bürger im großen Maßstab zu gesünderem oder umweltfreundlicherem Verhalten „anzustupsen“ – eine moderne Form des Paternalismus. Der neue, umsorgende Staat interessiert sich nicht nur dafür, was wir tun, sondern möchte auch sicherstellen, dass wir das Richtige tun, sagt Roberto V. Zicari (…)
Verschärft wird dieses Problem durch die Tatsache, dass in Europa eine einzige Suchmaschine einen Marktanteil von rund 90 Prozent besitzt. Sie könnte die Öffentlichkeit maßgeblich beeinflussen, womit Europa vom Silicon Valley aus quasi ferngesteuert würde. Auch wenn das Urteil des Europäischen Gerichtshofs vom 6. Oktober 2015 nun den ungezügelten Export europäischer Daten einschränkt, ist das zu Grunde liegende Problem noch keineswegs gelöst, sondern erst einmal nur geografisch verschoben.
Verrohung und Zersplitterung der Gesellschaft
Damit Manipulation nicht auffällt, braucht es einen so genannten Resonanzeffekt, also Vorschläge, die ausreichend kompatibel zum jeweiligen Individuum sind. Damit werden lokale Trends durch Wiederholung allmählich verstärkt, bis hin zum „Echokammereffekt“: Am Ende bekommt man nur noch seine eigenen Meinungen widergespiegelt. Das bewirkt eine gesellschaftliche Polarisierung, also die Entstehung separater Gruppen, die sich gegenseitig nicht mehr verstehen und vermehrt miteinander in Konflikt geraten. So kann personalisierte Information den gesellschaftlichen Zusammenhalt unabsichtlich zerstören. Das lässt sich derzeit etwa in der amerikanischen Politik beobachten, wo Demokraten und Republikaner zusehends auseinanderdriften, so dass politische Kompromisse kaum noch möglich sind. Die Folge ist eine Fragmentierung, vielleicht sogar eine Zersetzung der Gesellschaft.
Noch schwerer wiegt der Umstand, dass manipulative Methoden die Art und Weise verändern, wie wir unsere Entscheidungen treffen. Sie setzen nämlich die sonst bedeutsamen kulturellen und sozialen Signale außer Kraft – zumindest vorübergehend. Zusammengefasst könnte der großflächige Einsatz manipulativer Methoden also schwer wiegende gesellschaftliche Schäden verursachen, einschließlich der ohnehin schon verbreiteten Verrohung der Verhaltensweisen in der digitalen Welt. Wer soll dafür die Verantwortung tragen?
Die Einsichten des großen Aufklärers Immanuel Kant scheinen jedoch hochaktuell zu sein. Unter anderem stellte er fest, dass ein Staat, der das Glück seiner Bürger zu bestimmen versucht, ein Despot ist. Das Recht auf individuelle Selbstentfaltung kann nur wahrnehmen, wer die Kontrolle über sein Leben hat. Dies setzt jedoch informationelle Selbstbestimmung voraus.
«Es geht hier um nicht weniger als unsere wichtigsten verfassungsmässig garantierten Rechte. Ohne deren Einhaltung kann eine Demokratie nicht funktionieren. Ihre Einschränkung unterminiert unsere Verfassung, unsere Gesellschaft und den Staat» (Ernst Hafen)
Schließlich steht auch die Rechtmässigkeit personalisierter Preise in Frage, denn es könnte sich dabei um einen Missbrauch von Insiderinformationen handeln, betont Michael Hagner.
Hinzu kommen mögliche Verstöße gegen den Gleichbehandlungsgrundsatz, das Diskriminierungsverbot und das Wettbewerbsrecht, da freier Marktzugang und Preistransparenz nicht mehr gewährleistet sind. Die Situation ist vergleichbar mit Unternehmen, die ihre Produkte in anderen Ländern billiger verkaufen, jedoch den Erwerb über diese Länder zu verhindern versuchen. In solchen Fällen gab es bisher empfindliche Strafzahlungen.
Außerdem gelten in der akademischen Welt selbst harmlose Entscheidungsexperimente als Versuche am Menschen und bedürfen der Beurteilung durch eine Ethikkommission, die der Öffentlichkeit Rechenschaft schuldet. Die betroffenen Personen müssen in jedem einzelnen Fall ihre informierte Zustimmung geben. Absolut unzureichend ist dagegen ein Klick zur Bestätigung, dass man einer 100-seitigen Nutzungsbedingung pauschal zustimmt, wie es bei vielen Informationsplattformen heutzutage der Fall ist.
Dennoch experimentieren manipulative Technologien wie Nudging mit Millionen von Menschen, ohne sie darüber in Kenntnis zu setzen, ohne Transparenz und ohne ethische Schranken. Selbst große soziale Netzwerke wie Facebook oder Onlinedating-Plattformen wie OK Cupid haben sich bereits öffentlich zu solchen sozialen Experimenten bekannt.
Anders und mit den Worten von Jeroen van den Hoven gesagt: Personalisierte Information baut eine „filter bubble“ um uns herum, eine Art digitales Gedankengefängnis. In letzter Konsequenz würde eine zentrale, technokratische Verhaltens- und Gesellschaftssteuerung durch ein superintelligentes Informationssystem eine neue Form der Diktatur bedeuten. Die von oben gesteuerte Gesellschaft, die unter dem Banner des „sanften Paternalismus“ daherkommt, ist daher im Prinzip nichts anderes als ein totalitäres Regime mit rosarotem Anstrich.
«In der Tat zielt „Big Nudging“ auf die Gleichschaltung vieler individueller Handlungen und auf eine Manipulation von Sichtweisen und Entscheidungen. Dies rückt es in die Nähe der gezielten Entmündigung des Bürgers durch staatlich geplante Verhaltenssteuerung». (Jeroen van den Hoven)
Kollektive Intelligenz benötigt einen hohen Grad an Diversität. Diese wird jedoch durch heutige personalisierte Informationssysteme zu Gunsten der Verstärkung von Trends reduziert.
Soziodiversität ist genauso wichtig wie Biodiversität.Auf ihr beruhen nicht nur kollektive Intelligenz und Innovation, sondern auch gesellschaftliche Resilienz – also die Fähigkeit, mit unerwarteten Schocks zurechtzukommen. (Gerd Gigerenzer).
Die Verringerung der Soziodiversität reduziert oft auch die Funktions- und Leistungsfähigkeit von Wirtschaft und Gesellschaft. Dies ist der Grund, warum totalitäre Regimes oft in Konflikte mit ihren Nachbarn geraten. Typische Langzeitfolgen sind politische Instabilitäten und Kriege, wie sie in unserer Geschichte immer wieder auftraten. Pluralität und Partizipation sind also nicht in erster Linie als Zugeständnisse an die Bürger zu sehen, sondern als maßgebliche Funktionsvoraussetzungen leistungsfähiger, komplexer, moderner Gesellschaften.
Jetzt ist daher der historische Moment, den richtigen Weg einzuschlagen und von den Chancen zu profitieren, die sich dabei bieten. Wir fordern deshalb die Einhaltung folgender Grundprinzipien:
- die Funktion von Informationssystemen stärker zu dezentralisieren;
- informationelle Selbstbestimmung und Partizipation zu unterstützen;
- Transparenz für eine erhöhte Vertrauenswürdigkeit zu verbessern;
- Informationsverzerrungen und -verschmutzung zu reduzieren;
- von den Nutzern gesteuerte Informationsfilter zu ermöglichen;
- gesellschaftliche und ökonomische Vielfalt zu fördern;
- die Fähigkeit technischer Systeme zur Zusammenarbeit zu verbessern;
- digitale Assistenten und Koordinationswerkzeuge zu erstellen;
- kollektive Intelligenz zu unterstützen; und
- die Mündigkeit der Bürger in der digitalen Welt zu fördern – eine „digitale Aufklärung“.
Mit dieser Agenda würden wir alle von den Früchten der digitalen Revolution profitieren: Wirtschaft, Staat und Bürger gleichermaßen. Worauf warten wir noch?
Lesen Sie mehr: Eine Strategie für das digitale Zeitalter – der Aktionsplan
(Quellen: Spektrum der Wissenschaften, ETH Zürich)
Unterschreiben Sie jetzt das Reverendum gegen das Nachrichtengesetz
Weitere Berichte zu diesem Thema, die Sie interessieren könnten.
Allmytraveltips Datenschutz-Dossier
Wer sagt, dass ein Geheimdienst die Sicherheit der Bürger gewährleisten kann?
Wie der Geheimdienst mit Daten von unbescholtenen Bürgern dealt
Trojaner – Schadsoftware aus der Staatskasse