Im chinesischen Daye werden Fußgänger:innen bei dem Versuch, eine rote Ampel zu überqueren, mit Wasser bespritzt. Nicht von Menschen, sondern von kniehohen Pollern, die mit Lasersensoren und Wasserdüsen ausgestattet sind und jeden unrechtmäßigen Überquerungsversuch sofort feststellen und mit einer Wolke Sprühnebel ahnden.
In Daye kündigt sich der Umbau der chinesischen Gesellschaft zum vollautomatisierten Roboterstaat an. Nicht mehr Menschen sollen prüfen, entscheiden und richten, sondern Algorithmen und Automaten. Mit jeder neuen Gerätegeneration verdichtet sich das Netz aus Sendern und Sensoren in Mobiltelefonen, Überwachungskameras und smarten Heimgeräten, das jedes Gespräch, jeden Einkauf, jede Bewegung seiner Nutzer aufzeichnet — nicht nur in China. Daraus entsteht ein Informationsreservoir, das auch für die Politik interessant wird.
Durch Algorithmen aufbereitet, ergeben diese Daten ein hochauflösendes Bild der gesellschaftlichen Lage. Stimmungen, Interessen und Verhalten der Bürger, Wirtschaftswachstum oder der Erfolg und Misserfolg aktueller Regierungsmaßnahmen können in Echtzeit berechnet werden. Damit ließen sich Verordnungen und Gesetze tagesaktuell anpassen aber auch Verstöße und Fehlverhalten automatisch ahnden.
Was in westlichen Staaten wegen Privatsphäre und Datenschutz undenkbar wäre, ist in China kein Problem. Der Regierung stehen dort nicht nur Daten staatlicher Überwachungstechnologien zur Verfügung, sie kann außerdem vollumfänglich auf die Nutzerdaten privater Unternehmen zurückgreifen. Damit registrieren die Staatsalgorithmen auch Chats, E-Mails, Einkaufsverhalten sowie Informationen über die Freizeitgestaltung der Bürger:innen.
Algorithmen ahnden unerwünschtes Verhalten
Nicht nur Rechtsverstöße sollen so unterbunden werden, sondern auch unerwünschtes Verhalten: Unfreundliche Äußerungen gegenüber Staatsdienern, regimekritische Äußerungen in sozialen Medien oder übermäßiges Computerspielen werden automatisch sanktioniert. Millionen Chinesen wurden auf diese Weise schon von Flug- oder Zugreisen ausgeschlossen, aber auch der Zugang zu Krediten, bestimmten Berufen oder sozialen Medien wird beschränkt – ganz ohne menschlichen Eingriff.
Die Möglichkeit, Recht und Ordnung zu automatisieren, scheint wie gemacht für totalitäre Systeme. Jeder Einzelne kann bis in den privatesten Raum hinein überwacht und sanktioniert werden. Doch hier zeigt sich auch: Es ist nicht nur das politische System, das die Technologie instrumentalisiert. Es ist die Technologie selbst, die totalitär ist. Egal auf welcher politischen Grundlage regulierende Algorithmen eingesetzt werden, sie bringen ihre eigenen Strukturen und Imperative mit. So funktionieren sie genauer und zuverlässiger, je größer der Datensatz ist, auf den sie zurückgreifen können. Die Tendenz, Daten nicht nur aus staatlichen Stellen, sondern auch aus der Wirtschaft und der privaten Kommunikation abzuziehen, ist im Versuch der Automatisierung von Recht und Ordnung bereits angelegt.
Doch auch innerhalb des rechtsstaatlichen Rahmens, der Bürger vor den Übergriffen des Staates schützen soll, ließen sich Regeln, Verordnungen und Gesetze nicht automatisieren, ohne ins Totalitäre abzudriften. Paradoxerweise genau deshalb, weil Algorithmen das Recht bedingungslos umsetzen würden. Zwar gehört es zu den Grundsätzen des Rechtsstaats, dass das Gesetz für jede:n, zu jeder Zeit, immer gleich und ohne Ausnahme gilt. In der Praxis müsste dieser Grundsatz jedoch ins Unrecht führen. Man stelle sich vor, jede Überquerung einer roten Ampel würde geahndet. Nicht mit einem lauwarmen Spritzer Wasser, sondern mit einem automatischen Bußgeldbescheid. Technisch wäre das durch einen Abgleich der Standortdaten des Mobiltelefons mit Ampelschaltungsrythmen möglich. Doch was, wenn es einen guten Grund für die Ordnungswidrigkeit gab, einen Unfall, eine ausgefallene Birne im Ampelkasten oder ein Kind, das man vor dem anfahrenden Verkehr retten möchte?
Das Gesetz kann nur generalisierte Sachverhalte regeln, die Wirklichkeit kennt jedoch keine Systematik, sie besteht lediglich aus einer Ansammlung von Einzelfällen. Deshalb muss es immer eine Abweichung zwischen Regel und Realität geben. Diesen Unterschied zu bestimmen, liegt im Ermessen der ahndenden Behörden und Beamt:innen. Sie bestimmen: War der Regelübertritt notwendig oder nicht — oder wenigstens verzeihlich? Der „Ermessensspielraum“ soll die Lücke zwischen formalem Regelwerk und unformalisierbarer, diffuser Realität schließen. Doch oft genug ist selbst dieser juristisch vorgesehene Spielraum zu schmal bemessen, um zweckdienliche Entscheidungen zu treffen. Anders als sprichwörtlich suggeriert, sind Behörden keine stumpfen Abarbeitungsapparate für Vorschriften und Formulare, sondern organische Institutionen der Regeldehnung und -umgehung.
Menschen können Regeln kreativ auslegen – Maschinen nicht
Diese Prozesse lassen sich nicht automatisieren. Denn solange Maschinen kein Bewusstsein entwickeln, sind sie nicht dazu in der Lage, die ihnen aufgetragenen Regeln auf Zweckmäßigkeit hin zu überprüfen und so ihre Anwendung im Einzelfall abzuwägen. Sie kennen keinen übergeordneten Zweck ihres Handelns, sie kennen nur formale Anweisungen. Vielleicht aber, so das Versprechen von Machine Learning, brauchen Computer gar kein Bewusstsein, müssen nicht reflektieren und verstehen, was sie tun, um regelunabhängig handeln zu können. Vielleicht reicht es, wenn sie Menschen lange genug bei ihrer Arbeit beobachten und lernen, diese zu imitieren. Die Technologie hierzu ist längst da. Eine Maschine allerdings, die Beamte dabei beobachtet, wie sie ihren Ermessensspielraum ausschöpfen oder überschreiten und dieses erlernte Verhalten dann selbst anwendet, würde den Rechtsstaat ad absurdum führen. Die Rechtsdehnung würde damit technisch in den Verwaltungsapparat implementiert.
Doch warum dürfen Menschen Regeln kreativ auslegen und Maschinen nicht? Warum ist es weniger absurd, wenn Behörden durch gezielte Workarounds stabil gehalten werden, als wenn Computer diese Workarounds lernen und technisch fest implementieren würden? Hier verrät sich ein entscheidender Unterschied zwischen bewusstem Menschen und unbewusster Maschine: Menschen haben einen freien Willen, sie müssen eine Entscheidung fassen, eine Absicht, Regeln zu überschreiten. Nur so können sie für ihr Handeln auch verantwortlich gemacht und notfalls juristisch belangt werden.
Sie gehen also ein Risiko ein, wenn sie die formalen Regeln aus Verordnungen und Gesetzen so dehnen, dass sie auf reale Sachverhalte passen. Sie befinden sich damit immer in einem Spannungsfeld aus praktischer Notwendigkeit und juristischer Haftbarkeit. Nur durch diesen Mechanismus verhindert der Rechtsstaat den Missbrauch individueller Ermessenspielräume und -entscheidungen.
Der Mensch als Entscheider und Verantwortungsträger wird auch in automatisierten Entscheidungsprozessen noch gebraucht — und sei es am Ende nur, um für falsche Entscheidungen haftbar zu sein. Fraglich ist allerdings, wie viel Entscheidungshoheit Menschen tatsächlich noch haben, wenn sie in automatisierte Systeme verspannt werden. Der Vorteil der Automaten ist ja gerade, dass sie unüberschaubare Datenmassen in Sekundenbruchteilen verarbeiten, um Situationen zu bewältigen, die Menschen nicht überblicken können. Wer wagt es schon, einem Computer zu widersprechen, dem mehr Daten, sowie schnellere und vor allem fehlerfreie Rechenkapazitäten zur Verfügung stehen?
In der automatischen Kette von Datenerfassung, Lösungsfindung und Umsetzung ist die menschliche Entscheidung nur ein Hindernis. Nicht nur auf Seiten von Regierung und Verwaltung, auch auf Seite der Bürger. Denn eine automatische Regulierung würde auch ihnen die Möglichkeit zum Regelverstoß und damit auch die Möglichkeit zur eigenen Entscheidung nehmen. Das smarte Auto würde an der Ampel automatisch ausgebremst, verfassungsfeindliche Inhalte vom Uploadfilter geschluckt und das Konto gesperrt, schon bevor es zur Insolvenz kommen könnte. Das mag alles im Sinne einer funktionierenden Gesellschaftsordnung sein, aber es entzieht dem Individuum die Möglichkeit, sich gegen geltende Regeln entscheiden zu können.
Technologie verspricht Effizienz und Effektivität
Strafverfolgungsbehörden und Finanzämter könnten abgeschafft werden. Gesetze bräuchten nicht mehr durchgesetzt werden, durch Automatisierung würden sie zum Zwang. Damit wäre auch das persönliche Bemühen um gewissenhaftes Verhalten überflüssig. Jeder könnte seinen Bedürfnissen nach Belieben freien Lauf lassen, ohne sich von Gedanken an deren Konsequenzen einschränken lassen zu müssen. Denn was verboten ist, würde ohnehin automatisch unterdrückt.
Damit würde die intrinsische Motivation von Menschen, sich sozial und solidarisch oder wenigstens gesetzestreu zu verhalten, systematisch aberzogen. Die daraus resultierende Haltung wäre eine vollkommen egoistische, die jede Lücke für sich zu nutzen suchte. Das kann nur einem totalitären Staat egal sein, dem der Geist seiner Bürger gleichgültig ist, solange sie sich in seinem Sinne verhalten.
Im Gegenzug zur Entmachtung des Menschen verspricht die Technologie Effizienz und Effektivität. Ein Angebot, das besonders für Staaten wie China attraktiv ist, die sich, wie der britische Historiker Timothy Garton Ash es formuliert, über Effektivität und nicht über demokratische Wahlen legitimieren. Solange sich die Lebenssituation der Bürger dort kontinuierlich verbessert und die öffentliche Ordnung intakt bleibt, wird die Regierung vom Großteil der Bevölkerung akzeptiert.
Demokratische Staaten hingegen legitimieren sich nicht über Wirksamkeit, allerdings können sie sich durch Unwirksamkeit delegitimieren. Mit dem Gefühl, Regierungen seien nicht mehr in der Lage, gesellschaftliche Probleme umfassend und zeitnah zu bewältigen oder die öffentliche Ordnung konsequent durchzusetzen, erodiert auch die Identifikation mit der Demokratie. Wollen sie ihre Glaubwürdigkeit wahren, werden also auch Demokratien nicht auf den Einsatz von Automatisierungstechnik verzichten können.
In einer Welt, deren Komplexität durch moderne Kommunikations- und Datenverarbeitungstechnik stetig steigt, lässt sich ein staatlicher Ordnungsanspruch nicht ohne äquivalente Technologien durchsetzen. Die menschlichen Kapazitäten der Verwaltungsapparate sind längst erschöpft. Nur durch den Aufbau interner Gegenkomplexität, durch schnelle und datenreiche Regulationsprozesse, kann sich ein Staat die Augenhöhe mit anderen Akteuren, wie der Wirtschaft, anderen Staaten oder auch kriminellen Organisationen wahren.
Automatisierung bietet demokratischen Mehrwert
Über ihre Notwendigkeit hinaus bietet die Automatisierung aber auch einen demokratischen Mehrwert. Zum Beispiel würde die gesteigerte Verarbeitungskapazität Freiheiten eröffnen, feiner abgestufte Regularien zu entwerfen, die mehr Ausnahme- und Einzelfallregelungen und damit eine wirklichkeitsadäquatere und gerechtere Regulierung erlauben würden. Weiterhin könnten Beratungen und Leistungen durch Micro-Targeting direkt und bedarfsgerecht an die bedürftigen Gruppen adressiert werden. Leistungen bräuchten gar nicht mehr beantragt werden – die dafür nötigen Daten liegen staatlichen Behörden meist ohnehin vor. Österreich macht vor, wie beispielsweise das dortige Kindergeld ganz automatisch nach der Geburt überwiesen wird. Durch die Abschaffung der Antragsverfahren erreichen die Leistungen ihre Zielgruppen zuverlässiger und zielgenauer. Das ist der Vorteil von datenreicher und automatisierter Verwaltungsarbeit: Sie wirkt.
Die Automatisierung bietet nicht nur Potenziale für Überwachung, sondern auch für höhere Nutzer:innenorientierung, eine Annäherung von Staat und Bürger:innen auf Augenhöhe, einen engeren Austausch und bedarfsgerechte Interaktion. Eine wirksame, zurückhaltende, bei Bedarf aber immer unkompliziert erreichbarere Verwaltung — ein Seamless State — wäre ein wichtiger Schritt, um das Vertrauen der Bürger:innen in die Wirkmächtigkeit eines Staates zu erhalten und zu stärken.
Um diese demokratischen Potenziale der Technologie zu bergen, müssen jedoch zunächst die totalitären Tendenzen der Automatisierung gebändigt werden. Eine stumpfe Implementierung automatisierter Insellösungen in der Verwaltung kann das nicht leisten. Wir brauchen eine kohärente Vision eines automatisierten demokratischen Rechtsstaats, die uns als Wegweiser und Prüfstein bei der anstehenden Automatisierung von Staat und Verwaltung dient. Denn wenn wir nicht bestimmen, wie wir die Technologie nutzen wollen, wird die Technologie es selbst bestimmen.
Mads Pankow ist Autor und Digitalberater für verschiedene Landes- und Bundesministerien. Außerdem hält er Vorträge zu Themen der Digitalen Gesellschaft und Künstlichen Intelligenz. Er ist wöchentlich im KI-Podcast „Mensch, Maschine!“ zu hören. Der Beitrag erschien in längerer Form zuerst auf dem Debattenportal Carta.
