Perspektive : Wenn Evaluierung zur Gefühlssache wird

„Das Ei ist hart!“ – ein Satz, der auf den Gesichtern einer ganzen Generation von Deutschen zuverlässig ein Lächeln hervorruft. Kaum ein anderer Sketch verrät so viel über das deutsche Eheleben und den spezifisch deutschen Humor wie „Das Frühstücksei“ von Loriot. Der Satz gehört für viele zur Leitkultur – mindestens gleichauf mit „Wir sind Weltmeister!“. Und er ist eine kleine Lektion über die deutsche Attitüde zu Zeit, Zeitmessung und Zahlen.

Der Sketch ist damit eine passende Vorbereitung auf die Lektüre der Evaluierung der Cybersicherheitsstrategie für Deutschland 2021 (CSS 2021), herausgegeben vom Bundesinnenministerium (BMI). Mit ihr kommt das BMI der Pflicht nach, „den Stand der Umsetzung der strategischen Ziele und Maßnahmen“ darzustellen.

Wenn der Verteidigungsminister erklärt, dass die Bundeswehr 60.000 zusätzliche Soldaten brauche, stellt kaum jemand die Berechnung dahinter infrage. Wumms – 60.000 ist eine Zahl, die sitzt. Wenn der Kanzler ankündigt, eine Reform werde fünf Milliarden Euro jährlich einsparen, beeindruckt die Summe – egal, ob sie belastbar ist oder nicht.

Ganz ähnlich arbeitet die Evaluierung der CSS 2021 mit Prozentzahlen. Sie erklärt, die Umsetzung der Strategie sei „auf einem guten Weg“, weil rund 74 Prozent der Maßnahmen „abgeschlossen oder in der Umsetzung“ seien und die „Übereinstimmung zwischen Selbsteinschätzungen der Ressorts und den Bewertungen externer Stakeholder“ bei etwa 70 Prozent liege – ein „positives Signal“. Gemeint ist offenkundig weniger reale Zielerreichung als ein Stimmungsbild.

Dieses Stimmungsbild wurde per Online-Formular eingeholt – in den Ministerien, beim BSI sowie von den Stakeholdern aus Ländern, Wirtschaft, Wissenschaft und Zivilgesellschaft. In vier Handlungsfeldern wurden Einschätzungen abgefragt und anschließend in Prozentwerten ausgewertet. So kann man erfahren, dass die meisten Maßnahmen (35 Prozent) im Handlungsfeld 2 („Gemeinsamer Auftrag von Staat und Wirtschaft“) abgeschlossen wurden. Das BMI folgert daraus im Fazit, die Umsetzung der Strategie sei insgesamt „auf einem guten Weg“.

Spätestens hier drängt sich die Frage auf: 74 Prozent, 35 Prozent – aber wovon? Zumal die BMI-Autoren selbst einräumen, dass viele Ziele gar nicht SMART (spezifisch, messbar, attraktiv, realistisch, terminiert) formuliert wurden, also weder wirklich messbar noch terminiert sind. Klare Kritik an der Zielsetzung, der Zielmessung und am fehlenden Ausgangsstatus hatte der Bundesrechnungshof (BRH) bereits in seinem Bericht zur Cybersicherheit der Bundesregierung geübt. In der Evaluierung wurden diese Punkte nicht aufgegriffen; lediglich im letzten Satz heißt es, man wolle die Erkenntnisse des als Verschlusssache eingestuften BRH-Berichts bei der Fortschreibung der Strategie berücksichtigen.

Kein klares Ziel, keine sinnvolle Evaluation

Dabei existieren längst Modelle, mit denen sich Zielerreichung deutlich präziser bestimmen ließe als über bloße Stimmungsbilder. Das Goal-Question-Metrics-Paradigma (GQM) etwa leitet aus Zielen konkrete Fragen ab und verknüpft diese mit messbaren Indikatoren. Diese Metriken lassen sich erheben und auswerten – selbst dann, wenn Ziele nur mittelprächtig formuliert sind. Oder, um Viktor Suworow zu paraphrasieren: Eine Prozentzahl von einer Unbekannten beflügelt nur die Fantasie eines Dummkopfs.

Kern der Evaluation ist der Abgleich zwischen Selbsteinschätzung der Ressorts und Wahrnehmung der Expertinnen und Experten. Gemessen wurde, wie stark das eigene Empfinden über den Stand der Umsetzung (in Prozent) mit der Wahrnehmung ausgewählter Dritter (ebenfalls in Prozent) übereinstimmt. Ergebnis: Es gibt eine „Diskrepanz zwischen administrativem Umsetzungsstand und der Wahrnehmung der Stakeholder“, die bei der Weiterentwicklung der Strategie berücksichtigt werden solle.

Deutlich wird das beim Ziel 8.1.8 („Verantwortungsvoller Umgang mit Schwachstellen – CVD fördern“). Das zuständige Ressort bewertete die Maßnahme 8.1.8.1 („Es besteht Rechtssicherheit für das Suchen und Finden von Sicherheitslücken“) als „abgeschlossen“, während Fachleute sie als „eher nicht umgesetzt“ einstuften. Aus Ressort-Sicht existiert eine koordinierte Offenlegung von Sicherheitslücken (Coordinated Vulnerability Disclosure, CVD) und werde genutzt; die Expertinnen und Experten fordern hingegen eine Harmonisierung mit europäischen Rechtsakten wie dem CRA, um Doppelstrukturen zu vermeiden.

Ist das Ei nun hart oder weich? Weich, finden die Ressorts: Gut 74 % der 178 Maßnahmen seien abgeschlossen oder in der Umsetzung. 82 % der Expertinnen und Experten stimmen dem ganz oder eher zu. Schaut man aber nur auf die Maßnahmen, die sich „in der Umsetzung befinden sollten“, sinkt dieser Wert auf 35 % – diese werden von den Fachleuten also „nicht als umgesetzt“ wahrgenommen. Um die Wahrnehmungen anzugleichen, will man „verstärkt über laufende Projekte bzw. Gesetzgebungsverfahren informieren“.

Es geht noch schlimmer

An dieser Stelle sei eine kleine, nicht ganz ernstgemeinte Empfehlung erlaubt: Eine bessere Übereinstimmung ließe sich vermutlich durch den Einsatz moderner Technologien erzielen. Das Ministerium für Staatsmodernisierung könnte etwa das Online-Formular zur Abfrage der Stakeholder-Wahrnehmung derart zuschneiden, dass nur bestimmte Eingaben im Prozentfeld zulässig sind. Oder nur Werte über 50 % – by default. Man könnte zudem einen Teil der Formulare an einem Ort ablegen, an dem sie niemand findet (und damit auch niemand überprüft), selbst dann nicht, wenn Journalistinnen und Journalisten Informationszugangsanfragen stellen.

Hilfreich wäre womöglich auch, die klassische Eieruhr durch eine smarte, internetfähige Uhr zu ersetzen. Ein externer Dienstleister könnte die Bedienungsanleitung in ein maschinenlesbares Format bringen, eine KI würde sie automatisch verschlagworten. Ob das Ei am Ende tatsächlich viereinhalb Minuten gekocht hat, wüsste trotzdem niemand. „Wenn ein Ei nach Gefühl kocht, dann kocht es eben nur zufällig genau viereinhalb Minuten“, heißt es bei Loriot. Und bei der Umsetzung der Cybersicherheitsstrategie scheint es zu genügen, wenn man – oder der Hausmann – es ähnlich „im Gefühl“ hat.

Aleksandra Sowa ist zertifizierte Datenschutzbeauftragte. Sie leitete das Horst-Görtz-Institut für Sicherheit in der Informationstechnik, ist Sachverständige für IT-Sicherheit im Innenausschuss des Bundestages und Mitglied der Grundwertekommission der SPD.

In unserer Kolumnenreihe „Perspektiven“ kommentieren unsere Autor:innen regelmäßig aktuelle Entwicklungen, Trends und Innovationen im Bereich Cybersicherheit. Zuletzt von Sowa erschienen: Was wir aus der BSI-Handreichung zur Geschäftsleitungsschulung lernen können