Künstliche Intelligenz : Warum wir Leitplanken für autonome KI-Agenten brauchen

Autonome KI-Agenten revolutionieren die Art und Weise, wie wir mit Technologie interagieren. Sie analysieren Daten, treffen Entscheidungen und handeln zunehmend eigenständig, was die Mensch-Maschine-Interaktion von linearen Prozessen zu einer dynamischen Zusammenarbeit transformiert. Diese dritte Welle der Künstlichen Intelligenz birgt enormes Innovationspotenzial, stellt Politik und Gesellschaft jedoch auch vor die Herausforderung, die damit verbundenen Risiken effektiv zu managen.

Der AI Act der EU markiert einen Meilenstein in der Regulierung von KI. Er definiert grundlegende Anforderungen an Transparenz, Sicherheit, menschliche Kontrolle und Risikobewertung. Allerdings ist der Act primär auf klassische KI-Anwendungen zugeschnitten. KI-Agenten, die dynamisch, kontextsensitiv und oft im Zusammenspiel mit anderen Agenten agieren, bringen neue Herausforderungen mit sich.

Fragen der Zuständigkeit, Rechenschaftspflicht und grenzüberschreitenden Interoperabilität erfordern eine kontinuierliche Überprüfung und Weiterentwicklung der regulatorischen Rahmenbedingungen. In Zeiten rasanter technologischer Entwicklung sind agile regulatorische Ökosysteme unerlässlich, um Verantwortung, Sicherheit und Innovationsfähigkeit gleichermaßen zu stärken.

Ethik von Anfang an mitdenken

Die verantwortungsvolle Entwicklung und Nutzung von KI muss für jeden Technologieanbieter höchste Priorität haben. Salesforce etwa unterhält bereits seit der Integration erster KI-gestützter Funktionalitäten in seine Technologie vor über zehn Jahren ein eigenes Gremium für die ethische Nutzung von KI und beschäftigt sich intensiv mit dem Zusammenspiel zwischen Regulierung, Compliance und Innovation. Insbesondere vor dem Hintergrund der aktuellen Entwicklung hin zu autonomen KI-Agenten lassen sich daraus mehrere zentrale Handlungsansätze ableiten:

• Die Arbeitsweise der KI muss transparent sein, damit Menschen sie verstehen und ihr vertrauen: Wie arbeitet die KI, welche Daten verwendet sie, wie trifft sie Entscheidungen und warum liefert sie bestimmte Ergebnisse.
• Interdisziplinäre Gremien bewerten ethische, rechtliche und sicherheitsrelevante Fragestellungen entlang des gesamten Entwicklungsprozesses – etwa zu Datenschutz, Arbeitsrecht und Produktsicherheit.
• Klar definierte Governance-Strukturen sichern Rechenschaftspflicht. Zuständigkeiten für Entwicklung, Training und operative Kontrolle der Agenten sind eindeutig festgelegt – bei Salesforce etwa durch Funktionen wie Product Legal, Privacy und Enterprise Architecture innerhalb des AI Councils.
• Bias-Analysen und Inklusionsziele fördern Fairness. Salesforce setzt hier auf diverse Datensätze, fairness-sensitives Machine Learning und umfassende Trainingsprogramme für Mitarbeiter:innen.
• Übergabepunkte an Menschen müssen klar definiert sein. Gerade bei hochautonomen Systemen ist es entscheidend, Übergabepunkte für menschliche Entscheidungen klar zu definieren – etwa im Sinne eines abgestuften Risikomodells, wie es auch Salesforce verfolgt.

So entsteht ein belastbarer Rahmen für den verantwortungsvollen Einsatz autonomer KI-Agenten. Dabei bleibt der Mensch im Zentrum: Auch hochautonome Systeme sollen menschliche Entscheidungen nicht ersetzen, sondern gezielt ergänzen. Autonomie bedeutet vor allem Entlastung – aber nur, wenn geeignete Kontroll- und Eskalationsmechanismen etabliert sind.

Politische Leitplanken für KI-Agenten

Damit autonome KI-Agenten verantwortungsvoll und sicher eingesetzt werden können, braucht es zentrale politische Weichenstellungen:

1. Flexible, technologieoffene Regulierung: Regulatorik darf nicht am heutigen Stand der Technik verharren. Sie muss grundlegende Prinzipien wie Transparenz, technische Robustheit und Auditierbarkeit festschreiben – so, dass sie auch zukünftige Entwicklungen erfassen und Innovation ermöglichen.
2. Verbindliche Ethikstandards und klare Governance-Strukturen: Dazu gehören etwa ein Transparenzregister für KI-Agenten, klare Rollenzuweisungen entlang der KI-Wertschöpfungskette sowie verpflichtende Wirkungskontrollen für Anwendungen mit hohem Risiko. Eine risikobasierte Verantwortungsteilung zwischen Entwickler:innen, Anwendender:innen und Plattformanbietern ist entscheidend.
3. Internationale Interoperabilität: Da KI-Agenten global agieren, braucht es abgestimmte rechtliche Rahmenbedingungen – etwa bei Datenschutz, Haftung oder technischen Standards. Europa kann hier Vorreiter sein, indem es Prinzipien wie menschenzentriertes Design, erklärbare KI und wirksame Nutzer:innenrechte international verankert.

Verbindung aus Wissens- und KI-Kompetenz als Schlüssel zu digitaler Souveränität

Der AI Act setzt wichtige Standards – doch digitale Souveränität braucht mehr als Regulierung: Sie braucht Kompetenz. Nur wer versteht, wie KI-Agenten funktionieren, kann sie verantwortungsvoll einsetzen. Der AI Act verlangt deshalb nicht nur technische Konformität, sondern auch praktisches Verständnis bei Anbietern und Nutzer:innen.

KI-Literacy – also die Fähigkeit, KI zu verstehen, anzuwenden und kritisch zu bewerten – ist die Basis für eine zukunftsfähige Innovationspraxis. Dafür braucht es gezielte Bildungsangebote, betriebliche Weiterbildungen und unabhängige Kompetenzzentren. Vertrauen entsteht, wenn Technologie nachvollziehbar wird. Der aktuelle Global AI Readiness Index von Salesforce, der am 8. Juli veröffentlicht wurde, unterstreicht Deutschlands starke Position, insbesondere im Bereich Ausbildung und Weiterbildung, als gute Voraussetzung für die verantwortungsvolle Einführung und Skalierung von agentischer KI.

KI-Agenten sind Realität. Ihr Potenzial entfaltet sich nur, wenn Regulierung, Ethik und Technologie zusammen gedacht und umgesetzt werden. Der AI Act war ein erster Schritt – nun braucht es Weiterentwicklung, internationale Kooperationen und verlässliche Governance-Strukturen, die Orientierung und Vertrauen schaffen.

Barbara Holzer ist Senior Director Government Affairs Central Europe bei Salesforce. Sie begleitet seit vielen Jahren die politischen und regulatorischen Entwicklungen rund um Digitalisierung und KI in Europa.