Cloudflare Disallow AI Training: Websites können KI-Training blockieren und in Suchmaschinen sichtbar bleiben

Wer seine Inhalte für KI-Training sperren wollte, riskierte bislang unter Umständen auch Sichtbarkeit in klassischen Suchmaschinen. Cloudflare will diesen Zielkonflikt nun auflösen und führt neue, voneinander unabhängige Regeln für Suche, KI-Training und KI-Agenten ein. Damit verschiebt sich die Kontrolle über Webinhalte ein Stück weit zurück zu Publishern und Unternehmen – und könnte zugleich ein neues Regelwerk für den Zugriff von KI-Crawlern etablieren.

Suche erlauben, KI-Training untersagen

Cloudflare hat mit „Disallow AI Training“ eine neue Einstellung vorgestellt, mit der Website-Betreiber KI-Training untersagen können, ohne gleichzeitig ihre Auffindbarkeit über klassische Suchmaschinen einzuschränken. Parallel führt das Unternehmen die neue Einstufung „Accountable“ für KI-Crawler ein. Apple, Google und Microsoft werden von Cloudflare derzeit dieser Kategorie zugeordnet, weil sie die definierten Anforderungen bereits erfüllen oder konkrete Zeitpläne für deren Umsetzung vorgelegt haben.

Die Entwicklung adressiert ein Problem, das durch sogenannte Mixed-Use-Crawler entstanden ist. Diese Systeme verwenden denselben Crawler sowohl für Suchindizes als auch für KI-Anwendungen oder Trainingszwecke. Nach Angaben von Cloudflare entfallen inzwischen 36,6 Prozent des verifizierten Crawler-Traffics im eigenen Netzwerk auf diese Kategorie. Gleichzeitig blockiert weniger als ein Prozent der Websites klassische Suchmaschinen-Crawler, während bereits 17 Prozent das KI-Training einschränken.

Für Publisher entstand daraus bislang ein Dilemma: Wer einem Mixed-Use-Crawler den Zugriff für KI-Training verweigerte, konnte unter Umständen auch aus dessen Suchindex verschwinden.

Drei getrennte Regeln für Crawler

Cloudflare ersetzt deshalb den bisherigen Schalter „Block AI Bots“ durch drei separate Kontrollmöglichkeiten:

• klassische Suchmaschinen-Crawler,
• KI-Training,
• KI-Agenten.

Für werbefinanzierte Websites empfiehlt Cloudflare standardmäßig, Suchmaschinen weiterhin zuzulassen, KI-Training zu untersagen und KI-Agenten auf werbefinanzierten Seiten zu blockieren. Für andere Websites sollen zunächst alle drei Kategorien zugelassen bleiben. Die Einstellungen können Betreiber jederzeit verändern.

Zusätzlich wird die bisherige Funktion „Managed Robots.txt“ durch Bot Preference Sync ersetzt. Website-Betreiber sollen ihre Präferenzen damit zentral definieren können; Cloudflare überträgt diese anschließend automatisch auf unterstützte Crawler.

Neue Spielregeln für KI-Crawler

Interessant ist weniger die einzelne Einstellung als der Versuch, verbindlichere Regeln für den Zugriff von KI-Systemen auf Webinhalte zu etablieren. Cloudflare definiert dafür vier Anforderungen an sogenannte Accountable Crawler. Betreiber müssen demnach unter anderem die Möglichkeit erhalten, KI-Training abzulehnen, ohne ihre Position in der klassischen Suche zu gefährden.

Darüber hinaus fordert Cloudflare Opt-out-Möglichkeiten für KI-generierte Suchzusammenfassungen sowie Transparenz darüber, welche URLs für Suche beziehungsweise Training verwendet werden. Anbieter sollen außerdem öffentlich bestätigen, dass ein Verzicht auf KI-Training keine Auswirkungen auf das Ranking in der traditionellen Suche hat.

Google bietet beispielsweise mit Google-Extended bereits eine Möglichkeit, bestimmte KI-Nutzungen einzuschränken, ohne die normale Google-Suche zu blockieren. Andere KI-Anbieter betreiben getrennte Crawler für Suche und Training, wodurch sich die jeweiligen Zugriffsarten technisch leichter voneinander unterscheiden lassen.

KI-Zusammenfassungen rücken als nächstes in den Fokus

Damit ist die Auseinandersetzung um die Nutzung von Webinhalten allerdings nicht beendet. Cloudflare richtet den Blick bereits auf KI-generierte Suchzusammenfassungen, bei denen Inhalte direkt in Suchmaschinen oder KI-Oberflächen verarbeitet werden und Nutzer die ursprüngliche Website möglicherweise gar nicht mehr besuchen.

Von als „Accountable“ eingestuften Anbietern verlangt Cloudflare daher auch eine Möglichkeit, solche Zusammenfassungen abzulehnen. Derzeit müssen Website-Betreiber diese Einstellungen noch bei jedem Anbieter einzeln vornehmen. Cloudflare will nach eigenen Angaben bis Anfang 2027 eine zentrale Steuerungsmöglichkeit schaffen, mit der Publisher bestimmen können, in welchem Umfang ihre Inhalte in solchen Zusammenfassungen verwendet werden.

Vom Crawling zum Content-Governance-Modell

Die Neuerungen zeigen, dass sich robots.txt und klassische Bot-Kontrollen zunehmend zu einer umfassenderen Content Governance für KI-Systeme entwickeln. Entscheidend wird künftig nicht mehr allein sein, ob ein Bot eine Website besuchen darf, sondern für welchen Zweck Inhalte verarbeitet werden dürfen.

Cloudflare beteiligt sich deshalb auch an Standardisierungsarbeiten innerhalb der Internet Engineering Task Force (IETF). Die geplante Spezifikation „ai-prefs“ soll Websites ermöglichen, ihre Präferenzen zur Nutzung durch KI-Systeme standardisiert und portabel auszudrücken.

Für Publisher könnte daraus langfristig ein wichtiger Hebel entstehen: Sichtbarkeit in Suchmaschinen, Nutzung durch KI-Agenten und Training generativer Modelle wären dann keine zwangsläufig miteinander verknüpften Entscheidungen mehr. Genau diese Trennung dürfte für die zukünftige wirtschaftliche Nutzung hochwertiger Online-Inhalte zunehmend entscheidend werden.