Agentic Internet

Cloudflare will das Agentic Internet fairer machen und setzt neue Regeln für KI-Bots

02.07.2026, Cloudflare | Autor: Herbert Wieler

„Your Content, Your Rules“ – Mehr Kontrolle über KI-Zugriffe

Cloudflare will die Spielregeln für das KI-Zeitalter des Internets neu ordnen. Mit neuen Klassifizierungen, erweiterten Analysen und strategischen Partnerschaften sollen Website-Betreiber besser kontrollieren können, wie KI-Systeme auf ihre Inhalte zugreifen. Das Ziel: ein offeneres, faireres „Agentic Internet“, in dem Inhalte auffindbar bleiben, Rechte gewahrt werden und Unternehmen von der Nutzung durch KI profitieren können.

Cloudflare, das führende Connectivity-Cloud-Unternehmen, kündigte gestern neue Klassifizierungen, verbesserte Analysen sowie kommerzielle Partnerschaften an, die Website-Betreiber und transparente KI-Unternehmen zusammenbringen. Cloudflares neue Tools und Integrationen helfen Website-Betreibern und KI-Unternehmen dabei, Auffindbarkeit, Effizienz und Monetarisierung zu optimieren. Durch die Schaffung dieser neuen Grundlagen legt Cloudflare das Fundament für eine gesunde, kollaborative “Agentic Economy”, die der Gesellschaft, den Website-Betreibern und den KI-Unternehmen zugutekommt.

Das grundlegende Wesen des Internet-Traffics hat sich verändert. Heute treiben automatisierte Agenten und Bots mehr als die Hälfte aller Web-Anfragen an. KI wird zur neuen Schnittstelle für den Zugang zu Informationen und für den Handel im Internet und verändert damit die Regeln dafür, wie Inhalte entdeckt werden. Die meisten Website-Betreiber wollen ihre Inhalte in KI-Systemen sehen. Doch für Unternehmen, die auf Werbung oder Abonnements aufbauen, stellt es eine Bedrohung dar, wenn KI-Systeme mit ihrem Content trainiert werden, ohne dafür zu zahlen. Um dieses Problem zu lösen, kündigt Cloudflare nun neue Standardklassifizierungen an, liefert seinen Kunden tiefere Einblicke, macht die KI-Suche schneller und stellt sicher, dass Urheber vergütet werden, wenn ihre Inhalte eine KI-Antwort möglich machen. Das Ergebnis sind gleiche Wettbewerbsbedingungen. Es optimiert die Crawling-Effizienz, schützt geistiges Eigentum und ermöglicht es Urhebern und KI, in der Agentic-Ökonomie zu gedeihen.

„Letztes Jahr haben wir Website-Betreibern Transparenz und Kontrolle darüber gegeben, welche Bots auf ihre Inhalte zugreifen, und wir sind begeistert von den Vorteilen, die dies für das Ökosystem hatte”, sagte Matthew Prince, Mitgründer und CEO von Cloudflare . „Jetzt, da der Großteil des Internetverkehrs nicht mehr menschlich ist, müssen wir weiter gehen und schneller handeln, damit ein nachhaltiges Ökosystem entstehen kann. Cloudflares neue Tools und Partnerschaften geben Website-Betreibern mehr Sichtbarkeit und kommerzielle Chancen. Sie kommen KI-Unternehmen zugute, deren Bots eine klare und transparente Absicht verfolgen. Wir hoffen, dass unsere vorgeschlagenen Standardänderungen Mixed-Use-Crawler dazu ermutigen, Suche von Agentennutzung und Training zu trennen.”

Eine Frist, um den Freifahrtschein für Mixed-Use-Crawler zu beenden

Nach tausenden Gesprächen mit KI-Unternehmen und Website-Betreibern steht für Cloudflare eines fest: Die meisten Website-Betreiber wollen in KI auffindbar sein. Für diejenigen jedoch, die über Werbung und/oder Abonnements monetarisieren, sollte maximale Auffindbarkeit nicht bedeuten, geistiges Eigentum kostenlos herzugeben. Transparente KI-Unternehmen haben dies ermöglicht, indem sie ihre Bots klar nach Absicht getrennt und gekennzeichnet haben. Mixed-Crawler-Bots hingegen benachteiligen sowohl Website-Betreiber als auch transparente KI-Unternehmen, indem sie Suche, Agentennutzung und Training vermischen. Dies zwingt Inhalteigentümer zur Wahl, entweder auffindbar zu sein oder ihre wertvollsten Inhalte ohne Vergütung herzugeben.

In den nächsten zwei Monaten wird Cloudflare mit dem Ökosystem in den Austausch treten, Feedback anhören und Tests durchführen, um neue Standards und Klassifizierungen mit einer Frist bis zum 15. September 2026 festzulegen.

Für Neukunden und für neue Websites bestehender Kunden werden die Standardeinstellungen am 15. September 2026 so gesetzt, dass die Suche erlaubt, Training und Agentennutzung für Seiten mit Werbung jedoch blockiert werden. Mixed-Crawler, die Website-Betreibern nicht die Möglichkeit geben, zwischen Suche, Agentennutzung und Training zu wählen, werden auf allen Seiten mit Werbung blockiert. Diese Einstellungen können von Kunden jederzeit in ihrem Dashboard geändert werden.

Am 15. September 2026 werden diese Änderungen auch für alle bestehenden kostenlosen Kunden vorgenommen, die ihre Einstellungen bis zum 15. September 2026 nicht in ihrem Dashboard geändert haben. Diese Änderungen zielen darauf ab, gleiche Wettbewerbsbedingungen zwischen KI-Unternehmen, die auf gerechte und transparente Weise neu definieren, was Auffindbarkeit in einer agentischen Ära bedeutet, und althergebrachten Suchunternehmen zu schaffen.

Verbesserte Analysen zur Steigerung der Sichtbarkeit und Monetarisierung von Inhalten

Und der Markt für monetarisierte Inhalte ist da: Verlage und KI-Plattformen haben allein im vergangenen Jahr mehr als 50 bedeutende Content-Lizenzvereinbarungen unterzeichnet. Um dies zu beschleunigen, führt Cloudflare das neue Dashboard „Attribution Business Insights” ein, das die Datenasymmetrie beseitigt, die Inhalteigentümer lange dazu zwang, im Dunkeln zu verhandeln. Zum ersten Mal können Entscheidungsträger — nicht nur IT-Sicherheits- und IT-Teams — klar erkennen, wie KI-Bots ihre Inhalte nutzen, und nachverfolgen, wie viel menschlichen Traffic bestimmte KI-Unternehmen tatsächlich zurücksenden.

Doch zu verstehen, wie KI Inhalte konsumiert, ist nur der erste Schritt. Da sich die Entdeckung von Suchmaschinen zu Antwortmaschinen verlagert, müssen Kunden eine neue Disziplin perfektionieren: Answer Engine Optimization (AEO). Bei AEO geht es darum, nicht nur zu verstehen, wer crawlt, sondern wie Inhalte in KI-generierten Antworten zitiert werden — wie oft und wie prominent, über verschiedene Modelle hinweg. So wie Web-Analytics zur unverzichtbaren Infrastruktur der Suchära wurde, will Cloudflare die maßgebliche Mess- und Optimierungsebene für die KI-Ära bereitstellen.

Intelligentere Suche und faire Vergütung

Dabei steht fest: Ausgehandelte Deals können für die größten Verlage funktionieren, aber sie lassen sich nicht auf den Rest des Web übertragen. Cloudflare arbeitet an zwei Fronten, die Urhebern und KI-Unternehmen gleichermaßen helfen: die KI-Suche effizienter zu machen und Urheber automatisch zu vergüten, wenn ihre Arbeit genutzt wird. Heute crawlen KI-Modelle und Suchmaschinen wiederholt Millionen unveränderter Webseiten auf der Suche nach frischen Daten, um Nutzeranfragen zu beantworten. Cloudflare-Daten deuten darauf hin, dass über 50 % des Crawl-Traffics von KI-Crawlern für das erneute Abrufen unveränderter Seiten aufgewendet wird. Das Ergebnis ist verschwendete Bandbreite für Verlage, verschwendete Rechenleistung für KI-Unternehmen — und trotzdem keine besseren Antworten als Gegenwert. Da Cloudflare sehen kann, was sich tatsächlich geändert hat, kann es signalisieren, wann eine Seite ein erneutes Abrufen wert ist und wann nicht — und so überflüssige Crawls reduzieren sowie gleichzeitig bessere Ergebnisse liefern. Cloudflare testet diese Signale mit führenden KI-Unternehmen, um zu messen, wie stark sie die Aktualität verbessern und verschwendetes Crawling verringern, und plant, sie später in diesem Jahr breit verfügbar zu machen.

Vor einem Jahr, am ersten Content Independence Day , startete Cloudflare die erste Version von Pay Per Crawl , damit Verlage KI-Unternehmen dafür in Rechnung stellen können, ihre Inhalte zu crawlen. Heute entwickelt Cloudflare Pay Per Crawl zu Pay Per Use weiter. Das bedeutet, dass Verlage vergütet werden, wenn ihre Inhalte tatsächlich Wert schaffen — und nicht nur, wenn sie abgerufen werden. Das Unternehmen arbeitet mit Top-Partnern wie Ceramic.ai und You.com zusammen, um dieses Prinzip in einen funktionierenden Markt zu verwandeln. Bei Ceramic.ai wird ein Verlag, sofern er sich dafür entscheidet, jedes Mal vergütet, wenn seine Inhalte in Ceramics KI-Suchergebnissen erscheinen, und erhält die Suchanfragen, Zitierungen und das Ranking zurück. Andere KI-Unternehmen können das Modell einbringen, das zu ihrer Arbeitsweise passt — You.com etwa wird es einem Agenten ermöglichen, bei Bedarf für ein bestimmtes Stück Premium-Inhalt zu zahlen, das er benötigt, während Cloudflare die gemeinsame Grundlage unter ihnen allen bereitstellt.

Ein Jahr Content Independence: Was auf den Weg gebracht wurde

Beim letztjährigen Content Independence Day ging es im Kern um Verteidigung — darum, Unternehmen die Werkzeuge zu geben, um die Kontrolle über ihre Daten zurückzugewinnen. In den vergangenen zwölf Monaten hat Cloudflare mit Nachdruck die Infrastruktur aufgebaut, die erforderlich ist, um von bloßem Schutz zu aktiver Gestaltung überzugehen. Die heutigen Ankündigungen stellen den Höhepunkt dieses Fundaments dar und erfüllen drei Säulen für ein nachhaltiges Ökosystem: Kontrolle, Transparenz und Monetarisierung. Letztes Jahr führte Cloudflare AI Crawl Control ein, das ein erlaubnisbasiertes Modell für das KI-Crawling etablierte. Um diese Schutzmechanismen zu demokratisieren, ging Cloudflare Partnerschaften mit Plattformen wie beehiiv ein und stattete sowohl unabhängige Urheber als auch große Medienhäuser mit granularen Dashboards aus, um KI-Modelle einfach zu verfolgen, zu blockieren oder gezielt zuzulassen.

Um Agenteninteraktionen grundlegend abzusichern, trieb Cloudflare außerdem Web Bot Auth voran — ein offenes Framework, das es KI-Bots und autonomen Shopping-Agenten ermöglicht, ihre Identität und Legitimität gegenüber Verlagen und Händlern zu verifizieren. Cloudflare hat zudem mit führenden Zahlungsdienstleistern zusammengearbeitet, um die grundlegenden Zahlungsschienen für die entstehende agentische Handelsökonomie zu legen. Aufbauend direkt auf Web Bot Auth hilft Cloudflare ihnen sicherzustellen, dass KI-Shopping-Agenten bei Millionen von Händlern weltweit sicher Transaktionen durchführen können, ohne rohe Zugangsdaten preiszugeben. Letztlich tragen diese Initiativen dazu bei, das Rückgrat für eine nachhaltige agentische Ökonomie bereitzustellen und sicherzustellen, dass die nächste Ära des Internets auf Transparenz, Auffindbarkeit und fairer Vergütung aufgebaut ist.

Das sagen Partner zu der Initiative:

beehiiv: „Wir treten in eine neue Ära ein, in der die Auffindbarkeit von Content komplett neu definiert wird. Und unabhängige Urheber verdienen es, an vorderster Front dieses Wandels zu stehen. In Zukunft geht es darum, Urhebern die Kontrolle über ihre Inhalte und ihr Publikum zu geben. Wir wollen den Autoren das Steuer in die Hand geben, damit sie sich einfach für das neue, agentische Internet entscheiden, ihre Sichtbarkeit in den Antwortmaschinen der nächsten Generation maximieren und ihr Publikum aktiv nach ihren eigenen Vorstellungen ausbauen können.” – Tyler Denk, CEO

Ceramic.ai: „Um die Zukunft der KI-Suche zu skalieren, brauchen wir einen Partner mit enormer Reichweite und einem gemeinsamen Bekenntnis zu Transparenz und fairer Vergütung. Cloudflare ermöglicht es uns, unseren Betrieb einfach und programmatisch zu skalieren. Indem wir unser Pay-per-Query-Modell in ihr Netzwerk einbringen, stellen wir sicher, dass sich Millionen von Content-Eigentümern dafür entscheiden können, jedes Mal vergütet zu werden, wenn ihre Inhalte in unseren Suchergebnissen erscheinen.” – Anna Patterson, Gründerin und CEO

Condé Nast: „Im vergangenen Jahr hat Cloudflare Premium-Verlage wie Condé Nast unterstützt, indem es sich dafür eingesetzt hat, dass wir für unsere Inhalte als wesentliche Bausteine des KI-Ökosystems vergütet werden. Sie bieten eine marktführende technische Infrastruktur und sind nach wie vor ein Ideenpartner für das, was als Nächstes kommt.” – Geoff Campbell, SVP Strategy & Business Development

Patreon: „Da KI-Agenten immer leistungsfähiger und beliebter werden, verdienen Urheber ein echtes Mitspracherecht darüber, wie ihre Arbeit von KI-Unternehmen genutzt wird. Im Großteil des Internets müssen Urheber das KI-Training mit ihrer Arbeit hinnehmen, nur um ein Publikum zu erreichen und aufzubauen. Patreon hat eine andere Vision: Urheber sollten ihr Publikum erweitern und zugleich kontrollieren können, wie ihre Arbeit genutzt wird. Deshalb bauen wir auf unserer bestehenden Zusammenarbeit mit Cloudflare auf, um bekannte KI-Trainings-Crawler auf Netzwerkebene über ganz Patreon hinweg zu blockieren – und gleichzeitig weiterhin jene Crawler zuzulassen, die Urhebern helfen, entdeckt zu werden und ihr Geschäft über die Suche auszubauen.” – Drew Rowny, SVP of Product