Cloudflare AI Search: Unternehmenswissen für Agenten sicher erschließen

Cloudflare AI Search soll KI-Agenten eine verwaltete Suche über eigene Websites und Dateisammlungen geben. Das Produkt bündelt Schritte, die Unternehmen zuvor aus mehreren Cloudflare-Diensten selbst zusammensetzen mussten: Crawling, Aufnahme, Embeddings, Speicherung und Retrieval. Damit verschiebt sich die Aufgabe vom Aufbau einer Suchpipeline hin zur kontrollierten Auswahl von Quellen, Zugriffswegen und Qualitätsregeln.

Bestätigt ist laut Cloudflare, dass strukturierte und unstrukturierte Dateien sowie Websites als Datenquellen dienen können. Die neue Discover-Option folgt Links über Browser Run und kann Websites auch ohne Sitemap erfassen. Für Website-Quellen muss die Domain derzeit als Zone im Cloudflare-Konto liegen; weitere Eigentumsnachweise sind angekündigt. Der Crawler identifiziert sich als Cloudflare-AI-Search und soll robots.txt sowie Bot-Kontrollen respektieren.

Was Cloudflare AI Search technisch übernimmt

AI Search verbindet semantische und klassische Stichwortsuche in einer hybriden Anfrage. Embeddings ordnen Inhalte als Vektoren ein, während Reranking die Treffer nach Relevanz sortiert. Antwortgenerierung und Query-Rewriting sind optionale nachgelagerte Schritte und werden über ein ausgewähltes Modell abgerechnet. Das Produkt ist damit zunächst eine Suchschicht; ob ein Agent aus Treffern eine Antwort erzeugt oder eine Aktion ausführt, bleibt eine separate Architekturentscheidung.

Mehrere einzelne Suchinstanzen lassen sich in einem Namespace bündeln. Ein Agent kann dadurch beispielsweise Dokumentation, Produktseiten, Blog und Community mit einer Anfrage durchsuchen. Die Treffer enthalten laut Anbieter Quellen und die jeweilige Instanz. Für Unternehmen ist diese Herkunftsinformation entscheidend, weil eine Antwort nur dann überprüfbar ist, wenn erkennbar bleibt, aus welchem Index und Dokument sie stammt.

• Verwaltete Aufnahme nutzen, wenn Crawling, Embeddings und Speicherung nicht als eigene Plattform betrieben werden sollen.
• Getrennte Instanzen anlegen, wenn Datenbestände unterschiedliche Eigentümer, Aktualisierungszyklen oder Risikoklassen haben.
• Namespaces einsetzen, wenn ein Agent mehrere freigegebene Indizes gemeinsam durchsuchen muss.
• Antwortgenerierung getrennt bewerten, weil gute Treffer noch keine korrekte oder zulässige Antwort garantieren.

Search-, MCP- und Worker-Zugriff richtig absichern

Für die Integration nennt Cloudflare zwei Wege. Ein Worker kann den Namespace als Binding erhalten und die Suche als eigenes MCP-Tool oder innerhalb einer Anwendung bereitstellen. Alternativ lassen sich öffentliche Search- und MCP-Endpunkte ohne zusätzliche Bereitstellung aktivieren. Eine eigene Domain ermöglicht Branding; Cloudflare Access kann vor nicht öffentliche Suchen geschaltet werden.

Der Begriff „public“ ist dabei wörtlich zu nehmen: Laut Produktbeschreibung ist ein öffentlicher Endpunkt ohne Authentifizierung erreichbar. Ein solcher Zugang sollte nur bewusst für tatsächlich öffentliche Inhalte aktiviert werden. Bei internen Daten braucht es eine vorgeschaltete Zugriffskontrolle und eine Prüfung, ob Suchergebnisse Berechtigungsgrenzen zwischen Teams oder Mandanten einhalten.

1. Quelle klassifizieren: Vor der Aufnahme festlegen, ob Inhalte öffentlich, intern, vertraulich oder besonders geschützt sind.
2. Indexgrenze definieren: Unterschiedliche Rechte und Eigentümer in getrennten Suchinstanzen halten.
3. Endpunkt wählen: Öffentliche Endpunkte nur für öffentliche Daten; interne Zugriffe über kontrollierte Anwendungen oder Cloudflare Access führen.
4. Agentenrechte begrenzen: Suche und nachgelagerte Aktionen trennen, damit ein Treffer nicht automatisch eine Dateiänderung oder externe Aktion auslöst.
5. Nachvollziehbarkeit sichern: Anfrage, Trefferquelle, Index, Antwort und verwendetes Modell für relevante Vorgänge protokollieren.

Die Preisvorschau in einen belastbaren Business Case übersetzen

Während der Beta ist AI Search laut Cloudflare kostenlos und die Abrechnung noch nicht aktiv. Für die allgemeine Verfügbarkeit nennt der Anbieter eine veränderbare Vorschau: 0,75 US-Dollar je Million aufgenommener Text-Tokens, zusätzlich 0,50 US-Dollar je Million Tokens für Bildverarbeitung, 2 US-Dollar je Gigabyte Speicher und Monat, 0,75 US-Dollar je tausend semantische oder hybride Anfragen sowie 0,10 US-Dollar je tausend Volltextanfragen. Als monatliche Freikontingente werden fünf Millionen Ingestion-Tokens, zehn Gigabyte Speicher und zweitausend Anfragen genannt.

Diese Werte sind bestätigte Anbieterangaben, aber noch keine festen Produktionspreise. Embedding und Reranking sind mit ausgewählten Standardmodellen von Workers AI enthalten; andere Modelle oder Drittanbieter können weitere Kosten verursachen. Auch optionale Antwortgenerierung und Query-Rewriting müssen separat berücksichtigt werden.

• Erstaufnahme und laufende Änderungen getrennt kalkulieren.
• Text-, Bild- und Speicheranteile des eigenen Bestands messen.
• Volltext- und hybride Anfragen nach realem Nutzungsmuster schätzen.
• Überlappungen beim Chunking in die aufgenommenen Tokens einrechnen.
• Kosten für Antwortmodell, Monitoring, Tests und menschliche Prüfung ergänzen.
• Kosten pro beantworteter und akzeptierter Nutzerfrage ausweisen.

Cloudflare illustriert die Vorschau mit einem Beispiel aus 20 Millionen Text-Tokens, einer Million Bild-Tokens, rund 1,2 Gigabyte Speicher und 30.000 semantischen Anfragen. Nach Freikontingenten und inklusive Chunk-Überlappung nennt der Anbieter ungefähr 35 US-Dollar im ersten Monat. Das ist keine allgemeine Kostenzusage. Dokumentmenge, Änderungsrate, Bildanteil, Abfragevolumen und Modellwahl müssen für den eigenen Fall neu berechnet werden.

Rolloutplan für einen kontrollierten Wissensbereich

Ein guter Pilot beginnt mit einem fachlich klaren, nicht vertraulichen Wissensbereich. Geeignet ist beispielsweise eine öffentliche Produktdokumentation, für die Verantwortliche, Aktualisierungsrhythmus und erwartete Fragen bekannt sind. Interne Personal-, Vertrags- oder Finanzdaten sollten nicht der erste Testbestand sein.

1. Bestand festlegen: Nur freigegebene Quellen mit klarer Eigentümerschaft indexieren und erwartete Aktualisierungen dokumentieren.
2. Testset erstellen: Typische Fragen, korrekte Quellen, Nicht-Treffer und veraltete Inhalte vor dem Pilot definieren.
3. Suche isoliert prüfen: Relevanz, Quellenzuordnung, Vollständigkeit und Löschung testen, bevor ein Antwortmodell ergänzt wird.
4. Zugriff absichern: Endpunkt, Authentifizierung, Indexgrenzen und Protokollierung mit realistischen Rollen testen.
5. Schrittweise erweitern: Weitere Quellen erst aufnehmen, wenn Qualität, Aktualisierung, Löschung und Kosten stabil messbar sind.

Für den laufenden Betrieb braucht es Kennzahlen zu nicht gefundenen Inhalten, veralteten Treffern, falscher Quellenzuordnung, Antwortlatenz und Kosten. Ebenso wichtig ist ein Löschtest: Wenn ein Dokument entfernt oder eine Berechtigung entzogen wird, muss nachvollziehbar sein, wann es nicht mehr gefunden werden kann. Ohne diesen Nachweis bleibt die Suchschicht für sensible Unternehmensdaten ungeeignet.

Fazit für Entscheider

Cloudflare AI Search reduziert den technischen Aufwand für eine Suchschicht über Dateien und Websites. Hybrid Search, Reranking, Namespaces sowie Search- und MCP-Zugänge können den Aufbau agentischer Wissensprozesse beschleunigen. Der entscheidende Aufwand verschwindet jedoch nicht, sondern wandert in Governance und Betrieb: Welche Inhalte werden aufgenommen, wer darf sie finden, wie werden Änderungen und Löschungen verarbeitet und was kostet eine akzeptierte Antwort? Wer diese Fragen zuerst löst, kann die verwaltete Technik nutzen, ohne Suchbarkeit mit Berechtigung oder Wahrheit zu verwechseln.