AI-SEO-Dashboard für Crawler-Monitoring

AI Crawler Insights

Analysiere KI-Bot-Traffic, robots.txt für KI, AI-Search-Sichtbarkeit und Agent-Readiness in einer Ansicht für SEO-, Publisher- und Entwicklerteams.

Zeitraum
7d 30d 90d
Aktuelles Signal 30d

Führender Crawler

Googlebot

26.6 Anteil

Top-Crawler-Standort

Gibraltar (GI)

91.8 Aktivitätsindex

Top-KI-Dienst

ChatGPT / OpenAI

15 Index

Springe zu

Alle Signale auf einer Seite

Scanne zuerst die komplette Live-Ansicht und springe dann zum Datensatz hinter einer Crawler-, Policy-, Ökonomie-, Service- oder Readiness-Frage.

Crawler-Nachfrage

Wer crawlt, warum sie crawlen und ob das Verhalten sauber aussieht.

KI-Bot-Anteil Crawl-Zweck Crawler-Verhalten

Traffic-Wert

Ob Crawl-Last, Client-Typen und Referral-Signale zusammenpassen.

Crawl-/Referral-Signal Client- und Content-Typ

Policy & Readiness

Welche User-Agents explizite Regeln brauchen und welche Agent-Signale fehlen.

robots.txt-User-Agents Agent-Readiness-Checks

Märkte & Geografie

Wo Nachfrage entsteht und welche KI-Dienste Sichtbarkeit gewinnen.

Top-Länder Generative KI-Dienste

KI-Bot-Anteil

Aktualisiert: 2026-06-12T02:30:00Z

Nutze das für: zu entscheiden, welche Crawler Monitoring, Allow-Regeln oder strengere Limits brauchen.

Detailansicht
Googlebot 26.6
ClaudeBot 13.3
Meta-ExternalAgent 12.4
GPTBot 9.6
Bytespider 9.5
Bingbot 8.2
Applebot 6.8
Amazonbot 5.4
other 5.3
Claude-SearchBot 2.8

Crawl-Zweck

Aktualisiert: 2026-06-12T02:30:00Z

Nutze das für: Antwort- und Suchtraffic von Training und unbekannter Crawler-Aktivität zu trennen.

Detailansicht
Training 51.8
Mixed Purpose 34.8
Search 10.1
User Action 2.7
Undeclared 0.7

Top-Länder

Aktualisiert: 2026-06-12T03:30:00Z

Nutze das für: regionalen Crawl-Druck vor Blocks, Caching- oder Infrastrukturänderungen zu erkennen.

Detailansicht
Gibraltar (GI) 91.8
Iran (IR) 76.8
Singapore (SG) 74.2
Ireland (IE) 70.4
Netherlands (NL) 67.0
Finland (FI) 59.6
Hong Kong (HK) 56.5
Isle of Man (IM) 53.9
China (CN) 48.0
Azerbaijan (AZ) 47.9
Equatorial Guinea (GQ) 47.7
United States (US) 47.3
Germany (DE) 46.4
Nigeria (NG) 46.2
Russian Federation (RU) 42.2

Crawl-/Referral-Signal

Aktualisiert: 2026-06-12T02:30:00Z

Nutze das für: zu bewerten, ob Crawler-Nachfrage genug Besucherwert zurückgibt.

Detailansicht
Perplexity ∞
OpenAI ∞
Mistral ∞
ByteDance ∞
Anthropic ∞
Google 1702.4

Client- und Content-Typ

Aktualisiert: 2026-06-12T02:30:00Z

Nutze das für: Browser-, Such- und KI-Agenten-Nachfrage vor Policy-Änderungen zu trennen.

Detailansicht
HTML 70.5
JSON 6.9
JavaScript 6.5
Images 6.4
Plain Text 4.9
CSS 1.9
XML 1.8
other 0.8
Binary 0.2

Crawler-Verhalten

Aktualisiert: 2026-06-12T02:30:00Z

Nutze das für: beobachtetes Crawler-Verhalten in Allowlists, Alerts und Rate Limits zu übersetzen.

Detailansicht
200 71.4
403 9.0
301 5.7
404 3.4
302 3.0
206 2.5
other 2.1
204 1.3
429 0.8
304 0.7

Generative KI-Dienste

Aktualisiert: 2026-06-12

Nutze das für: KI-Service-Sichtbarkeit mit Referral-Analytics und Optimierungsprioritäten zu vergleichen.

Detailansicht
ChatGPT / OpenAI #1
Claude / Anthropic #2
Google Gemini #3
Perplexity #4
DeepSeek #5
GitHub Copilot #6
Doubao #7
Grok / xAI #8
Character.AI #9
Windsurf AI #10
QuillBot #11
Suno AI #12
Dola/Cici #13
Hugging Face #14
Replit #15

robots.txt-User-Agents

Aktualisiert: 2026-06-08T00:00:00Z

Nutze das für: zu prüfen, welche KI-User-Agents explizite robots.txt-Direktiven brauchen.

Detailansicht
GPTBot 652
ClaudeBot 548
Google-Extended 519
CCBot 514
Bytespider 437
Googlebot 412
PerplexityBot 386
meta-externalagent 384
Amazonbot 381
Applebot-Extended 357
facebookexternalhit 351
ChatGPT-User 347
OAI-SearchBot 284
bingbot 269
anthropic-ai 244

Agent-Readiness-Checks

Aktualisiert: 2026-06-08

Nutze das für: maschinenlesbare Signale für agentenfreundliche Websites zu priorisieren.

Detailansicht
robotsTxt 91,571
robotsTxtAiRules 87,809
sitemap 76,055
linkHeaders 10,491
markdownNegotiation 7,497
oauthDiscovery 7,210
ucp 6,407
contentSignals 6,003
apiCatalog 241
agentSkills 203
oauthProtectedResource 184
mcpServerCard 183
webBotAuth 33
a2aAgentCard 23
mpp 6

Übersicht

Was sich verändert

Starte hier, bevor du Crawl-Policy, Rate Limits, Content-Formate oder KI-Sichtbarkeit priorisierst.

Crawler-Mix prüfen

Öffnen

Googlebot führt aktuell die Crawler-Nachfrage an. Prüfe, ob Logs, Allowlisten und Limits diesen Bot separat behandeln.

Regionale Last bewerten

Öffnen

Gibraltar ist der stärkste Standort im aktuellen Fenster. Nutze das vor pauschalen Länderblocks oder Infrastrukturänderungen.

KI-Sichtbarkeit priorisieren

Öffnen

ChatGPT / OpenAI führt die Service-Signale an. Vergleiche das mit Referral-Qualität, bevor du Content-Formate priorisierst.

Was jetzt zu tun ist

Nach Team nutzen

Jedes Team braucht einen anderen Einstieg. Diese Pfade übersetzen dieselben Daten in operative Entscheidungen.

SEO-Teams

Crawler-Mix, KI-Service-Sichtbarkeit und Referral-Wert zusammen bewerten.

Crawler ansehen

Publisher

Entscheiden, welche Bots erlaubt, blockiert, limitiert oder separat monetarisiert werden.

Policy prüfen

Entwickler

Agent-Readiness, maschinenlesbare Signale und operative Kontrollen priorisieren.

Readiness öffnen

Länderaktivität

Nutze Geografie als Planungssignal, bevor du Crawl-Policies oder regionale Infrastruktur änderst.

Entscheidungspfade

Datenquelle: Cloudflare Radar. Von LLMBase für Publisher- und Agent-Readiness-Workflows aufbereitet.