AI-SEO-Dashboard für Crawler-Monitoring

AI Crawler Insights

Analysiere KI-Bot-Traffic, robots.txt für KI, AI-Search-Sichtbarkeit und Agent-Readiness in einer Ansicht für SEO-, Publisher- und Entwicklerteams.

Zeitraum
7d 30d 90d
Aktuelles Signal 90d

Führender Crawler

Googlebot

28.6 Anteil

Top-Crawler-Standort

Gibraltar (GI)

91.5 Aktivitätsindex

Top-KI-Dienst

ChatGPT / OpenAI

15 Index

Springe zu

Alle Signale auf einer Seite

Scanne zuerst die komplette Live-Ansicht und springe dann zum Datensatz hinter einer Crawler-, Policy-, Ökonomie-, Service- oder Readiness-Frage.

Crawler-Nachfrage

Wer crawlt, warum sie crawlen und ob das Verhalten sauber aussieht.

KI-Bot-Anteil Crawl-Zweck Crawler-Verhalten

Traffic-Wert

Ob Crawl-Last, Client-Typen und Referral-Signale zusammenpassen.

Crawl-/Referral-Signal Client- und Content-Typ

Policy & Readiness

Welche User-Agents explizite Regeln brauchen und welche Agent-Signale fehlen.

robots.txt-User-Agents Agent-Readiness-Checks

Märkte & Geografie

Wo Nachfrage entsteht und welche KI-Dienste Sichtbarkeit gewinnen.

Top-Länder Generative KI-Dienste

KI-Bot-Anteil

Aktualisiert: 2026-06-16T06:30:00Z

Nutze das für: zu entscheiden, welche Crawler Monitoring, Allow-Regeln oder strengere Limits brauchen.

Detailansicht
Googlebot 28.6
Meta-ExternalAgent 13.8
ClaudeBot 12.4
GPTBot 10.5
Bingbot 8.1
Applebot 7.6
Bytespider 7.3
other 5.1
Amazonbot 4.8
Claude-SearchBot 1.7

Crawl-Zweck

Aktualisiert: 2026-06-16T06:30:00Z

Nutze das für: Antwort- und Suchtraffic von Training und unbekannter Crawler-Aktivität zu trennen.

Detailansicht
Training 51.7
Mixed Purpose 36.7
Search 8.6
User Action 2.4
Undeclared 0.6

Top-Länder

Aktualisiert: 2026-06-16T07:30:00Z

Nutze das für: regionalen Crawl-Druck vor Blocks, Caching- oder Infrastrukturänderungen zu erkennen.

Detailansicht
Gibraltar (GI) 91.5
Iran (IR) 77.4
Singapore (SG) 71.3
Ireland (IE) 69.3
American Samoa (AS) 67.7
Netherlands (NL) 65.2
Finland (FI) 57.8
Hong Kong (HK) 54.7
Isle of Man (IM) 53.9
Turkmenistan (TM) 48.4
Azerbaijan (AZ) 47.6
Nigeria (NG) 47.0
Equatorial Guinea (GQ) 46.8
United States (US) 45.9
Germany (DE) 45.8

Crawl-/Referral-Signal

Aktualisiert: 2026-06-16T06:30:00Z

Nutze das für: zu bewerten, ob Crawler-Nachfrage genug Besucherwert zurückgibt.

Detailansicht
Perplexity ∞
OpenAI ∞
Mistral ∞
Anthropic ∞
ByteDance ∞
Google 5066.5

Client- und Content-Typ

Aktualisiert: 2026-06-16T06:30:00Z

Nutze das für: Browser-, Such- und KI-Agenten-Nachfrage vor Policy-Änderungen zu trennen.

Detailansicht
HTML 71.1
JSON 7.2
JavaScript 6.1
Images 5.7
Plain Text 5.3
XML 1.9
CSS 1.7
other 0.8
Binary 0.3

Crawler-Verhalten

Aktualisiert: 2026-06-16T06:30:00Z

Nutze das für: beobachtetes Crawler-Verhalten in Allowlists, Alerts und Rate Limits zu übersetzen.

Detailansicht
200 71.5
403 8.4
301 6.1
404 3.5
302 3.0
other 2.6
206 2.0
204 1.4
429 0.8
304 0.7

Generative KI-Dienste

Aktualisiert: 2026-06-16

Nutze das für: KI-Service-Sichtbarkeit mit Referral-Analytics und Optimierungsprioritäten zu vergleichen.

Detailansicht
ChatGPT / OpenAI #1
Claude / Anthropic #2
Google Gemini #3
Perplexity #4
DeepSeek #5
GitHub Copilot #6
Doubao #7
Grok / xAI #8
Character.AI #9
Suno AI #10
Windsurf AI #11
QuillBot #12
Hugging Face #13
Dola/Cici #14
Replit #15

robots.txt-User-Agents

Aktualisiert: 2026-06-15T00:00:00Z

Nutze das für: zu prüfen, welche KI-User-Agents explizite robots.txt-Direktiven brauchen.

Detailansicht
GPTBot 670
ClaudeBot 573
Google-Extended 540
CCBot 532
Bytespider 458
Googlebot 416
meta-externalagent 408
PerplexityBot 401
Amazonbot 395
Applebot-Extended 372
facebookexternalhit 355
ChatGPT-User 351
OAI-SearchBot 291
bingbot 268
anthropic-ai 246

Agent-Readiness-Checks

Aktualisiert: 2026-06-15

Nutze das für: maschinenlesbare Signale für agentenfreundliche Websites zu priorisieren.

Detailansicht
robotsTxt 89,240
robotsTxtAiRules 85,622
sitemap 73,809
linkHeaders 10,123
markdownNegotiation 7,833
oauthDiscovery 7,258
contentSignals 6,553
ucp 6,459
apiCatalog 257
agentSkills 220
oauthProtectedResource 198
mcpServerCard 197
webBotAuth 40
a2aAgentCard 24
acp 9

Übersicht

Was sich verändert

Starte hier, bevor du Crawl-Policy, Rate Limits, Content-Formate oder KI-Sichtbarkeit priorisierst.

Crawler-Mix prüfen

Öffnen

Googlebot führt aktuell die Crawler-Nachfrage an. Prüfe, ob Logs, Allowlisten und Limits diesen Bot separat behandeln.

Regionale Last bewerten

Öffnen

Gibraltar ist der stärkste Standort im aktuellen Fenster. Nutze das vor pauschalen Länderblocks oder Infrastrukturänderungen.

KI-Sichtbarkeit priorisieren

Öffnen

ChatGPT / OpenAI führt die Service-Signale an. Vergleiche das mit Referral-Qualität, bevor du Content-Formate priorisierst.

Was jetzt zu tun ist

Nach Team nutzen

Jedes Team braucht einen anderen Einstieg. Diese Pfade übersetzen dieselben Daten in operative Entscheidungen.

SEO-Teams

Crawler-Mix, KI-Service-Sichtbarkeit und Referral-Wert zusammen bewerten.

Crawler ansehen

Publisher

Entscheiden, welche Bots erlaubt, blockiert, limitiert oder separat monetarisiert werden.

Policy prüfen

Entwickler

Agent-Readiness, maschinenlesbare Signale und operative Kontrollen priorisieren.

Readiness öffnen

Länderaktivität

Nutze Geografie als Planungssignal, bevor du Crawl-Policies oder regionale Infrastruktur änderst.

Entscheidungspfade

Datenquelle: Cloudflare Radar. Von LLMBase für Publisher- und Agent-Readiness-Workflows aufbereitet.