120 mLichtzone
KI-Crawler: wer wirklich kommt — live gezählt
Am 2026-11-21 kamen 105.501 Abrufe von KI-Crawlern an diese Adresse, von 123.056 insgesamt. Das sind die Namen dahinter, wie sie sich selbst melden:
| Wer | Art | Abrufe |
|---|---|---|
| Meta | ai-crawler | 66.527 |
| Anthropic ClaudeBot | ai-crawler | 29.909 |
| ai-crawler | 4.761 | |
| OpenAI GPTBot | ai-crawler | 4.304 |
| Yandex | search | 425 |
| search | 411 | |
| Claude | assistant | 111 |
| Bing | search | 84 |
| OpenAI search | search-ai | 7 |
| Perplexity | search-ai | 1 |
Alle Zahlen, jeden Tag: der Zensus · /census (JSON)
Die KI-Crawler und ihre robots.txt-Namen
| robots.txt | Betreiber | Wofür |
|---|---|---|
GPTBot | OpenAI | collects pages for training OpenAI models |
OAI-SearchBot | OpenAI | indexes pages for ChatGPT search |
ChatGPT-User | OpenAI | fetches a page when a ChatGPT user asks for it |
ClaudeBot | Anthropic | collects pages for training Claude |
Claude-SearchBot | Anthropic | indexes pages for Claude’s web search |
Claude-User | Anthropic | fetches a page when a Claude user asks for it |
PerplexityBot | Perplexity | indexes pages for Perplexity answers |
Perplexity-User | Perplexity | fetches a page for a Perplexity user |
Google-Extended | a robots.txt token only: decides whether Gemini may train on pages Googlebot fetched | |
meta-externalagent | Meta | collects pages for Meta’s AI models |
Applebot-Extended | Apple | a robots.txt token: decides whether Apple may train on pages Applebot fetched |
Amazonbot | Amazon | crawls for Amazon services including Alexa answers |
Bytespider | ByteDance | collects pages for ByteDance models |
CCBot | Common Crawl | builds the open Common Crawl corpus that many models train on |
DuckAssistBot | DuckDuckGo | fetches pages for DuckDuckGo’s AI answers |
MistralAI-User | Mistral | fetches a page when a Le Chat user asks for it |
robots.txt: in Antworten erscheinen, Training sperren
# KI-Suche und Nutzerabrufe erlauben User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Claude-SearchBot User-agent: Claude-User User-agent: PerplexityBot User-agent: Perplexity-User Allow: / # Training sperren User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot User-agent: Bytespider Disallow: /
Ob Ihre Website für diese Crawler offen ist, zeigt die kostenlose Prüfung: KI-Sichtbarkeit prüfen.
Fragen
Welche KI-Crawler gibt es?
Die wichtigsten: GPTBot, OAI-SearchBot und ChatGPT-User (OpenAI), ClaudeBot, Claude-SearchBot und Claude-User (Anthropic), PerplexityBot, meta-externalagent (Meta), Amazonbot, Bytespider, CCBot sowie die robots.txt-Zeichen Google-Extended und Applebot-Extended.
Soll ich KI-Crawler sperren?
Wer in Antworten von ChatGPT, Claude oder Perplexity vorkommen will, lässt die Such- und Nutzer-Crawler herein. Training lässt sich getrennt davon sperren, etwa GPTBot, ClaudeBot und Google-Extended.
Woher kommen die Zahlen?
Aus dem öffentlichen Zensus von Mare Liberum: jeder Abruf dieser Adresse, nach Kennung eingeordnet, ohne Speicherung von Personen. Stand: 2026-11-21.