CitedBy

CitedBy ist ein Audit-Tool aus Spanien, das Websites crawlt und meldet, was ihre Seiten für KI-Suche und Suchmaschinen blockiert oder schwächt. Zu jedem Problem gehört ein Korrekturvorschlag zum Einfügen, gleichartige Probleme auf vielen Seiten werden zu einer Korrektur mit Seitenzahl zusammengefasst. Ein kostenloser Check umfasst bis zu 10 Seiten ohne Konto, daneben gibt es Einzelaudits und Abonnements mit wiederkehrenden Crawls. Über die Google Search Console lassen sich Klickdaten einbinden, nach denen Korrekturen gereiht werden. Der Crawler CitedBot liest nur öffentliche Seiten und führt kein JavaScript aus.

Website und Datenbank liegen bei Hetzner Online auf Servern in Finnland, Zahlungen laufen über Stripe Payments Europe in Irland. Der Kern der Auswertung nutzt jedoch einen US-Konzern: Anthropic erhält den öffentlichen Text der gecrawlten Seiten, um sie zu bewerten und Korrekturen zu schreiben, mit möglicher Übermittlung an Anthropic PBC in den USA per Standardvertragsklauseln. Laut Datenschutzerklärung liest der Betreiber mit Anthropic-Tools außerdem Server-Logs, Support-Mails und, nur lesend, Konto- und Zahlungsdaten. Bei Consumer-Tarifen ist Anthropic dabei eigenständiger Verantwortlicher. Weitere US-Dienste sind unter anderem Resend für E-Mails, OpenRouter, PostHog als Betreiber der Analyse in der EU-Cloud in Frankfurt, Google für nächtliche Backups und Cloudflare für DNS-Abfragen. Optional meldet CitedBy URLs per IndexNow an Suchmaschinen, darunter Yandex aus Russland; das lässt sich durch Entfernen der Schlüsseldatei beenden.

CitedBy prüft, ob robots.txt und Firewalls Crawler wie OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot und Google-Extended zulassen, mit einer Live-Anfrage je Crawler. Dazu kommen Indexierungsrisiken wie Sitemap-Fehler und doppelte Texte sowie Seiten, die ohne JavaScript leer bleiben. Auch defekte Links, Weiterleitungsketten, langsame und verwaiste Seiten sowie Canonicals gehören zur Prüfung. Bei Titeln, Überschriften und strukturierten Daten werden fehlende oder doppelte Angaben gemeldet. Zusätzlich erfasst das Tool, ob FAQ-, Preis- und Vergleichsseiten vorhanden sind.