PEXELS

PexelsBot

PexelsBot ist der Crawler der deutschsprachigen Websuche auf pexels.de. Er liest öffentlich zugängliche Websites, damit sie in unserer Suche gefunden werden können.

pexels.de ist nicht verbunden mit pexels.com oder Canva und nutzt deren Inhalte, Marken oder Bilder nicht.

Woran Sie PexelsBot erkennen

User-Agent	`Mozilla/5.0 (compatible; PexelsBot/1.0; +https://pexels.de/bot)`
From-Header	`bot@pexels.de`
Produkt-Token für robots.txt	`PexelsBot` (Groß- und Kleinschreibung egal)
Abruf-Adressen	Wir veröffentlichen sie hier, sobald unsere feste Crawler-Adresse mit Rückwärtsauflösung eingerichtet ist.

Wozu wir crawlen

Wir bauen einen Suchindex für deutsche Websites. Ein Treffer zeigt den Titel, einen kurzen Ausschnitt und den Link auf Ihre Seite. Wer sucht, landet bei Ihnen.

Wir nutzen die Inhalte ausschließlich für die Suche auf pexels.de.
Wir trainieren damit keine KI-Modelle und geben die Inhalte nicht an Dritte weiter.
Wir laden keine Bilddateien, nur deren Adresse und Beschreibung.

So rücksichtsvoll crawlen wir

Je Hostname höchstens eine Verbindung gleichzeitig und mindestens 2 Sekunden Abstand zwischen zwei Abrufen. Antwortet Ihr Server langsam, warten wir länger, bis zu 30 Sekunden.
Ein Crawl-delay in Ihrer robots.txt halten wir voll ein.
Beim ersten Besuch holen wir höchstens 50 Seiten je Hostname und stellen höchstens 300 Anfragen je Domain in 24 Stunden, alle Subdomains zusammen. Für Partner, die uns beauftragt haben, sind es bis zu 200 Seiten.
Spätere Besuche richten sich nach dem Umfang der Website. Schneller als die Abstandsregel werden sie nie.
Bei 429 oder 503 halten wir Retry-After genau ein. Ohne diese Angabe pausieren wir mindestens eine Stunde (429) bzw. zehn Minuten (503) und verdoppeln die Pause bei Wiederholung. Den Abstand für Ihren Host verdoppeln wir dann ebenfalls, bis zu fünf Minuten.
Wir rufen nur mit GET ab, senden keine Formulare, setzen keine Cookies und melden uns nirgends an.
Schutzseiten wie Cloudflare-Challenges umgehen wir nie. Wir versuchen es frühestens nach 30 Tagen erneut.
Wir lesen je Seite höchstens 2 MiB. Größere Dateien, PDFs, Bilder und Archive laden wir nicht.

So steuern oder sperren Sie PexelsBot

robots.txt

Wir folgen dem Standard RFC 9309. Eine Gruppe für PexelsBot hat Vorrang vor User-agent: *. Ganz sperren:

User-agent: PexelsBot
Disallow: /

Nur Bereiche sperren und den Abstand vergrößern:

User-agent: PexelsBot
Disallow: /intern/
Disallow: /suche
Crawl-delay: 10

Wir lesen Ihre robots.txt höchstens alle 24 Stunden neu. Eine Änderung wirkt also spätestens nach einem Tag.
Antwortet die robots.txt mit 404 oder einem anderen 4xx-Fehler, gilt alles als erlaubt. Antwortet sie mit 429 oder einem 5xx-Fehler, crawlen wir gar nichts und fragen später erneut.
Eine Zeile Content-Signal: search=no behandeln wir wie Disallow: /.

Einzelne Seiten

<meta name="robots" content="noindex">
<meta name="pexelsbot" content="noindex, nofollow">
X-Robots-Tag: noindex

Wir beachten noindex, nofollow, none, nosnippet, noimageindex und max-snippet. Links mit rel="nofollow", sponsored oder ugc verfolgen wir nicht.

Vorbehalt für Text- und Data-Mining (§ 44b UrhG)

TDM-Reservation: 1
<meta name="tdm-reservation" content="1">

Steht einer dieser Vorbehalte, speichern wir keinen Fließtext Ihrer Seite. Sie bleibt nur über Titel und Beschreibung auffindbar.

Entfernung und Kontakt

Schreiben Sie an bot@pexels.de. Das Postfach wird werktäglich gelesen.

Auf Wunsch entfernen wir Ihre Seiten binnen 72 Stunden aus der Suche und löschen die gespeicherten Daten binnen 30 Tagen physisch. Ihr Host kommt dann auf unsere Sperrliste und wird nicht mehr abgerufen.

Ein Formular für den Widerspruch folgt. Bis dahin genügt eine E-Mail mit dem Hostnamen.

Datenschutzhinweis nach Art. 14 DSGVO

Websites können personenbezogene Daten enthalten, etwa Namen oder Kontaktangaben. Wir informieren Sie deshalb hier über die Verarbeitung durch den Crawler.

Verantwortlicher	Vdirekt GmbH, Engerstraße 86, 32051 Herford, Deutschland, E-Mail bot@pexels.de
Zweck	Betrieb einer allgemeinen Websuche: Seiten finden, Treffer mit Titel, Ausschnitt und Link anzeigen.
Rechtsgrundlage	Art. 6 Abs. 1 lit. f DSGVO. Unser berechtigtes Interesse und das der Suchenden ist eine Suche über öffentlich zugängliche Websites.
Datenarten	Öffentlich abrufbare Inhalte: Text, Titel, Beschreibung, Links, Adressen und Beschreibungen von Bildern, strukturierte Daten. Kontaktangaben nur aus Impressum-, Kontakt- und Über-uns-Seiten oder aus Organisationsangaben der Website; persönliche E-Mail-Adressen nur, wenn die Seite zu einer juristischen Person gehört.
Quelle	Die jeweilige öffentlich zugängliche Website.
Empfänger	Keine Weitergabe an Dritte. Angezeigt werden nur Titel, ein kurzer Ausschnitt und der Link in unseren Suchtreffern.
Speicherung	Auf von uns betriebenen Servern, die Seiteninhalte verschlüsselt. Ist eine Seite zwölf Monate lang nicht mehr erreichbar, löschen wir sie. Bei Widerspruch gilt die Frist oben.
Ihre Rechte	Auskunft, Berichtigung, Löschung, Einschränkung der Verarbeitung und Widerspruch nach Art. 21 DSGVO, jeweils per E-Mail an bot@pexels.de. Sie können sich außerdem bei einer Datenschutz-Aufsichtsbehörde beschweren.

Impressum

Angaben gemäß § 5 DDG

Vdirekt GmbH
Engerstraße 86
32051 Herford
Deutschland

Vertreten durch: Fabian Meier (Geschäftsführer)
Registergericht: Amtsgericht Bad Oeynhausen
Handelsregister: 17803/4 0011
Umsatzsteuer-Identifikationsnummer gemäß § 27 a UStG: DE344821539

Kontakt: bot@pexels.de, Telefon 05221 1438067

Stand: Oktober 2026 · PexelsBot 1.0