Für Verlage
Der Daybreak-Bot
Sie sind hier, weil ein Daybreak-Abruf in Ihren Server-Logs aufgetaucht ist. Diese Seite sagt Ihnen, was wir abrufen, wie oft, und wie Sie es unterbinden.
Wer abruft
Daybreak tritt unter zwei getrennten Kennungen auf, weil zwei sehr unterschiedliche Dinge passieren. Die Kennungen sind absichtlich verschieden, damit Sie die eine erlauben und die andere ausschließen können.
DaybreakBot/1.0 (+https://daybreakapp.news/bot)
robots.txt-Kennung: DaybreakBot
Was: Unbeaufsichtigt. Ruft die kuratierten RSS-Feeds ab und holt zu Beiträgen ohne brauchbares Vorschaubild die og:image-Angabe von der Artikelseite — beim Erstellen der Übersicht und auch dann, wenn eine solche Kachel beim Scrollen sichtbar wird.
Wie oft: Alle 10 Minuten pro Feed, höchstens 14 Artikelseiten je Feed und Durchlauf.
Daybreak/1.0 (+https://daybreakapp.news/bot)
robots.txt-Kennung: Daybreak
Was: Von einer Person ausgelöst. Ruft genau die Seite ab, die jemand gerade geöffnet hat — für die Lese-Ansicht samt deren Bild — oder die Vorschau eines selbst hinzugefügten Feeds.
Wie oft: Eine Artikeladresse pro Aufruf — beim Öffnen der Lese-Ansicht bis zu zwei Abrufe davon (Text und, falls nötig, das Vorschaubild) —, keine Wiederholung nach einem Fehlschlag. Diese Kennung wird nicht kryptografisch verifiziert; ein Abruf mit ihr ist daher keine Garantie für eine tatsächliche Nutzerhandlung.
Was wir nicht tun
- Wir durchsuchen Ihre Website nicht. Abgerufen werden ausschließlich Ihr Feed und die genau darin verlinkten Artikel-URLs — wir folgen keinen Links auf der Seite.
- Wir umgehen keine Bezahlschranke. Bleibt vom Volltext nur ein Anreißer übrig, zeigt Daybreak die Feed-Zusammenfassung und verlinkt auf Sie.
- Wir spiegeln Ihre Bilder nicht und legen sie nicht zwischen. Fehlt im Feed ein brauchbares Vorschaubild, lesen wir serverseitig die og:image-Adresse von der Artikelseite; das Bild selbst fragt dann der Browser der Lesenden direkt bei Ihnen an.
- Wir hämmern nach einem Fehlschlag nicht nach. Eine fehlgeschlagene Artikelseite gilt für die Sitzung als endgültig, ein 429 pausiert die Warteschlange. Nur der Feed-Abruf hat einen einzigen erneuten Versuch — und den auch nur, wenn eine ganze Aktualisierung ohne einen einzigen Artikel zurückkam.
Wie Sie es unterbinden
Am schnellsten geht es per E-Mail: Schreiben Sie uns, und wir entfernen Ihre Quelle. Dafür ist keine Begründung nötig, und wir diskutieren nicht darüber.
Sie können auch die HTTP-Ebene nutzen: Ein 403 oder 429 auf eine der obigen Kennungen wird respektiert und nicht umgangen — wir wechseln weder die Kennung noch die Adresse, um darum herumzukommen.
Beide Kennungen befolgen Ihre robots.txt, jede nach ihren eigenen Regeln: „User-agent: DaybreakBot“ betrifft nur den unbeaufsichtigten Abruf, „User-agent: Daybreak“ den bedarfsgesteuerten Abruf. Sie können also die eine Kennung ausschließen und die andere behalten. Wir rufen Ihre robots.txt dabei unter genau der Kennung ab, für die wir sie lesen — sperren Sie also die eine, sehen wir die Regeln für die andere trotzdem. Eine Änderung greift innerhalb von 10 Minuten für jede Seite, die wir noch nicht abgerufen haben; so lange zwischenspeichern wir Ihre robots.txt höchstens. Eine Seite, die zu diesem Zeitpunkt bereits in unserem Zwischenspeicher liegt, kann noch bis zu 10 Minuten länger ausgeliefert werden, weil beide Speicher unabhängig ablaufen — im ungünstigsten Fall also 20 Minuten.
Was robots.txt hier nicht abdeckt: das Abrufen des Feeds selbst — weder Ihrer RSS-Datei noch der Vorschau, die jemand beim Hinzufügen eines eigenen Feeds sieht. Ein Feed ist zum Abruf bestimmt, und robots.txt regelt das Crawlen von Seiten. „User-agent: Daybreak“ hält uns also von Ihren Artikelseiten fern, nicht von Ihrem Feed; dafür genügt eine E-Mail an uns.
Eine Einschränkung, die wir lieber nennen als verschweigen: Lässt sich Ihre robots.txt vorübergehend gar nicht abrufen — ein 5xx, eine Zeitüberschreitung, oder eine abgelehnte Verbindung —, pausiert der unbeaufsichtigte Abruf Ihrer Artikelseiten, der von Personen ausgelöste jedoch nicht. Eine unlesbare Datei lässt sich von außen nicht von einer unterscheiden, die gar nichts verbietet, und wir wollen die Lese-Ansicht nicht für jeden Verlag stilllegen, dessen Server kurz stockt. Ein ausdrückliches „Disallow“ wird in beiden Fällen befolgt; per E-Mail oder mit einem 403 auf die Seite selbst erreichen Sie das sofort und unabhängig davon.