Was er tut

Agent Letter Desk führt eine Liste von Unternehmen und ihren Postanschriften, zum Beispiel für Kündigungen. Jeder Eintrag nennt die öffentliche Seite, auf der das Unternehmen die Anschrift veröffentlicht. Etwa einmal im Monat liest unser Bot AgentLetterDeskBot jede dieser Seiten und prüft, ob die Anschrift noch dort steht. Steht sie nicht mehr dort, prüft ein Mensch die Seite.

Wie er eine Seite liest

• Er liest zuerst die robots.txt und hält sich an sie. Erlaubt die robots.txt die Seite nicht, liest der Bot sie nicht.
• Er sendet an eine Website immer nur eine Anfrage auf einmal, mit einigen Sekunden Abstand. Nach einem Serverfehler versucht er es am nächsten Tag noch einmal, höchstens zweimal.
• Er liest nur die eine Seite mit der Anschrift. Er folgt den Weiterleitungen dieser Seite, aber keinen anderen Links.
• Er meldet sich nie an und umgeht nie eine Sperre.
• Er speichert keine Kopie der Seite. Er speichert nur das Ergebnis (Anschrift gefunden oder nicht gefunden), den HTTP-Statuscode, einen Hashwert des Texts rund um die Anschrift sowie die Werte ETag und Last-Modified der Seite, damit er beim nächsten Besuch nur nach einer Änderung fragt. Cookies einer Weiterleitung behält er nur während dieses Besuchs.

So erkennen Sie ihn

Sein User-Agent ist AgentLetterDeskBot/1.0 (+https://agentletterdesk.com/bot). In der robots.txt geben Sie ihm mit dem Produkt-Token AgentLetterDeskBot eigene Regeln.

Fragen oder ihn stoppen

Schreiben Sie an support@agentletterdesk.com, wenn Sie eine Frage haben oder wenn der Bot Ihre Website nicht mehr lesen soll. Sie können ihn auch in der robots.txt sperren.