[vgwort line=“44″ server=“vg05″ openid=“8359f0e60cc9478284d14251ed4c7f04″] Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher die Crawler der großen Suchmaschinenbetreiber Bing / MSN, Baidu, Google, Yahoo oder Yandrex. Dass deren Crawler regelmäßig vorbei schauen ist wichtig, damit eine Seite in den Suchergebnissen gefunden wird. Aber… Bots, Crawler und Spider weiterlesen
Schlagwort: Bots
Falsche Bots finden
[vgwort line=“3″ server=“vg05″ openid=“bb604c64c93d49f59cd72e9b16a27747″] Geschützte Seiten, die trotzdem über Google gefunden werden wollen, erlauben den Zugriff, wenn er von Google kommt. Im einfachen Fall fragt der Server nur den User Agent String ab. Kennzeichnet er den Aufrufer als Googlebot, wird der Zugriff erlaubt. Dies wird gerne ausgenutzt um einen Zugriffsschutz zu umgehen. Manche Crawler oder… Falsche Bots finden weiterlesen
Robots.txt
Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. Als erstes habe ich meine robots.txt überarbeitet. Die Standard-Datei, die WordPress installiert ist doch etwas zu schwarz /weiß. Natürlich bietet dies keine Sicherheit und der WordPress Source Code ist bekannt,… Robots.txt weiterlesen