[vgwort line=“44″ server=“vg05″ openid=“8359f0e60cc9478284d14251ed4c7f04″] Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher die Crawler der großen Suchmaschinenbetreiber Bing / MSN, Baidu, Google, Yahoo oder Yandrex. Dass deren Crawler regelmäßig vorbei schauen ist wichtig, damit eine Seite in den Suchergebnissen gefunden wird. Aber… Bots, Crawler und Spider weiterlesen
Schlagwort: crawler
Freundliche und unfreundliche Crawler
[vgwort line=“66″ server=“vg08″ openid=“9657bdce93e24aea830d9116f2af4d8b“] Vor einigen Monaten habe ich schon einmal etwas über die Möglichkeiten unfreundliche Crawler (Siehe: Unfreundliche Web-Crawler aussperren) zu sperren geschrieben. Heute war wieder etwas Zeit, nach zu schauen, ob die Maßnahmen gewirkt haben. Sehr viele Zugriffe kamen bisher vom Pixray-Seeker, dem ich daraufhin den Zugriff auf jpg und gif Dateien verboten… Freundliche und unfreundliche Crawler weiterlesen
80legs
[vgwort line=“19″ server=“vg08″ openid=“586d5cafe69543938f2dd7c2dc8dc0b9″] 80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler mit einer spezifischen Suchanfrage beauftragen. Im Prinzip bekommt nur der Kunde das Ergebnis zu sehen, der auch dafür bezahlt hat. Wenn ich die Beschreibung richtig verstanden habe, kann ein Kunde… 80legs weiterlesen
Private Krankenversicherung Spam
[vgwort line=“18″ server=“vg08″ openid=“a4b4bdf42d05492ab788a4ae2aad422b“] Heute kam wieder eine Private Krankenversicherungsspam in meine Mailbox; diesmal von Herrn Carl Kaiser. Nichts ungewöhnliches, nichts besonderes. Der Link – http://www.beratung-und-analyse3.info – führte zur Bekannten Adresssammelseite. Diese Seite zeigt nichts außergewöhnliches, sie ist jedoch Trick reich gestaltet. Die Seite besteht fast nur aus dem Hintergrundbild, über das ein Eingabeformular positioniert… Private Krankenversicherung Spam weiterlesen
Robots.txt
Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. Als erstes habe ich meine robots.txt überarbeitet. Die Standard-Datei, die WordPress installiert ist doch etwas zu schwarz /weiß. Natürlich bietet dies keine Sicherheit und der WordPress Source Code ist bekannt,… Robots.txt weiterlesen