robots.txt

Bots, Crawler und Spider

[vgwort line=“44″ server=“vg05″ openid=“8359f0e60cc9478284d14251ed4c7f04″] Bots, Crawler oder Spider sind Computer die das World Wide Web nach Inhalten mit unterschiedlichen Zielsetzungen durchforsten. Die bekanntesten sind sicher die Crawler der großen Suchmaschinenbetreiber Bing / MSN, Baidu, Google, Yahoo oder Yandrex. Dass deren Crawler regelmäßig vorbei schauen ist wichtig, damit eine Seite in den Suchergebnissen gefunden wird. Aber… Bots, Crawler und Spider weiterlesen

80legs

[vgwort line=“19″ server=“vg08″ openid=“586d5cafe69543938f2dd7c2dc8dc0b9″] 80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler mit einer spezifischen Suchanfrage beauftragen. Im Prinzip bekommt nur der Kunde das Ergebnis zu sehen, der auch dafür bezahlt hat. Wenn ich die Beschreibung richtig verstanden habe, kann ein Kunde… 80legs weiterlesen

Private Krankenversicherung Spam

[vgwort line=“18″ server=“vg08″ openid=“a4b4bdf42d05492ab788a4ae2aad422b“] Heute kam wieder eine Private Krankenversicherungsspam in meine Mailbox; diesmal von Herrn Carl Kaiser. Nichts ungewöhnliches, nichts besonderes. Der Link – http://www.beratung-und-analyse3.info – führte zur Bekannten Adresssammelseite. Diese Seite zeigt nichts außergewöhnliches, sie ist jedoch Trick reich gestaltet. Die Seite besteht fast nur aus dem Hintergrundbild, über das ein Eingabeformular positioniert… Private Krankenversicherung Spam weiterlesen

Unfreundliche Web-Crawler aussperren

Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe Freundliche und unfreundliche Crawler Beim Auswerten der Webalizer Statistiken sind mir Angriffe und verschiedene Suchmaschinen aufgefallen, von denen ich noch nichts gehört hatte. Die Angriffe gingen in der Regel gegen… Unfreundliche Web-Crawler aussperren weiterlesen

The Webalizer – Statistiken absichern

[vgwort line=“24″ server=“vg08″ openid=“a7450d1217c34063b3839b9a4c797ad8″] Wer einen Web-Server betreibt, der möchte – so wie ich – wissen, was so auf seinem Server vor sich geht. Welche Seiten werden besucht, wie viele, von wem, usw. Da bietet sich The Welalizer als Tool für die Auswertung der Access Logs an. Die Installation ist einfach, die Konfiguration auch. Dazu… The Webalizer – Statistiken absichern weiterlesen

Ich habe mir gerade die Angriffe auf diese Seite angesehen. Ich glaub, ich muss da noch ein paar kleine Tools installieren um diese zu blocken. Als erstes habe ich meine robots.txt überarbeitet. Die Standard-Datei, die WordPress installiert ist doch etwas zu schwarz /weiß. Natürlich bietet dies keine Sicherheit und der WordPress Source Code ist bekannt,… Robots.txt weiterlesen