80legs

[vgwort line=“19″ server=“vg08″ openid=“586d5cafe69543938f2dd7c2dc8dc0b9″] 80legs ist ein Web-Crawler, der ab und an meine Seiten besucht. Gegen einen entsprechenden Obulus kann ein registrierter Nutzer den Crawler mit einer spezifischen Suchanfrage beauftragen. Im Prinzip bekommt nur der Kunde das Ergebnis zu sehen, der auch dafür bezahlt hat. Wenn ich die Beschreibung richtig verstanden habe, kann ein Kunde… 80legs weiterlesen

Unfreundliche Web-Crawler aussperren

Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe Freundliche und unfreundliche Crawler Beim Auswerten der Webalizer Statistiken sind mir Angriffe und verschiedene Suchmaschinen aufgefallen, von denen ich noch nichts gehört hatte. Die Angriffe gingen in der Regel gegen… Unfreundliche Web-Crawler aussperren weiterlesen