[vgwort line=“27″ server=“vg05″ openid=“96d8ee617aae422096e5c5eb7488b28a“] Diese Frage an Google führte die Tage jemanden zu diesen Seiten. Ob die Frage zufriedenstellen beantwortet wurde, weiß ich nicht. Vielleicht traf der Sucher auf den Artikel Wie kann man ein Portal überwachen? In diesem Fall könnte die Frage ausreichend beantwortet sein. Wenn nicht, folgt hier eine etwas allgemeinere und umfassendere… Google-Frage: Kann man beweisen, dass man Pornos herunterlädt? weiterlesen
Schlagwort: log
Unfreundliche Web-Crawler aussperren
Update 23. Oktober 2012: Inzwischen gibt es neue Erkenntnisse über den Pixray-Seeker. Er meldet sich wahrscheinlich nicht mehr mit Pixray-Seeker, sondern simuliert verschiedene User-Agents. Siehe Freundliche und unfreundliche Crawler Beim Auswerten der Webalizer Statistiken sind mir Angriffe und verschiedene Suchmaschinen aufgefallen, von denen ich noch nichts gehört hatte. Die Angriffe gingen in der Regel gegen… Unfreundliche Web-Crawler aussperren weiterlesen