Author Topic: Wildgewordene Yahoo / Inktomi-Spider  (Read 10575 times)

Offline admin

  • Administrator
  • Hero Member
  • *****
  • Posts: 250
  • Karma: 0
    • http://meineipadresse.de/
Wildgewordene Yahoo / Inktomi-Spider
« on: Tuesday, 22.03.2005 08:52 »
Ich habe heute morgen meinen Augen nicht getraut: Um Mitternacht 252 verschiedene Besucher im Forum!?

Beim näheren Hinsehen stellte sich heraus, dass es eine Horde von Yahoo Slurp Robots (ijxxxx.inktomisearch.com) waren, die sich das Forum reingezogen haben.

Uns kann es nur recht sein, aber wer am Traffic knausern muss, für den können diese Inktomi-Robots ganz schön penetrante Zeitgenossen sein. Sie sind bekannt dafür, sich überfallartig über Websites herzumachen, und ich habe von einem Web Admin gehört, dass sie dort in einer Nacht alleine 2,5 GB Traffic verursacht haben.

Die Technik von Google finde ich erheblich besser, nämlich die Besuche der Google-Robots gleichmäßiger über die Zeit zu verteilen, und dabei den Traffic zu begrenzen. Wenn ich mir aber ansehe, wie Yohoo und sein Werbevermarkter Overture über plötzliche Änderungen der Geschäftsbedingungen mit seinen Kunden umgeht, dann scheint Rücksichtslosigkeit zum Geschäftsmodell zu gehören.