Falle für Spambots
- Ersteller jiggle
- Erstellt am
J
jr-ewing
Guest
Hallo,
Es geht ja einfach darum dass auf diesem Gebiet einfach mal was passiert. Momentan ist das ja einfach Willkür.
Und wenn sich die BadBots auch an die Robots.txt halten ist es ja in Ordnung dann hat man es ja selber in der Hand welche Seiten gespidert werden.
Aber wie jiggle sagt wenn man 80% der Bösen erwischt ist es auf jeden Fall ein Erfolg. Ich selber habe durch fremden Content Klau usw eine Seite verloren. Die dümpelt jetzt irgendwo rum und war vorher auf Platz 2 bei 22 Mio Ergebnissen.
spider-trap.de selber läuft ohne whitelist um das auch zu testen ob sich Google dran hält..... !!!!
Ein anderer Punkt ist dass es ja auch gegen Bilderklau ganz gut ist.
Dadurch das per Image verlinkt wird werden auch solche Tools wie Mister PIX ins Leere laufen.
Gruß Thomas
Es geht ja einfach darum dass auf diesem Gebiet einfach mal was passiert. Momentan ist das ja einfach Willkür.
Und wenn sich die BadBots auch an die Robots.txt halten ist es ja in Ordnung dann hat man es ja selber in der Hand welche Seiten gespidert werden.
Aber wie jiggle sagt wenn man 80% der Bösen erwischt ist es auf jeden Fall ein Erfolg. Ich selber habe durch fremden Content Klau usw eine Seite verloren. Die dümpelt jetzt irgendwo rum und war vorher auf Platz 2 bei 22 Mio Ergebnissen.
spider-trap.de selber läuft ohne whitelist um das auch zu testen ob sich Google dran hält..... !!!!
Ein anderer Punkt ist dass es ja auch gegen Bilderklau ganz gut ist.
Dadurch das per Image verlinkt wird werden auch solche Tools wie Mister PIX ins Leere laufen.
Gruß Thomas
Ansgar Berhorn
Angesehenes Mitglied
QUOTE Hier mal ein nettes kostenloses Tool, Spider Trap ein Falle für böse Bots und Spambots, die nichts anderes wollen als z.B. Content klauen:
Was "böse" ist und was "gut" liegt unter der Kontrolle des Autors des Skripts.
Daher muss man ganz genau hinschauen, was das Skript verursacht.
Man kann versuchen, Email-Adressen-Sammler zu fangen. Die Gefahr ist nur, dass man nur die "Dummen", die später eh woanders hängengeblieben währen fängt/aufhält und diejenigen, die schlau genug sind, weiterhin durchkommen.
Was "böse" ist und was "gut" liegt unter der Kontrolle des Autors des Skripts.
Daher muss man ganz genau hinschauen, was das Skript verursacht.
Man kann versuchen, Email-Adressen-Sammler zu fangen. Die Gefahr ist nur, dass man nur die "Dummen", die später eh woanders hängengeblieben währen fängt/aufhält und diejenigen, die schlau genug sind, weiterhin durchkommen.
Sascha Ahlers
Legendäres Mitglied
QUOTE (jr-ewing @ Sa 14.1.2006, 1:57)[...] Es geht ja einfach darum dass auf diesem Gebiet einfach mal was passiert. Momentan ist das ja einfach Willkür. [...]
Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
QUOTE (jr-ewing @ Sa 14.1.2006, 1:57)[...] Ich selber habe durch fremden Content Klau usw eine Seite verloren. Die dümpelt jetzt irgendwo rum und war vorher auf Platz 2 bei 22 Mio Ergebnissen. [...]
Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen. Aber keine Angst, damit der Inhalt von einer Website geklaut wird, brauchste nicht mal unbedingt Bots, das machen auch genügend Besucher einer Website.
In zwei Fällen habe ich mich deswegen schon extra bemühen müssen, nur weil sich irgendwelche Personen einfach nichts dabei denken den Inhalt zu kopieren.
MfG Sascha Ahlers
Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
QUOTE (jr-ewing @ Sa 14.1.2006, 1:57)[...] Ich selber habe durch fremden Content Klau usw eine Seite verloren. Die dümpelt jetzt irgendwo rum und war vorher auf Platz 2 bei 22 Mio Ergebnissen. [...]
Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen. Aber keine Angst, damit der Inhalt von einer Website geklaut wird, brauchste nicht mal unbedingt Bots, das machen auch genügend Besucher einer Website.
In zwei Fällen habe ich mich deswegen schon extra bemühen müssen, nur weil sich irgendwelche Personen einfach nichts dabei denken den Inhalt zu kopieren.
MfG Sascha Ahlers
J
jr-ewing
Guest
QUOTE Was "böse" ist und was "gut" liegt unter der Kontrolle des Autors des Skripts.
ich gebe ja keine IPs oder User Agents vor. Und ich definiere "Böse" halt die die in Verzeichnissen wühlen, obwohl ich das verboten habe.
QUOTE Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
Schau dir mal die Bad IP Liste auf disallow.de an was sich da schon so ansammelt. Ich denke nicht dass du die alle drin hast.
QUOTE Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen
Gegen jp Seiten und Seiten aus Fiji oder was weiß ich wo kann man nichts machen. Einer hatte sogar meinen Inhalt als Doorwaypage. Sieht man nicht so leicht das ganze. Selbst SEO Größen haben das nicht im Griff. Klar gegen die Besucher die den Inhalt klauen kann man nichts machen aber gegen Robots usw halt schon.
ich gebe ja keine IPs oder User Agents vor. Und ich definiere "Böse" halt die die in Verzeichnissen wühlen, obwohl ich das verboten habe.
QUOTE Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
Schau dir mal die Bad IP Liste auf disallow.de an was sich da schon so ansammelt. Ich denke nicht dass du die alle drin hast.
QUOTE Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen
Gegen jp Seiten und Seiten aus Fiji oder was weiß ich wo kann man nichts machen. Einer hatte sogar meinen Inhalt als Doorwaypage. Sieht man nicht so leicht das ganze. Selbst SEO Größen haben das nicht im Griff. Klar gegen die Besucher die den Inhalt klauen kann man nichts machen aber gegen Robots usw halt schon.
QUOTE Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
Das glaubst du doch wohl selbst nicht, was machts du bei einer Seite mit > 100.000 Vistits am Tag, hockst du da den ganzen Tag vor den Logs und sperrst die Viecher händisch aus?
QUOTE
Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen.
Naja genau dazu ist Spider Trap doch gedacht, denke mal ist doch schon ein sehr guter Anfang
Das glaubst du doch wohl selbst nicht, was machts du bei einer Seite mit > 100.000 Vistits am Tag, hockst du da den ganzen Tag vor den Logs und sperrst die Viecher händisch aus?
QUOTE
Anscheinend war dies wohl kein schützenswerter Inhalt, sonst würdest Du dagegen vermutlich etwas unternehmen.
Naja genau dazu ist Spider Trap doch gedacht, denke mal ist doch schon ein sehr guter Anfang
Sascha Ahlers
Legendäres Mitglied
QUOTE (jiggle @ Sa 14.1.2006, 14:36)
QUOTE Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
Das glaubst du doch wohl selbst nicht, was machts du bei einer Seite mit > 100.000 Vistits am Tag, hockst du da den ganzen Tag vor den Logs und sperrst die Viecher händisch aus?
Wozu kann man denn Programmieren? Und wozu gibt es so schöne Auswertungsprogramme?
Außerdem, wenn man einmal kurz unter Google schaut, findet man auch schon einige fertige Listen. Ich fang doch nicht irgendwo von Null an, wenn sich schon mal jemand die Mühe gemacht hat. Und darauf kann man dann leicht aufbauen.
@jr-ewing:
Bisher kann ich nur sagen, das ich einige davon noch nicht drin hatte, aber anscheindend haben diese auch einige nicht drin, welche bei mir widerrum in meiner Liste habe. ;-)
MfG Sascha Ahlers
QUOTE Sowas macht man doch im Allgemeinen schon, gefällt mir ein Robot nicht, wird diesem halt der Zugriff verweigert.
Das glaubst du doch wohl selbst nicht, was machts du bei einer Seite mit > 100.000 Vistits am Tag, hockst du da den ganzen Tag vor den Logs und sperrst die Viecher händisch aus?
Wozu kann man denn Programmieren? Und wozu gibt es so schöne Auswertungsprogramme?
Außerdem, wenn man einmal kurz unter Google schaut, findet man auch schon einige fertige Listen. Ich fang doch nicht irgendwo von Null an, wenn sich schon mal jemand die Mühe gemacht hat. Und darauf kann man dann leicht aufbauen.
@jr-ewing:
Bisher kann ich nur sagen, das ich einige davon noch nicht drin hatte, aber anscheindend haben diese auch einige nicht drin, welche bei mir widerrum in meiner Liste habe. ;-)
MfG Sascha Ahlers
Themenmixer
Aktives Mitglied
Ich habe das Teil bereits bei mir installiert (letzten Freitag). Samstag morgen trampelte der erste Spider in die Falle .... und Spider-Trap legte meine Seite lahm.
=> Mein Bericht dazu
Inzwischen gibts aber ein Update und in der readme.txt steht drin, dass der Deny-Block am Ende der .htaccess stehen muß!
=> Mein Bericht dazu
Inzwischen gibts aber ein Update und in der readme.txt steht drin, dass der Deny-Block am Ende der .htaccess stehen muß!
Webtrade and more
Legendäres Mitglied
Unsere Entwickler sagen auch - Finger weg von dem Tool!
J
jr-ewing
Guest
QUOTE Finger weg von dem Tool!
Eine Begründung wäre nicht schlecht....
@Themenmixer
es tut mir leid. Habt dir das ja auch geschrieben und in die Installationsanweisung geschrieben.
Auf der anderen Seite ging ich davon aus dass man die Sache auch einmal selber testet.
Natürlich bin ich für Tipps dankbar und werde Vorschläge auch probieren zu realisieren.
Die Software ist auf unterschiedlichen Domains (ca. 20) bei unterschiedlichen Hostern ab 23.12 getestet worden. Alle Seiten fangen täglich einige Bots.
Eine Begründung wäre nicht schlecht....
@Themenmixer
es tut mir leid. Habt dir das ja auch geschrieben und in die Installationsanweisung geschrieben.
Auf der anderen Seite ging ich davon aus dass man die Sache auch einmal selber testet.
Natürlich bin ich für Tipps dankbar und werde Vorschläge auch probieren zu realisieren.
Die Software ist auf unterschiedlichen Domains (ca. 20) bei unterschiedlichen Hostern ab 23.12 getestet worden. Alle Seiten fangen täglich einige Bots.