Vielen Dank für Ihre Nachricht!

Wir melden uns so bald wie möglich bei Ihnen.

Kontakt

Fehler bei der Eingabe:

Crawler

Crawler sind Programme, die Webinhalte durchsuchen und analysieren.

Die Bezeichnung „Crawler“ stammt aus dem Englischen und kann mit „Kriecher“ übersetzt werden. Denn diese Programme kriechen quasi durch das World Wide Web und durchforsten seine Inhalte. Als Synonym werden daher auch die Begriffe Webcrawler, Spider oder Searchbot verwendet. Die gleichnamige Suchmaschine WebCrawler war eine der Ersten, die Volltextsuchen im Onlinebereich ermöglichten.

Crawler arbeitet weitestgehend autonom. Dabei durchsuchen sie das Internet nach Inhalten, analysieren diese und werten diese nach den jeweils vorgegebenen Kriterien aus. Überwiegend werden diese Crawler daher von Suchmaschinen eingesetzt. Durch den Einsatz der Crawler können sie ihren Index stets aktuell und möglichst vollständig halten. Neue Websites werden erkannt und indiziert, nicht mehr vorhandene Websites können aus dem Index entfernt werden. Doch nicht nur die Websites selbst, sondern vor allem ihre Inhalte sind von Interesse. Dadurch können auch relevante Zusammenhänge und vor allem Keywords der entsprechenden Website ausgelesen und mit in den Index aufgenommen werden. Durch diese Arbeit des Crawlers können Nutzer der Suchmaschinen zu relevanten Inhalten passend zum eingegebenen Keyword gelangen.

Dieses Schema ist es schließlich auch, welches sich die Suchmaschinenoptimierung als Teil des Onlinemarketings zunutze macht. Da die Crawler auch die Hyperlink-Struktur nachverfolgen, werden gezielt Backlinks produziert und keywordoptimierte Inhalte veröffentlicht.

Über die Verwendung durch Suchmaschinen sind allerdings noch weitere Einsatzgebiete für Crawler denkbar. Dazu zählt das Sammeln von online veröffentlichten E-Mail Adressdaten, Sammeln von RSS-Newsfeeds oder auch das Ausspionieren von Nutzerdaten. Um einer solchen Ausspähung zu entgehen, veröffentlichen viele Website-Betreiber ihre E-Mail-Adresse mit „(at)“ statt dem „@“-Zeichen.

zur Übersicht
Close