Crawler

Crawler helfen Ihrer Internetrecherche auf die Sprünge

Wenn Sie auf eine hochwertige Internetrecherche angewiesen sind, gibt es viele Suchtechniken, darunter auch der Crawler, der alle Seiten für Sie durchsucht.

Das Thema Internetrecherche hat einiges zu bieten, denn ganz egal, was auch immer Sie im Internet suchen, bei so vielen unterschiedlichen Suchmaschinen und Suchsystemen, werden Sie bestimmt mit Erfolg fündig. Zu den daher wichtigsten Suchinstrumenten im Internet gehören Crawler, Robots, Spider oder auch Datenbanken.

Der Obergriff dazu nennt sich Suchmaschinen, welche sich als enorme Rechner definieren lassen, die an das Internet angeschlossen sind, um die im Internet angebotenen Webseiten automatisch abzurufen und im Anschluss deren Texte zu durchsuchen und die darin vorkommenden Wörter in eine große Datenbank aufzunehmen. Genau diese sind die Hauptaufgaben eines Crawlers.

Detaillierter lässt sich das wie folgt beschreiben. In der Datenbank des Crawlers wird für jedes Wort eine Liste der Webseiten angelegt, auf der dieses bestimmte Wort vorkommt. Anhand dessen ist es möglich, bei dieser Datenbank ein oder mehrere Stichwörter als Suchanfrage anzugeben. Als Suchergebnis erhält man dann eine Liste der Webseiten, die das Stichwort oder die Stichwörter enthalten. Dieser Crawler gehört zu den klassischen Suchmaschinen.

Solche klassischen Suchmaschinen, wie der Crawler es ist, unterscheiden sich von den intelligente Suchmaschinen, die sehr gerne zur Internetrecherche angewendet werden. Gerade die großen Suchmaschinen berücksichtigen bei der Anzeige von Internetseiten noch weitere wichtige Gesichtspunkte. Insbesondere wird für die Reihenfolge der angezeigten Seiten berücksichtigt, wie viele Links auf die betreffende Seite verweisen. Dies ist zwar nicht immer ein brauchbares Kriterium für die Qualität einer Webseite, jedoch wird aber immerhin darauf hingewiesen, dass diese Webseite für viele andere Anbieter im Internet von Interesse ist.

Was ein solcher Crawler jedoch keinesfalls kann, ist den Inhalt von Bildern einer Webseite zu erkennen. Denn diese Art von Suchmaschinen durchsuchen lediglich den Text einer Internetseite. Soll demnach unbedingt der Inhalt eines Bildes erkannt werden, muss zu dem Bild ein erklärender Text auf der Webseite mitgeliefert werden. Anders ist die Erkennung durch Crawler, Robots oder auch Spider nicht möglich. Ebenso lassen sich Formulare, die an einer Datenbank angebunden sind, nicht durchsuchen. Hier wird die Suche sofort beendet. Daher enthalten Suchmaschinen nie den Inhalt von Webseiten, die nur über die Eingabe in einem Formular abgerufen werden können.