hanseranking GmbH
Sich im Dschungel des Internets zurechtzufinden, ist ein schwieriges Unterfangen und ohne Suchmaschinen kommt man eigentlich nicht zurecht (Ausnahmen wie das “Darknet” bestätigen diese Regel). Weltweit tummeln sich Milliarden von Webseiten auf Millionen von Webservern. Im World Wide Web werden ständig Suchanfragen an Suchmaschinen gestellt und gesurft. Sei es nach News, Produkten, Jobs, Bildern, Filmen, Rezepten oder gar nach Menschen – ganz egal was, für alles gibt es die passende Suchmaschine, die den Nutzern dabei hilft, sich im Internet zurechtzufinden.
Aber was sind Suchmaschinen eigentlich? Durch eine Suchmaschine können Nutzer, die User, gezielt nach etwas suchen oder auch nur stöbern. Durch die Eingabe von Suchbegriffen, den Keywords, in die Suchmaske wird der Suchmaschine der Befehl erteilt, das Internet nach diesen Begriffen zu durchsuchen. Diese Suche, die auch spidern genannt wird, dauert nur Sekundenbruchteile. Die Bots der Suchmaschinen durchsuchen dabei das Netz nach den gefragten Begriffen und werfen Ergebnislisten von Websites, Bildern, Nachrichten etc. aus, von denen der User sich dann den passenden Inhalt aussuchen und den entsprechenden Link besuchen kann. Es gibt verschiedene Filtermöglichkeiten, um die Suche mit der Suchmaschine weiter einzugrenzen. Die Suchmaschinen erfassen bei der Suche den Inhalt der Internetseiten in Datenbanken und ermöglichen den Zugriff auf die indexierten Daten. Nicht indexierte Daten, wie das Darknet werden von den gängigsten Suchmaschinen nicht erfasst. Man kann durchaus sagen, dass Suchmaschinen das zentrale Navigationsinstrument im indexierten Internet sind. Ohne die Suchmaschinen wäre es so gut wie unmöglich, die passenden und besten Informationen zu bestimmten Themen im Internet zu finden.
Grob gesagt übernimmt eine Suchmaschine im Internet drei Aufgaben:
So gesehen könnte man sagen, dass eine Suchmaschine das indexierte Inhaltsverzeichnis für das Internet ist.
Zunächst muss man verstehen, dass bei einer Suchanfrage die Suchmaschine nicht das gesamte Internet durchsucht, sondern nur einen Teil davon, das World Wide Web. Nicht durchsucht werden andere Dienste im Internet wie zum Beispiel E-Mail, Datenübertragung (FTP), Chats, Internettelefonie oder absichtlich nicht indexierte Inhalte. Die Durchführung einer Suche im World Wide Web durch eine Suchmaschine ist komplizierter als es für den Nutzer den Anschein hat.
Eine Suchmaschine ist grob gesagt ein Computerprogramm, dass in der Regel im Internet-Browser nach angefragten Inhalten auf dem Suchmaschinen-Index – einem Abbild des World-Wide-Web sucht. Dieser Suchmaschinenindex ist eine Art Katalog oder auch Kartei, die alle indexierten Inhalte des Internets kategorisiert und sortiert hat und in einem Cache speichert und bei jedem Crawling aktualisiert wird. Das gefragte Keyword oder die Keywordkombination wird im Frontend (der Benutzeroberfläche) durch den User der Suchmaschine eingegeben. Die Suchmaschine sucht mittels Webcrawlern nach einem bestimmten Algorithmus, indexiert die Daten in einem Verzeichnis und präsentiert so in Sekundenbruchteilen eine Suchergebnisliste – kurz SERP (Search Engine Result Page) auf der die von der Suchmaschine als relevant erachteten Suchergebnisse oben stehen. Die Suchergebnisse auf die Suchanfrage sind Verweise auf verschiedene Websites.
Veränderungen der Daten oder der Seiten sowie die Kriterien, wie sich das Ranking innerhalb einer Suchmaschine zusammensetzt, werden zusätzlich ständig aktualisiert. Das Ranking der nach Relevanz geordneten Liste der Ergebnisse bleibt keinesfalls ständig unverändert, denn die Suchmaschinen wollen dem User das beste Ergebnis zu seiner Suche liefern und es ist klar, dass bei der Vielzahl an Seiten im Internet, immer wieder Seiten hinzukommen, die etwas besser und relevanter zu den Suchbegriffen passen. Zu erkennen, welche Internetseiten für einen eingegeben Suchbegriff relevant sind, ist die eigentliche Kunst der Suchmaschinen. Die Suchmaschinenanbieter verändern die Algorithmen fortwährend, weswegen sich auch das Ranking innerhalb eines Zeitraums bei gleichbleibendem Inhalt mehrmals ändern kann.
Die SERPs können durch verschiedene Filter noch eingeschränkt und verfeinert werden. Bei Google, Bing, Yahoo und anderen Suchmaschinenanbietern werden aber auch gekaufte Anzeigen für dieses Keyword, die für die Suchmaschinenoptimierung von SEO-Experten geschaltet wurden, oben in der Liste aufgeführt. Die Ergebnisse der Suchanfrage an die Suchmaschine erscheinen in Listenform und zeigen sogenannte Snippets. Snippets sind eine maximal 156 Zeichen lange Vorschau des Inhalts einer Webseite, die dem User einen ersten Eindruck verschaffen und bei der Entscheidung helfen soll, ob das Suchergebnis das ist, was er gesucht hat. Die Snippets können in Form von Meta-Daten vom Betreiber der Website oder auch automatisch durch Bots der Suchmaschine erstellt werden. Die dahinter stehende Meta-Description und der Meta-Title sind daher wichtige SEO-Tools bei der Optimierung des Suchmaschinen-Marketings.
Im Wesentlichen besteht eine Suchmaschine aus fünf Einzelelementen: Dem URL-Server, mehreren Crawlern (auch Bots, Robots oder Spider genannt), dem Parser, dem Store Server und dem Index. Die Aufgabe des URL-Servers einer Suchmaschine besteht darin, Internetadressen, die noch nicht in den Index der Suchmaschine aufgenommen wurden oder Internetseiten, die zur Aktualisierung erneut untersucht werden sollen, zu verwalten. Anmeldungen einzelner Webseiten bei Suchmaschinen werden zumeist an diesen URL-Server übermittelt. Der URL-Server der Suchmaschine gibt die Daten dann an die Crawler weiter, die die Internetseiten besuchen und dort Daten sammeln.
Die Aufgabe des Parsers einer Suchmaschine besteht darin, von jeder einzelnen HTML-Seite eine vereinfachte Form zu erstellen und diese an den Store-Server zu übergeben. Der Store-Server extrahiert die Informationen aus den vereinfachten Seiten. Der noch nicht im Index der Suchmaschinen enthaltene Text bzw. die enthaltenen Begriffe werden in den Index der Suchmaschine aufgenommen.
Der Suchmaschinen-Index besteht aus dem Lexikon, den Hit Lists und dem Repository. Das Lexikon ist eine Sammlung der im Netz gefundenen Begriffe. Eigenständige Suchergebnisse liefern nur Begriffe, welche im Lexikon enthalten sind. Jeder Begriff des Lexikons enthält einen Vermerk auf die entsprechende Hit List. Welche Bedeutung einer einzelnen Seite in Bezug auf die jeweils enthaltenen Begriffe zukommt, wird in der Hit List vermerkt. Die Hit Lists wiederum enthalten zu jedem Wort Verweise auf die entsprechenden Seiten im Repository. Im Repository werden die Webseiten gespeichert.
Es gibt drei unterschiedliche Arten von Suchmaschinen. Um zu erklären, wie eine Suchmaschine funktioniert, müssen wir auf alle drei eingehen, wobei eigentlich nur eine Art der Suchmaschinen für den Nutzer Relevanz hat. Die Rede ist von der Volltext-Suchmaschine. Die Volltext-Suchmaschine ist das, was jeder unter den Namen wie Google, Bing, Yahoo, Duckduckgo etc. kennt und die Art der Suchmaschinen, die die unangefochten größte Rolle spielt. Die anderen beiden sind die Meta-Suchmaschinen und die Webverzeichnisse.
Die Volltext-Suchmaschine arbeitet mit Crawlern – auch Bots, Robots oder Spider genannt. Das sind kleine Programme, die den Text von indexierten – also öffentlich gemachten – Webseiten durchsuchen und dabei sowohl internen als auch externen Links der Seiten folgen und analysieren, wenn kein nofollow-Befehl existiert. Ein nofollow-Befehl (rel=”follow”, rel=”nofollow”) verhindert, dass Unterseiten Ihrer Website gecrawlt werden können. Das ist bei internen oder sich noch im Aufbau befindlichen Seiten angeraten. Google empfiehlt hierfür beispielsweise die Nutzung einer htaccess-Datei.
Ein Suchmaschinen-Crawler wandelt nun die URLs, die der Crawler vom URL-Server bekommt, in IP-Adressen um. Auf diese Weise treten die Crawler mit den Servern in Verbindung. Um die Server nicht zu überlasten und die Dauer der Übertragung zu verkürzen, öffnet ein Crawler sehr viele Verbindungen gleichzeitig. Wenn bei einer Verbindung Probleme auftreten, kann der Crawler auf die nächste Verbindung zugreifen und somit die Überlastung und Zeitüberschreitungen vermeiden. Die so gewonnenen Daten gibt der Crawler an den Parser der Suchmaschine weiter.
Passiert auf einer Website nicht viel, crawlen sie die Suchmaschinen-Bots nur sporadisch und Veränderungen werden nur sehr spät erkannt und die Suchergebnisse entsprechend verändert. Um dies zu Beschleunigen, kann man bei den Suchmaschinen einen Antrag auf Entfernung eines bestimmten Inhalts stellen. Dort schickt man die URL des Bildes oder der Seite, die es nicht mehr gibt, hin und die Suchmaschine crawlt die Seite schneller, um keine toten oder unzutreffenden Suchergebnisse zu liefern. Finden regelmäßig Änderungen und Updates einer Website statt, kommen die Crawler auch öfter vorbei.
Sobald der Bot eine Seite analysiert hat, wird deren Inhalt von dem Parser bearbeitet und in eine Datenbank – den Index der Suchmaschine – eingegeben. Suchbegriffe werden nun über das Frontend der Suchmaschine an die Datenbank geschickt. Das Frontend ist die Oberfläche, also der Teil, den der User (Suchende Nutzer) sieht. Dies ist der Teil, der als Suchergebnisse angezeigt wird und vom Suchenden angeklickt werden kann, um zu dem Inhalt des Suchergebnisses zu gelangen.
Die Suche bei den Volltext-Suchmaschinen kann weiter eingegrenzt werden. Suchen Sie Bilder, ist hier ein Extra-Reiter, bei dem Sie nur Bildsuchergebnisse finden, die Sie nach beispielsweise Größen und Copyrightsbeschränkungen weiter filtern können.
Es gibt die Volltext-Suchmaschinen mit breitem Suchspektrum wie bei Google, Bing, Yahoo und Co. und als Spezial- oder Themen-Suchmaschinen, die sich nur auf eine bestimmte Nische konzentrieren und in dieser dann auch oftmals die qualifiziertesten Suchergebnisse liefern.
Bei den Meta-Suchmaschinen werden andere Suchmaschinen und Indexe als Quellen genutzt und nicht das gesamte indexierte Internet durchsucht. Hier gibt es in der Regel keine eigene Suchmaschinen-Datenbank, in der die Daten gespeichert sind. Die Suchergebnisse ähneln Metadaten, woher auch die Bezeichnung stammt. Metadaten sind strukturierte Informationen, die Informationen über andere Informationsressourcen beinhalten. Die Suchergebnisse beschränken sich also auf die Frontend-Daten anderer Suchmaschinen und werden dem User als Suchergebnisse angezeigt. Je nachdem welche und wie viele Suchmaschinen die Bots der Meta-Suchmaschine ansteuern, fallen auch die Menge und die Qualität der Suchergebnisse aus. Dabei werden nur die Ergebnisse angezeigt, die URLs zeigen, die in mehreren der analysierten Suchmaschinen ein hohes Ranking besitzen. Die Suche ist zudem in der Regel langsamer als bei der Volltextsuche. Die bekannteste Meta-Suchmaschine ist derzeit (Stand August 2019) MetaGer.
Auf die Frage, wie diese Suchmaschine funktioniert, muss man eigentlich sagen, dass ein Webverzeichnis – auch Webkatalog genannt – keine Suchmaschine im eigentlichen Sinne darstellt. Da sie aber zu Beginn der Internet-Ära untrennbar mit den Suchmaschinen verbunden waren, haben wir sie der Vollständigkeit halber mit aufgeführt. Bei einem Webverzeichnis handelt es sich um eine Datenbank, die in der Regel manuell (durch Menschen statt Bots) die Einträge überprüfen lässt, was die Zahl der Suchergebnisse stark dezimiert. Bei fachspezifischen Themen haben Webverzeichnisse aber immer noch eine Relevanz, da Dokumente zu Nischenthemen hier gefunden werden können, die bei den normalen Suchmaschinen nicht auffindbar sind. Auch bei lokalen Dienstleistungen ist das Webverzeichnis noch beliebt, da es wie ein lokales Branchenbuch genutzt werden kann. Ein Beispiel für ein im deutschen Raum bekanntes Webverzeichnis ist Szeneputzen.de.
Hinweis: Alle genannten Informationen entsprechen unserem derzeitigen Sachstand (Stand August 2019). Wir übernehmen jedoch keine Gewähr für die Aktualität, Richtigkeit und Vollständigkeit der auf dieser Webseite bereitgestellten Inhalte. Dieser Artikel dient nur Ihrer Information.
