Die sogenannten Meta-Tags findet man meistens direkt unter dem Title-Tag im Head-Bereich der HTML-Datei. Es gibt einige nicht standardisierter Meta-Tags und einige speziell festgelegte Meta-Tags, deren Anwendung durchaus sinnvoll ist - dazu gehört der in diesem Artikel beschriebene Meta-Tag “robots” für die Suchmaschinenspider.
Auch bei vorhandener robots.txt hat man immer noch die Möglichkeit entsprechende META-Tags in den einzelnen HTML-Dateien anzubringen. Bei den Anweisungen für die Suchmaschinenspider (Robots, Crawler) handelt es sich nur um Empfehlungen. Man kann die Suchmaschinenbots nicht beeinflussen sich daran zu halten.
Den Meta-Tag Robots setzt man, wenn eine Suchmaschine eine Seite nicht indexieren soll. In diesem Fall sieht der Meta-Tag folgendermaßen aus: <meta name="robots" content="noindex, nofollow">
Wenn man möchte, dass der Crawler die Seite indexiert und die gefundenen Links verfolgt, dann verwendet man den folgenden Meta-Tag: <meta name="robots" content="index, follow">
Falls Sie nicht wollen, dass Ihre Seiten im Cache gespeichert, aber weitherin indexiert werden, sollte folgender Meta-Tag verwendet werden. <meta name="robots" content="noarchive"> Dieser Meta-Tag findet hauptsächlich für Google Verwendung. Die Internetsurfer können dann nicht (mehr) über den Link auf der Suchergebnisseite von Google “Im Cache” auf die zwischengespeicherte Version der Seite zugreifen.
Seit Mai 2006 hat MSN nun auch einen Meta-Tag vorgestellt, mit dem man die Nutzung der ODP-Daten in den SERPs verhindert kann. Das ist vor allem dann sinnvoll, wenn man mit der Beschreibung im ODP nicht zufrieden ist und den Eintrag dort selbst nicht ändern (lassen) kann. Nachdem MSN diesen Meta-Tag vorgestellt hatte, kam Google noch am selben Tag ebenfalls mit einem Meta-Tag hierfür heraus. (Quelle: http://www.prometeo.de)
Um die Nutzung der ODP-Beschreibung für MSN und Google auszuschließen verwendet man folgenden Tag: <meta name=”robots” content=”noodp”> Um die Nutzung nur für MSN auszuschließen kommt dieser zum Einsatz: <meta name=”msnbot” content=”noodp”> Um die Nutzung nur für Google auszuschließen nehmen Sie diesen Tag: <meta name=”googlebot” content=”noodp”>
Der Robots-Meta-Tag wird in der Regel von allen Suchmaschinen beachtet. Wenn man jedoch eine effiziente Kontrolle über die Seiten, die indexiert werden sollen, haben möchte, kommt man um die Einbindung einer robots.txt nicht herum.