Robots.txt: Unterschied zwischen den Versionen

Aus Siwecos
Wechseln zu: Navigation, Suche
(Die Seite wurde neu angelegt: „=== robots.txt === Das Internet wird ständig von Suchmaschinen (Robots) durchsucht. Wenn Sie auf Ihrem Server im Hauptverzeichnis die Datei '''robots.txt'''…“)
 
 
Zeile 1: Zeile 1:
 
=== robots.txt ===
 
=== robots.txt ===
  
Das Internet wird ständig von Suchmaschinen (Robots) durchsucht. Wenn Sie auf Ihrem Server im Hauptverzeichnis die Datei '''robots.txt''' hinterlegen, können Sie über entsprechende Einträge in dieser Datei bestimmen, welchen Seiten von den Suchmaschinen durchsucht werden dürfen und welche nicht. Sie können auch bestimmte Suchmaschinen oder Verzeichnisse ganz ausschließen. Anzumerken ist hier, dass sich die meisten Suchmaschinen an die Vorgaben im '''robots.txt''' halten, aber es gibt keine Garantie. Robots mit bösen Absichten werden sich nicht daran halten und auch verbotene Verzeichnisse durchsuchen. Wenn Sie Seiten und Inhalte vor unberechtigtem Zugriff schützen möchten, können Sie das über die Konfiguration des Webservers oder Sie erstellen eine [[Htaccess|.htaccess-Datei]].
+
Das Internet wird ständig von Suchmaschinen (Robots) durchsucht. Wenn Sie auf Ihrem Server im Hauptverzeichnis die Datei '''robots.txt''' hinterlegen, können Sie über entsprechende Einträge in dieser Datei bestimmen, welchen Seiten von den Suchmaschinen durchsucht werden dürfen und welche nicht. Sie können auch bestimmte Suchmaschinen oder Verzeichnisse ganz ausschließen. Anzumerken ist hier, dass sich die meisten Suchmaschinen an die Vorgaben im '''robots.txt''' halten, aber es gibt keine Garantie. Robots mit bösen Absichten werden sich nicht daran halten und auch verbotene Verzeichnisse durchsuchen. Wenn Sie Seiten und Inhalte vor unberechtigtem Zugriff schützen möchten, können Sie das über die Konfiguration des Webservers oder Sie erstellen eine [[Htaccess/DE|.htaccess-Datei]].
  
  

Aktuelle Version vom 24. März 2019, 11:15 Uhr

robots.txt

Das Internet wird ständig von Suchmaschinen (Robots) durchsucht. Wenn Sie auf Ihrem Server im Hauptverzeichnis die Datei robots.txt hinterlegen, können Sie über entsprechende Einträge in dieser Datei bestimmen, welchen Seiten von den Suchmaschinen durchsucht werden dürfen und welche nicht. Sie können auch bestimmte Suchmaschinen oder Verzeichnisse ganz ausschließen. Anzumerken ist hier, dass sich die meisten Suchmaschinen an die Vorgaben im robots.txt halten, aber es gibt keine Garantie. Robots mit bösen Absichten werden sich nicht daran halten und auch verbotene Verzeichnisse durchsuchen. Wenn Sie Seiten und Inhalte vor unberechtigtem Zugriff schützen möchten, können Sie das über die Konfiguration des Webservers oder Sie erstellen eine .htaccess-Datei.


Wie muss eine robots.txt-Datei aufgebaut sein?

Zunächst geben Sie an, für welche Suchmaschine (User-agent) die nachfolgenden Anweisungen gelten sollen. Die Anweisungen bestehen darin, den zuvor eingetragenen Suchmachinen (Robots) etwas zu verbieten (Disallow) bzw. zu erlauben (Allow). Beispiele:

User-agent: *
Disallow: / 
Allow: /public/

Das Sternchen bedeutet, dass die nachfolgenden Anweisungen für alle Suchmaschinen gelten. Hier ist die gesamte Domäne gesperrt, nur Verzeichnis public ist den Suchmaschinenrobots zugänglich.

User-agent: Google
Disallow: /

Google bedeutet logischerweise, dass die nachfolgenden Anweisungen für Google gelten. Alle Verzeichnisse sind für die Google Suchmaschine tabu.

Weiterführende Links