robots.txt

Robots.txt, oder das Robots Exclusion Protocol, ist eine Textdatei, die von einer Website verwendet wird, um mit Webrobotern zu kommunizieren, die als Suchmaschinenspider (oder Crawler ) suchen. Robots.txt ist eine Textdatei, die im Stammverzeichnis der Website zugänglich ist und den Crawlern wichtige Informationen mitteilt. Mit robots.txt können SEOs zum Beispiel den Suchrobotern mitteilen, wie sie jede Seite der Website verarbeiten sollen. Du kannst festlegen, dass bestimmte Seiten vom Crawler ignoriert werden, um sicherzustellen, dass nur die nützlichsten und wichtigsten Inhalte gecrawlt und indexiert werden.