Základní nastavení Robots.txt

15. 3. 2014, Vladimír Klaus, přečteno 3368x

Internet

Jak zakázat indexování celého webu

První položka ukazuje, že se to bude týkat všech robotů. Druhá položka pak to, že je zakázáno indexovat úplně vše.

User-agent: *
Disallow: /

Jak vše povolit

První položka zůstává - tedy bude se to týkat všech robotů. Druhá položka je prázdná, což znamená, že se může indexovat úplně celý obsah webu. Vhodné je také připojit třetí položku s mapou webu.

User-agent: *
Disallow:
Sitemap: http://www.audrey.cz/sitemap.xml

Pokud si chcete o tom přečíst více, pak jednoznačně v článku Zakázání přístupu vyhledávačům.