15. 3. 2014, Vladimír Klaus, navštíveno 5302x
Internet
Jak zakázat indexování celého webu
První položka ukazuje, že se to bude týkat všech robotů. Druhá položka pak to, že je zakázáno indexovat úplně vše.
User-agent: *
Disallow: /
Jak vše povolit
První položka zůstává - tedy bude se to týkat všech robotů. Druhá položka je prázdná, což znamená, že se může indexovat úplně celý obsah webu. Vhodné je také připojit třetí položku s mapou webu.
User-agent: *
Disallow:
Sitemap: http://www.audrey.cz/sitemap.xml
Pokud si chcete o tom přečíst více, pak jednoznačně v článku Zakázání přístupu vyhledávačům.