15. 3. 2014, Vladimír Klaus, navštíveno 5903x
Internet
Jak zakázat indexování celého webu
První položka ukazuje, že se to bude týkat všech robotů. Druhá položka pak to, že je zakázáno indexovat úplně vše.
User-agent: *
Disallow: /
Jak zakázat indexování některých složek
První položka ukazuje, že se to bude týkat všech robotů. Další položky pak na samostatných řádkách ukazují, jaké složky se nemají indexovat.
User-agent: *
Disallow: /Uploads/
Disallow: /temp/
Jak vše povolit
První položka zůstává - tedy bude se to týkat všech robotů. Druhá položka je prázdná, což znamená, že se může indexovat úplně celý obsah webu. Vhodné je také připojit třetí položku s mapou webu.
User-agent: *
Disallow:
Sitemap: http://www.audrey.cz/sitemap.xml
Pokud si chcete o tom přečíst více, pak jednoznačně v článku Zakázání přístupu vyhledávačům.