K čemu slouží ROBOTS.TXT

Soubor ROBOTS.TXT slouží pro povolení případně zakázání indexace webu a adresářům robotům. Ovšem z mé vlastní zkušenosti musím dodat, že zakázání vždy není výhrou a kdejaký otravný robot se klidně mrkne i tam kde je přístup zakázaný.

Jak na robots.txt
Jeho umístění je celkem jasné: http://www.domena.cz/robots.txt
Tedy v kořenovém adresáři. (Pozor, adresář musí být pojmenován malými písmeny)

Příklady využítí:
1/ Popis: Znamená, že adresář /citlive_data/ nebude se indexovat tento adresář všemi roboty.
User-agent: *
Disallow: /citlive_data/

2/ Popis: Prakticky tento zápis nemá využití. Z vlastní zkušenosti vím, že roboti jej nedodržují ! Měl by zakázat veškeré indexování.
User-agent: *
Disallow:

3/ Popis: Robot ze seznamu Vás nebude indexovat.
User-agent: SeznamBot
Disallow: /