Logo

Robots.txt

Robots.txt je soubor extra pro vyhledávací roboty, informuje je o tom, co smějí, nesmějí a které stránky jim jsou pro indexování zapovězeny.

Příkladem pro blokování stránek je:

User-agent: *
Disallow: /zakazane.html
Disallow: /chyba.html
Disallow: /adresar/*

V opačném případě, kdy chceme informovat okolí o stránkách na webu, použijeme soubor sitemap.txt.