www4u.org

Вярвам, че всеки попаднал на тази страница си е имал работа с този мета таг. Въпреки широкото му разпространение обаче някои от най-известните търсачки дори не поддържат всичките възможности, предложени от W3C.  Синтаксисът е сравнително прост:

<meta name="robots" value="{зададена стойност}" />

Стойностите, които могат да се дадат на robots meta таг:

• index - Позволява на търсещата машина да индексира цялата страница(зададена е по подразбиране)
• noindex - Забранява на паяка да индексира страницата ви(идеален за страници, които е по-добре да не попадат в резултатите на търсачката…)
• follow - Позволява на паяка да проследява всички линкове в страницата
• nofollow - Респективно - обратното. Забранява проследяването на линковете.(ако линквате към кофти места, продажба на линкове…)
• none - При поставяне на none като стойност, се подразбира: noindex, nofollow a.k.a Казвате на търсачката нито да индексира нито следва линковете из страничката ви
• noarchive - Забранява кеширането на страницата ви. По този начин търсачката няма да предоставя кеширани копия от преди X дни на вашата страница
• nocache - Изпълнява същата функция като noarchive, но за MSN/Live търсачката на MS.(Хъх..странно, Microsoft да не се съгласи с общоприет стандарт… :D)
• nosnippet - Забранява на търсещата машина да показва в резултатите си отделни части от текста в страницата ви и респективно забранява кеширането й.
• noodp - Забранява на търсещата машина да използва описанието за тази страница от DMOZ(a.k.a ODP)
• noydir - Със същата функционалност като noodp, но за Yahoo! Directory

Информация за robots meta-таговете от самите търсачки:

• Google did a blogpost on the Google Webmaster Central Blog
• Live has a site owner help page for it
• You can search Yahoo!’s Webmaster resources
• Ask.com has some info about it in it’s Webmaster resource page

И разбира се, официалната robots.txt страница

Подръжката на meta robots стойности от най-известните търсачки:

Специално отношение към  отделни паяци

Освен общи правила за всички роботи, можете да прилагате такива и персонално в robots.txt файла.  Имената на по-известните ботове:

• Google - GOOGLEBOT
• Yahoo! - SLURP
• MSN/Live - MSNBOT
• Ask - TEOMA

Еми това е Надявам се ръководството да ви се е сторило полезно

Източник:  Yoast.net