www4u.org

Вярвам, че всеки попаднал на тази страница си е имал работа с този мета таг. Въпреки широкото му разпространение обаче някои от най-известните търсачки дори не поддържат всичките възможности, предложени от W3C.  Синтаксисът е сравнително прост:

<meta name="robots" value="{зададена стойност}" />

Стойностите, които могат да се дадат на robots meta таг:

• index – Позволява на търсещата машина да индексира цялата страница(зададена е по подразбиране)
• noindex – Забранява на паяка да индексира страницата ви(идеален за страници, които е по-добре да не попадат в резултатите на търсачката…)
• follow – Позволява на паяка да проследява всички линкове в страницата
• nofollow – Респективно – обратното. Забранява проследяването на линковете.(ако линквате към кофти места, продажба на линкове…)
• none – При поставяне на none като стойност, се подразбира: noindex, nofollow a.k.a Казвате на търсачката нито да индексира нито следва линковете из страничката ви
• noarchive – Забранява кеширането на страницата ви. По този начин търсачката няма да предоставя кеширани копия от преди X дни на вашата страница
• nocache – Изпълнява същата функция като noarchive, но за MSN/Live търсачката на MS.(Хъх..странно, Microsoft да не се съгласи с общоприет стандарт… )
• nosnippet – Забранява на търсещата машина да показва в резултатите си отделни части от текста в страницата ви и респективно забранява кеширането й.
• noodp – Забранява на търсещата машина да използва описанието за тази страница от DMOZ(a.k.a ODP)
• noydir – Със същата функционалност като noodp, но за Yahoo! Directory

Информация за robots meta-таговете от самите търсачки:

• Google did a blogpost on the Google Webmaster Central Blog
• Live has a site owner help page for it
• You can search Yahoo!’s Webmaster resources
• Ask.com has some info about it in it’s Webmaster resource page

И разбира се, официалната robots.txt страница

Подръжката на meta robots стойности от най-известните търсачки:

Специално отношение към  отделни паяци

Освен общи правила за всички роботи, можете да прилагате такива и персонално в robots.txt файла.  Имената на по-известните ботове:

• Google – GOOGLEBOT
• Yahoo! – SLURP
• MSN/Live – MSNBOT
• Ask – TEOMA

Еми това е Надявам се ръководството да ви се е сторило полезно

Източник:  Yoast.net