Эти данные будут прописаны в META тэге "Robots".
Значение META тэга "Robots" содержит директивы, разделенные запятой. В настоящий момент определены директивы [NO]INDEX и [NO]FOLLOW. Директива INDEX указывает, что данную страницу можно индексировать. Директива FOLLOW указывает, что робот может следовать по ссылкам, содержащимся на данной странице. Директивы NOINDEX и NOFOLLOW имеют обратное значение.
Значения ALL и NONE устанавливают обе директивы: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.
То есть:
noindex, nofollow = не индексировать ни текст ни ссылки
index, follow = индексировать текст и ссылки
noindex, follow = не индексировать текст, но индексировать ссылки
index, nofollow = индексировать текст, но не индексировать ссылки
По умолчанию если ничего не ставить робот поисковика воспримет это как индексировать все - и текст и ссылки (типа как "index, follow"
Если в примерах - то в поле HEAD документа может быть вписана одна из таких строк, которая сообщит поисковому роботу инструкции, касающиеся как индексировать данную страницу:
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
<meta name="robots" content="all">
<meta name="robots" content="none">
Пользоваться ими или нет - это вы сами решаете, например страницы где вы размещаете много чужих ссылок и не хотите чтобы они отдавали вес вашей страницы (Google PR) этим сайтам но хотите чтобы текст был все равно учтен поисковиком стоит вписать-
<meta name="robots" content="index,nofollow">
ФОРУМ 
Избранное: 0
