Довольно часто нужно для тестов поднять копию сайта, локальная версия не всегда удобна – показать ее клиенту проблематично. Для таких сайтов индексацию нужно полностью запретить.
Самый простой способ это разместить в корне сайта файл robots.txt со следующим содержимым:
Справочники, инструменты, документация