Файл robots.txt

Файл robots.txt предназначен для заперта индексации некоторых страниц, содержимое которых не представляет никакого интереса для пользователей, приходящих на сайт с поисковых систем, либо дублирует содержимое других страниц, а также чтобы не вводить в заблуждение поисковых роботов. Файл robots.txt должен находиться в корневой директории сайта, независимо от того, в какой папке установлен интернет-магазин.

Рекомендуется запретить индексацию поисковыми системами файлов cart.php, sort.php, search.php, а также pages.php. В особенности это больше всего касается файлов cart.php и sort.php. Файл cart.php представляет из себя сплошные редиректы, файл sort.php - те же страницы с товарами, только в другой последовательности.

Если магазин установлен в корне сайта (т.е. является главной страницей сайта, например, http://www.site.nnn/ или http://shop.site.nnn/ ), по умолчанию файл robots.txt уже присутствует в папке со скриптом. Если же магазин установлен не в корне сайта, а в отдельную папку (т.е. НЕ является главной страницей сайта, например, http://www.site.nnn/shop/ ), то Вы можете создать файл robots.txt в корне сайта, со следующим текстом:

User-Agent: *
Disallow: /shop/cart.php
Disallow: /shop/sort.php
Disallow: /shop/search.php
Disallow: /shop/pages.php

где shop - имя папки, в которую установлен магазин, если магазин установлен в корне сайта, то вместо /shop/ пишите /