02.04.2018
Скорость обхода страниц
Скорость обхода страниц
Заходя на сайт, поисковый робот в первую очередь просматривает файл robots.txt. В нём указан набор инструкций, определяющих поведение робота – в частности, доступ к страницам сайта, разрешение на их индексацию.
Одним из параметров файла robots.txt является ...
читать далее