Почти всеки уеб администратор се опитва да оптимизира страниците на сайта си по такъв начин, че да получи възможно най-много индексирани елементи. Но в някои случаи, напротив, трябва да скриете някои страници, например формуляр за въвеждане на данни за регистрация, възстановяване на пароли и т.н.
Необходимо е
Редактиране на файла Robots.txt
Инструкции
Етап 1
Най-лесният начин да затворите индексирането на няколко раздела или конкретен цял сайт е да направите съответните записи във файла robots.txt. Той се използва като ръководство за търсачките. При влизане в страниците на сайта роботът за търсене се позовава на този файл, ако го няма, индексира целия сайт, в противен случай следва препоръките, посочени в този файл.
Стъпка 2
Ако сте създали сайта си сами и нямате такова приложение, под формата на текстов документ, посочващ забраните, е лесно да го създадете сами. Отворете нов текстов документ, например, като използвате програмата Notepad. Поставете следните редове в тялото на документа: User-agent: * Disallow: /file.htmlDisallow: / directory /
Стъпка 3
Сега нека разберем какво сте задали на търсачката като задача. Знакът "*" срещу User-agent означава, че тази инструкция трябва да бъде изпълнена от абсолютно всички файлови системи. Например, ако напишете „Yandex“вместо „*“, това обжалване ще се чете само от робота на търсачката на Yandex. Изреченията за забрана забраняват индексирането на конкретна секция (директория) или файл (.html файл).
Стъпка 4
След компилирането на файла robots.txt можете да отидете директно към текстовете на страниците на сайта. Както знаете, търсачките не обичат да имат повече от 3 външни активни връзки на вашите страници. Ами ако имате нужда от кървене от носа, но публикувате 5 или повече връзки. В тези случаи можете да използвате атрибут или маркер.
Стъпка 5
За да затворите връзки от индексиране от търсачката на Google, трябва да въведете връзката в следната форма: закотвени връзки. Тялото на атрибута трябва да бъде вмъкнато във всяка част на връзката, като не забравяме да го отделите с интервал, т.е. атрибутът може да бъде поставен между "a" и "href" или между връзката и нейната котва.
Стъпка 6
За да затворите връзките от индексиране от търсачката на Yandex, трябва да въведете връзката в следната форма: закотвена връзка. Етикетът се поставя в началото и в края на връзката. Не забравяйте, че този таг е сдвоен: втората част, за разлика от първата, идва със знак „/“.
