Страниците на всеки сайт редовно се обхождат от роботи за търсене, които обработват информацията на сайта, така че тя да е достъпна по искане на потребителите в търсачките. Посещенията на посетители от търсачките имат положителен ефект върху посещаемостта на сайта и стимулират развитието на ресурса. Но ако на сайта има страници, информацията за които не е предназначена за интернет аудиторията (например личните страници на потребителите или страницата за регистрация), тогава преходът от търсачките към такива страници не е необходим и той по-добре е да се забрани индексирането на тази информация.
Необходимо
- - имате собствен уебсайт
- - да знае връзките към страниците, чието индексиране трябва да бъде забранено.
- - притежават поне основни познания по HTML
Инструкции
Етап 1
За да попречите на робота за търсене да индексира определени страници на сайта, трябва да направите промени във файла robots.txt, ако той вече е на вашия сайт, или да създадете този файл.
Стъпка 2
Ако файлът robots.txt вече е качен на сайта и е възможно да го редактирате директно от контролния панел на ресурса, отворете robots.txt чрез уеб услугата за редактиране.
Стъпка 3
Ако няма начин да направите промени в желания файл директно от контролния панел, отворете robots.txt в браузър, като щракнете върху връзката към този файл. Копирайте всички данни от отварящата се страница и ги поставете върху листа в Notepad.
Стъпка 4
Ако на сайта няма файл robots.txt, отворете програмата "Notepad", в новия документ на която ще трябва да въведете необходимия код.
Стъпка 5
На празен лист текстов документ напишете първия необходим ред:
Потребителски агент: *
Стъпка 6
След това преминете към следващия ред, като натиснете клавиша Enter и въведете следния код:
Disallow: / index / page3 Disallow: показва липса на индексиране и / index / page3 е връзка към страница, която не трябва да се индексира. Вместо връзка / индекс / страница3, вмъкнете връзка към страницата на вашия сайт, която искате да блокирате за обработка от роботи.
Стъпка 7
Имайте предвид, че самото име на домейн липсва в началото на връзката; присъствието му в записа предполага наклонена черта. Когато обхожда сайт, роботът за търсене автоматично вмъква име на домейн в такива връзки. Затова напишете връзки към необходимите страници по този начин.
Стъпка 8
След забрана: можете да поставите не само връзка към определена страница, но и връзка към всяка секция или директория на сайта. По същия начин можете да забраните индексирането на желаната част от сайта.
Стъпка 9
Ако е необходимо да се забрани обработката от роботи на няколко различни раздела на ресурса, напишете линк към всеки раздел или страница на нов ред, в началото на който не забравяйте да поставите записа Disallow:.
Стъпка 10
За да завършите промяната на robots.txt, щракнете върху бутона „Запазване“, докато редактирате файла в контролния панел, или запазете текстов документ със записи под името robots.txt и качете този файл на сайта.
