Индексирането е процес на сканиране на файлове, намиращи се в интернет ресурс от робот за търсене. Тази процедура се извършва така, че сайтът да е достъпен в резултатите от търсенето за различни заявки в търсачката. Сред най-големите търсачки днес е Yandex, който провежда това сканиране по свой начин.
Инструкции
Етап 1
Индексирането на интернет сайта се извършва от специални автоматични програми - роботи за търсене, които автоматично проследяват появата на нови сайтове в глобалната мрежа, като непрекъснато сканират интернет страници, намиращи се в интернет, файлове и връзки към тях на всеки ресурс.
Стъпка 2
За сканиране роботът отива в директорията, където се намира ресурсът на определен сървър. При избора на нов сайт, роботът се ръководи от неговата наличност. Например, има мнение, че Yandex първо сканира сайтове, създадени в рускоезичен домейн и на руски - ru, rf, su или ua, и едва след това се премества в други региони.
Стъпка 3
Роботът се придвижва до сайта и сканира структурата му, като първо търси файлове, които показват по-нататъшно търсене. Например сайт се сканира за Sitemap.xml или robots.txt. Тези файлове могат да се използват за задаване на поведението на робота за търсене при сканиране. Използвайки картата на сайта (sitemap.xml), роботът получава по-точна представа за структурата на ресурса. Уеб администраторът използва robots.txt, за да дефинира файлове, които не би искал да се показват в резултатите от търсенето. Например това може да е лична информация или други нежелани данни.
Стъпка 4
След като сканира тези два документа и получи необходимите инструкции, роботът започва да анализира HTML кода и да обработва получените тагове. По подразбиране, при липса на файл robots.txt, търсачката започва да обработва всички документи, съхранени на сървъра.
Стъпка 5
Чрез кликване върху връзки в документи, роботът получава и информация за други сайтове, които са на опашка за сканиране след този ресурс. Сканираните файлове на сайта се запазват като текстово копие и структура на сървъри в центровете за данни на Yandex.
Стъпка 6
Необходимостта от повторно сканиране също се определя автоматично от роботи. Програмата сравнява съществуващия резултат от сканирането с актуализираната версия на сайта, когато преминава през индексирането отново. Ако данните, получени от програмата, се различават, копието на сайта се актуализира и на сървъра на Яндекс.
