Как файл Robots.txt работает в SEO

В общем, файл robots.txt - это то, как ваш сайт общается с поисковым роботом (или «ботом»), указывая, какие страницы могут быть запрошены поисковой системой.

Этот файл используется веб-администраторами для управления трафиком в тех случаях, когда возможно перегружать сервер большим количеством запросов. Это также полезно для предотвращения индексации определенного контента или блокировки неважных ресурсов. Ресурс robots.txt не принадлежит какой-либо конкретной организации или лицу - вместо этого он является протоколом, изначально разработанным в 1994 году для предоставления директив веб-сканеру, и является частью протокола исключения роботов (REP).

Итак, как вы можете использовать файл robots.txt, чтобы помочь с вашим собственным сайтом?

Функциональность и формат

Самый простой файл robots.txt может содержать всего две строки, включающие «user-agent» и «disallow property». Пользовательский агент (user-agent) - это указанный веб-сканер, а свойство запрета (Disallow) указывает, какие ресурсы ограничены. Также возможны более сложные версии, которые имеют несколько пользовательских директив. Когда файл содержит более одной команды, они объединяются в пару и разделяются пустой строкой. Таким образом, пользователи могут запретить определенные ресурсы от одного бота.

В версии файла с несколькими правилами каждый имеет директиву пользователя и свой предел доступа. Бот будет обрабатывать эти правила последовательно, где каждое из них читается в порядке сверху вниз. Если комментарии необходимы для удобства чтения (или как напоминание о том, почему правила были созданы), им должен предшествовать знак решетки (#). Дополнительные важные детали, которые должны знать создатели файлов, - это то, что файлы чувствительны к регистру. И пользовательские агенты (user-agent) будут по умолчанию сканировать весь сайт, если не ограничено иное.

Практически все простые текстовые редакторы, которые создают текстовые файлы ASCII или UTF-8, подходят для создания собственного robots.txt. Microsoft Notepad - это программа, которую вы можете использовать для создания файлов. Однако текстовые процессоры, такие как Microsoft Word, не идеальны, поскольку они сохраняют файлы в проприетарных форматах и добавляют дополнительное форматирование к файлам, что делает их несовместимыми.

Независимо от того, как вы это сделаете, вы можете использовать robots txt validator, чтобы убедиться, что элемент в правильном формате и правильный синтаксис. В дополнение к правилам формата ASCII или UTF-8 файл должен иметь имя «robots.txt» и должен находиться в корневом каталоге веб-сайта. Боты не будут читать файлы вне корня или в подкаталоге. Если веб-мастер намерен применить правила к поддомену, они могут находиться в главном каталоге поддомена.

Важность в поисковой оптимизации

Сайты, как правило, состоят из нескольких файлов, и на более крупных сайтах будет больше файлов. Когда неограниченно, боты сканируют все страницы и файлы, связанные с вашим сайтом. Хотя это кажется положительной характеристикой, это может сработать против результатов вашего рейтинга. Поисковые системы, такие как Google, устанавливают ограничение для своих ботов, называемое бюджетом сканирования. URL-адреса с низким значением по-прежнему влияют на ограничение скорости сканирования и спрос на сканирование. По сути, они используют ресурсы, не внося вклада в ценность. В файле robots.txt веб-мастера могут сказать ботам, чтобы они специально предназначались для ценного контента, в то же время заставляя ботов игнорировать страницы, которые снижают рейтинг.

Еще одна причина, по которой эти файлы важны для реализации в контексте SEO, заключается в том, что поисковым системам не нравится дублированный контент. Есть сценарии, когда этого невозможно избежать, и необходимо копировать одну и ту же информацию на разных страницах. В этих случаях веб-мастера могут добавить страницу в файл robots.txt и избежать наказания за скопированную информацию.