Как да изпратите отново актуализиран или нов файл Robots.txt

роботи txt

Нашата агенция се справя органично търсене на консултации за няколко доставчици на SaaS в бранша. Клиент, с когото наскоро започнахме да работим, беше направил доста стандартна практика, като постави своето приложение на поддомейн и премести своя сайт с брошури в основния домейн. Това е стандартна практика, тъй като дава възможност както на вашия производствен екип, така и на вашия маркетингов екип да правят актуализации, ако е необходимо, без никаква зависимост от другия.

Като първа стъпка в анализа на тяхното здравословно състояние при търсене, регистрирахме както домейните на брошурата, така и на приложенията в Webmasters. Тогава установихме непосредствен проблем. Всички страници с приложения бяха блокирани от индексиране от търсачките. Отидохме до техния запис robots.txt в Webmasters и незабавно идентифицирахме проблема.

Докато се подготвяха за миграцията, техният екип за разработка не искаше поддомейнът на приложението да бъде индексиран чрез търсене, така че те забраниха достъпа до търсачките. Файлът robots.txt е файл, намерен в корена на вашия сайт - yourdomain.com/robots.txt - това дава възможност на търсачката да знае дали трябва да обхождат сайта или не. Можете да напишете правила, за да разрешите или забраните индексирането на целия сайт или конкретни пътища. Можете също да добавите ред, за да посочите файла си на карта на сайта.

Най- Robots.txt файл имаше следния запис, който попречи на обхождането и индексирането на сайта в класирането на резултатите от търсенето:

Потребителски агент: * Забрана: /

Трябваше да бъде написано по следния начин:

Потребителски агент: * Разрешаване: /

Последният предоставя разрешение на всяка търсачка, обхождаща сайта, че има достъп до всяка директория или файл в сайта.

Страхотно ... така че сега robots.txt файлът е перфектен, но откъде знае Google и кога ще проверят сайта отново? Е, можете абсолютно да поискате от Google да провери robots.txt, но това не е твърде интуитивно.

Придвижете се до Google Search Console Search Console към Обхождане> robots.txt тестер. Ще видите съдържанието на най-скоро обходения файл robots.txt в тестера. Ако искате да изпратите отново файла robots.txt, щракнете върху Изпращане и ще се появи изскачащ прозорец с няколко опции.

изпратете отново robots.txt

Крайният вариант е Помолете Google да актуализира. Щракнете върху синия бутон Submit до тази опция и след това се върнете обратно до Обхождане> robots.txt тестер опция от менюто, за да презаредите страницата. Сега трябва да видите актуализирания файл robots.txt заедно с печат за дата, който показва, че е обходен отново.

Ако не виждате актуализирана версия, можете да кликнете върху „Изпращане“ и да изберете Вижте качената версия за да отидете до вашия действителен файл robots.txt. Много системи ще кешират този файл. Всъщност IIS генерира този файл динамично въз основа на правила, въведени чрез техния потребителски интерфейс. Най-вероятно ще трябва да актуализирате правилата и да опресните кеша, за да публикувате нов файл robots.txt.

robots-txt-tester

Какво мислите?

Този сайт използва Akismet за намаляване на спама. Научете как се обработват данните за коментарите ви.