Про файл robots.txt
Файл robots.txt це текстовий файл, в якому прописуються правила для пошукових машин для сканування, а значить індексації папок і файлів сайту. Знаходиться файл robots.txt повинен в кореневому каталозі сайту. Файл robots.txt поряд з картою сайту Sitemap це основні документи SEO оптимізації блогів зроблених на CMS WordPress.
- Важливо! Неприпустимо порожні переклади рядків між директивами 'User-agent' і 'Disallow' ( 'Allow'), а також між директивами 'Disallow' і 'Allow'.
- Важливо! URL файлу robots.txt чутливий до регістру.
На базовій версії файл robots.txt для wordpress виглядає наступним чином:
User-agent: *
Disallow: / wp-admin /
Disallow: / wp-includes /
- User-agent е то звернення до пошуковиків. [*] Зірка, означає, що такі директиви групи звернені до всіх пошукачам;
- Директива Disallow забороняє пошуковикам індексувати тільки те, що знаходиться в папках / wp-admin / і / wp-includes /.
Файл robots.txt складається з рядків, кожна з яких є окремою директивою. Директива, а простіше кажучи, правило, пишеться для пошукових систем. Весь файл robots.txt пишеться за спеціальним нескладному синтаксису.
Синтаксис файлу robots.txt
Першою робочої директивою файлу robots.txt (початок групи) потрібно прописувати директиву [User-agent]. Вона показує до кого пошуковику відноситься наступні за ним директиви;
Неприпустимо порожні переклади рядків між директивами [User-agent] і [Disallow] ([Allow]);
Директива [User-agent] із зіркою. тобто [User-agent: *], означає, що правила robots.txt відносяться до всіх пошукачам;
Для головних пошукових роботів Яндекс і Google директиви "User-agent" файлу robots.txt повинні випрасувати так:
Правила для пошукових систем прописуються директивами «Disallow» - заборона або «Allow» -Дозвіл;
Будь-який файл robots.txt повинен містити директиву «Disallow»;
Порожня «Disallow» дозволяє індексацію всього сайту, «Disallow» закрита слеш (/) повністю закриває сайт від індексації.
Складемо Файл robots.txt для wordpresss
Що ж варто заховати від пошукачів?
Розумно заховати всі папки з особистою інформацією, паролями, логінами і т.п. Це три папки. Директиви виглядають так:
Всі плагіни блогу, теми, кеш не є тематичної інформацією блога, тому їх теж сховаємо.
Таким же чином ви можете заборонити індексацію будь-якої папки або файлу блогу. Щоб заборонити індексацію файлів, наприклад .pdf потрібно прописати директиву:
Спецсимвол зірка '*' означає будь-яку, включаючи порожню, послідовність символів.
У файлі robots.txt є одна цікава директива спеціальна для Яндекс. Це директива Host. За допомогою неї ви можете (повинні) повідомити Яндекс основний домен (головне дзеркало) свого блогу. Директив Host у файлі повинна бути одна. Якщо внесені кілька директив Host читається перша за списком. Правда, для цього потрібно зробити окрему секцію для "User-agent" для Яндекс.
У файл robots.txt обов'язково потрібно вставити інформацію про свою карту Sitemap
Карту-сайту потрібно генерувати за допомогою будь-якого веб-інструменту Sitemap. Він генерує чотири формату карти-сайту. Один з них, файл формату [.xml], спочатку потрібно завантажити в корінь сайту, а потім включити в файл robots.txt. Якщо карт-сайту кілька завантажте все. Рекомендую два генератора Sitemap:
Якщо ви бачите велике завантаження свого сервера, то можна скористатися директивою "Crawl-delay". Вона поставить час в мілісекундах, між завантаженнями двох сторінок. Додавати директиву "Crawl-delay" потрібно відразу після "User-agent".
Взагалі міняти файл robots.txt на сайті WordPress це робота творча. Кожен файл robots.txt повинен бути індивідуальним і відповідати вашим особистим вимогам до пошуковиків.
Файл robots.txt для wordpress: приклад
Наведу, як мені здається, розумний Файл robots.txt для wordpress
Пояснення до файлу
Цей файл robots.txt для wordpress містить виділену інструкцію для пошукача Яндекс. У цю частину файлу додана спеціальна директива Host, яка читається тільки ботами Яндекс і визначає основне дзеркало сайту. Двох директив Host у файлі robots.txt бути не повинно.
Наведений Файл robots.txt є приватним і зроблений для індивідуальних вимог.
Корисні посилання
На цьому про файл robots.txt для wordpress все!
Інші статті розділу: CMS WordPress
Навігація по публікаціям