А тепер до справи ...
Як створити файл robots.txt
Файл поміщають в кореневій каталог, у деяких хостингів це або "WWW", або "public html«, або »httpdocs«.
Отже, відкриваємо блокнот і заповнюємо. Заповніть так як в моєму прикладі нижче, а зараз просто розберемо правила заповнення.
Починаємо завжди з директиви User-agent. Ця назва пошукового робота, можна вказати робота Яндекс або Гугл, але правильніше дозволити всім роботам, для цього прописуємо так:
Далі прописується директива Disallow. тобто Заборонити. Заборонити індексацію файлів, папок, деякі частини сайту (Allow - дозволити індексацію всього, дуже рідко прописується в robots.txt)
Для заборони індексації вмісту в папці wp-admin, потрібно прописати
User-agent: *
Disallow: / wp-admin /
далі ви хочете заборонити індексацію певних сторінок, наприклад karta-sajta, прописуємо
User-agent: *
Disallow: / wp-admin /
Disallow: /karta-sajta.html
Я сподіваюся принцип заповнення файлу зрозумілий ...
Закриваємо від індексації в першу чергу файли системні:
- wp-admin /
- wp-content / plugins
- wp-content / themes
- wp-content / languages
- wp-includes /
- wp-login.php
- wp-register.php
Ось таким чином заповнюється файл, якщо вам цікаво самому прописати, якщо не хочете морочитися. тоді ось вам файл складений правильно, копіюйте і ставте собі.