Добрий день шановні читачі! Створивши сайт на Joomla не варто забувати про необхідність створення файлу robots.txt. Для просування сайту його повинні проіндексувати пошукові роботи. А так як Joomla складається з величезної кількості різних розширень і вони не всі повинні бути проіндексовані пошуковими ботами. Тому необхідно прописати правила поведінки ботів при індексації сайту. Ось для цієї мети і слід створити файл robots.txt для Joomla.
Перш ніж приступити до створення. необхідно зрозуміти, що таке файл robots.txt.
Але перш його потрібно для початку ще створити і правильно вказати основні директиви
На самому початку в файлі robots.txt необхідно прописати для якого пошукового бота створені інструкції. Для цього застосовується директива 'User-agent', то що ми хочемо вирішити проіндексувати пошуковому роботу вказується за допомогою директиви 'Allow', а для заборони використовуємо директиви 'Disallow'. Не варто забувати вказувати директиву 'Sitemap', яка показує шлях пошуковим роботам до файлу карти сайту.
Якщо ж мені потрібно задати в даній директиві умови індексування для якого - то певного пошукового робота, припустимо для Яндекса, то директива матиме такий вигляд:
Кожна пошукова система має свого робота, який має свою назву. Я приведу імена найбільш зустрічаються пошукових роботів:
Пошуковий робот від Yandex - User-agent: Yandex;
Пошуковий робот від Google - User-agent: Googlebot;
Пошуковий робот від Rambler - User-agent: StackRambler;
Пошуковий робот від Yahoo! - User-agent: Yahoo! Slurp;
Пошуковий робот від MSN - User-agent: MSNbot;
Після вказівки директиви User-agent рядком нижче прописуємо директиву Disallow - інструкцію для бота. Між цими рядками не повинно бути порожніх рядків, інакше це буде означати кінець блоку.
Для вирішення всіх пошукових роботів індексувати весь сайт необхідно прописати:
Допоможіть налаштувати robots.txt не розумію правильно я зробила чи ні.
Добридень! Допоможіть будь ласка налаштувати robots.txt Нам необхідно закрити всі дублі блоки інформації. А то у нас буде лежати чоловік йде і магазину практично немає в індексі. сайт ulovisto.ru