Сайт під фільтром Яндекса. Як мій блог потрапив під фільтр АГС і як з під нього вибрався
Як на Русі кажуть «Від суми та тюрми не зарікайся». Якщо Ви думаєте, що Ваш проект Яндексу нема за що карати, то краще в слух про це не говорите, а раптом є за що, просто Ви про це ще не знаєте.
Яндекс дуже крутий! Він може бути прокурором, суддею і катом в одній особі, а якщо Ви вже впали до нього в немилість, то моліться, він катком пройдеться по Вашому сайту, не залишивши на ньому живого місця.
І це зовсім не порожні слова, моя історія яскравий тому доказ.
За що мій блог потрапив під АГС
Був звичайний весняний день, погода стояла сонячна, дзюрчали струмки, пташки цвірінькали і пам'ятаю я перебував в прекрасному настрої. Загалом нічого не віщувало біди.
Запустивши свого незамінного помічника програму Site-Auditor. я з подивом виявив, що в індексі Яндекса у мене всього одна сторінка. Перша думка, яка мені прийшла в голову - «Сайт під фільтром!».
Була надія, що це якийсь глюк програми, але Яндекс Вебмайстер швидко її розвіяв. Всі сторінки блогу, крім морди, були виключені з пошукової видачі, а це вірна ознака фільтра АГС (в народі - анти говносайт).
Досада - це напевно найбільш м'яке опис емоцій, які я відчував в той момент. Я просто був у не себе від почуття несправедливості. За що? Що за ідіотські санкції?
Перше моє лист Платону було переповнене різними необдуманими висловлюваннями 🙂 за що тепер мені хочеться вибачитися перед службою підтримки Яндекса. Але я ж тоді був на всі 100% впевнений, що це якась груба помилка робота і за мною немає ніякої провини.
На наступний день я отримав відповідь на своє гнівного листа:
Вітаю!
Дякую за лист, ми перевіримо, чи всі зараз в порядку з Вашим сайтом, і повідомимо Вам.
З повагою, Платон Щукін
Служба підтримки Яндекса
Чесно скажу, у мене тоді в душі зажевріла надія, що все обійдеться. Ось зараз фахівці Яндекса «підкрутять мізки» своєму пошуковому роботу і все повернеться на свої місця. Я навіть перестав шукати причини санкцій і почав чекати поки все владнається само собою.
Через кілька днів від Платона прийшла відповідь, вірніше буде сказати - вирок:
У мене навіть дар мови пропав, кілька хвилин я дивився на екран не вірячи своїм очам.
Трохи оговтавшись від початкового шоку і вже напевно на 301 раз прочитавши лист, мені здалася не випадковою одна фраза:
... розміщувати на ньому унікальну і корисну інформацію ...
Хоча чому було дивуватися, злодійство в Росії явище цілком буденне, але питання в іншому. З якою метою здійснюється це діяння?
Якщо з метою наживи, то тут все зрозуміло, але який сенс красти мої статті і розмішати їх на безкоштовному українському хостингу uСoz.
Адже не спроста ж були створені сайти на доменах третього рівня з різними URL, причому в URL кожної площадки було присутнє слово news (з англ. Новости), а як відомо, новини, пошукові системи індексують махом.
Напрошується висновок. Кому-то мій блог сильно завадив або хтось мені дуже хоче «насолити».
Звичайно ніяких доказів у мене немає, а без наявних достатніх підстав я нікого звинувачувати не хочу, але певні здогади, хто б це міг зробити, у мене все-таки є.
За що сайт може потрапити під АГС
АГС -17 і АГС-30 - це марки автоматичного гранатомета, що складається на озброєнні збройних сил Російської Федерації. Чому Яндекс вибрав для свого фільтра саме цю абревіатуру, я не знаю, але думаю не випадково.
Трохи пізніше була розроблена вдосконалена модель - АГС-30, яка прийшла на заміну АГС-17 і діє до цього дня.
Так за що сайт може потрапити під дію фільтра АГС? Причин може бути декілька:
Причина №1. Молодий домен. Дійсно молоді домени знаходяться в особливій групі ризику і за найменше порушення правил гри, встановлених Яндексом, сайт може потрапити під АГС або інші фільтри.
Я вважаю, що Яндекс не зовсім по-справедливості налаштував алгоритми свого пошукового робота. Я думаю, що треба більш ретельно розбиратися з кожним окремим випадком, а не помсти всі молоді домени під одну мітлу.
Причина №2. Безкоштовний движок. Насправді движок тут ні до чого, швидше за виною всьому є однакові безкоштовні шаблони, яких хоч греблю гати в інтернеті.
Яндекс з особливою настороженістю ставиться до ресурсів, у яких багато «близнюків». Нехай навіть контент буде різний, але морда-то однакова. Такі сайти також знаходяться в підвищеній зоні ризику.
Причина №3. Внутрішні дублі сторінок. Якщо веб-майстер вчасно не подбав про заборону індексації сторінок з повними, а також з частковими дублями контенту, то шанс потрапляння під АГС дуже великий.
Треба дуже серйозно ставиться до внутрішніх дублям, обов'язково треба налаштовувати посилання ЧПУ. створювати зрозумілу карту сайту для пошукових систем і правильно складати файл robots.txt.
Причина №4. Зовнішні дублі сторінок. Як Ви зрозуміли, саме з цієї причини мій блог і потрапив під АГС. Дублів може бути всього 2-3 сторінки і цього буде цілком достатньо, для накладення санкцій.
Моя думка тут однозначно. Невже не можна навчити робота Яндекса відрізняти джерело від плагіату, адже програмістам Гугла це якось же вдалося зробити і буржуйський пошуковик без зусиль зміг розібратися в російський дійсності.
А ось пошукова система Bing послідувала прикладу Яндекса і викинула сторінки мого блогу зі своєї видачі, що, звичайно, не робить їй честі.
Причина №5. Зовнішні посилання. Наявність великої кількості зовнішніх посилань з молодого сайту говорить пошуковику про низьку якість ресурсу.
Зовнішні посилання в будь-якому їх прояві, негативно позначаються на просуванні молодого проекту. Будь це продажні посилання або посилання проставлені веб-майстром для вказівки джерела матеріалу, це не важливо. Якщо зовнішніх посилань без міри багато - чекай санкцій від Яндекса.
Причина №6. Однакові анкор посилань. Ситуацію з анкорами посилань, я докладно описав тут.
Суду ж можна віднести зловживання внутрішньої перелінковкою.
Причина №7. Великий відсоток відмов. Я вирішив включити цей пункт, так як горезвісний поведінковий фактор теж може стати причиною попадання сайту під фільтр АГС.
Якщо користувач пробув на вашому сайті менше 15 секунд і повернувся назад в пошук, то це вважається відмовою і якщо відмов багато, більше 30%, то робот визнає такий ресурс низькопробним, з контентом, який не цікавий користувачам і викине його з видачі.
Стежити за відсотками відмов дуже зручно за допомогою Яндекс Метрики. Щодо розміщення Метрики на сайт можете почитати тут.
Причина №9. Вхідні посилання з сумнівних ресурсів. Наприклад посилання з немодерованих каталогів, з ресурсів дорослої тематики, з сайтів, що знаходяться по дією фільтрів та ін.
В інтернеті повно пропозицій, типу «Прогін сайту по 100000 каталогам за 100 р». Я б не радив Вам йти на поводу у таких «прогонщіков», так як якість багатьох каталогів напевно виявиться сумнівним і АГС не змусить себе чекати.
Причина №10. Биті посилання. Велика кількість битих (непрацюючих) посилань на сайті, також може стати причиною накладення фільтра АГС.
Існують спеціальні плагіни і програми по виявленню таких лінків, але багато веб-майстри через незнання або якимось іншим причин не приділяють цій проблемі належної уваги, а дарма. АГС не дрімає!
Я не став включати в загальній список причин таку, як не рідкість контенту. Таким сайтам взагалі у видачі робити нічого.
Як я вивів свій блог з під дії фільтра АГС
Після того як я виявив зовнішні дублі своїх статей, я звичайно написав про це в службу підтримки Яндекса, із зазначенням URL джерела і плагіату.
На що десь через тиждень від Платона я отримав таку відповідь:
Привіт, Віталій!
Прошу вибачення за затримку з відповіддю.
Дякую за лист, ми перевіримо, чи виправдано сайт відсутній в пошуку, і при необхідності внесемо відповідні зміни в наші алгоритми.
З повагою, Платон Щукін
Служба підтримки Яндекса
Звичайно я зрадів і почав чекати, поки робот «схаменеться» і поверне сторінки мого блогу назад в пошук.
Минали дні, потім тижні, але нічого не змінювалося, якщо не брати до уваги того, що в Яндекс вебмайстрів, у вкладці «Сторінки в пошуку», окрім головної з'явилися ще 3 сторінки. Але відвідувачів з Яндекса, як не було так і немає.
Відповідь була в стилі Яндекса:
Привіт, Віталій!
Пошукова система Яндекс є лише дзеркалом інтернету, тому ми не правомочні розбиратися в питаннях плагіату.
- Ось тобі й маєш! Значить карати за плагіат Ви уповноважені, а розбиратися в питаннях плагіату немає. Дзеркало інтернету блін!
Я звичайно упустив деякі вирази, які злетіли у мене з уст, так як моєму розчаруванню не було меж.
Десь в глибині душі зазвучали нотки відчаю і я вже був готовий поховати свій проект, але почуття несправедливості змушувало мене боротися.
Я вирішив написати в службу підтримки українського хостингу, на майданчиках якого були розміщені поцуплені у мене статті.
Зізнаюся, я очікував приблизно такого ж відповіді, як від Платона, але на мій подив прийшов лист такого змісту:
Вітаю!
Інтернет-ресурси, що стали предметом Вашого звернення, заблоковані.
З повагою, Ілля
Служба технічної підтримки веб-сервісу uCoz
Приблизно через тиждень, після чергового апдейта пошукової видачі, всі сторінки мого блогу повернулися в пошук, звичайно далеко не на провідні позиції, але це вже було не важливо. Найголовніше, що блог вибрався з під дії фільтра АГС і це вже було моєю маленькою перемогою.
Треба сказати, що незабаром я знову виявив дублі своїх статей на тому ж хостингу, але вже на інших майданчиках, що ще раз доводить не випадковість злодійства. Повторне моє звернення в службу підтримки uCoz, також знайшло розуміння і більше зовнішніх дублів свого контенту я не зустрічав.
Дякую за увагу! На сьогодні у мене все.
З повагою, Віталій Кирилов