История развития поисковых алгоритмов

Приветствую вас! Сегодня пост исторический: проследим развитие поисковых алгоритмов в популярных ПС Яндекс и Google, проанализируем, что ждать от них в дальнейшем, чтобы продвигать сайты стратегически правильно.

1997 год – 23 сентября начала работать будущая самая популярная в России поисковая система. В поисковике образца 97 года учитывалась морфология русского языка. Система умела ранжировать результат в соответствии с релевантностью запроса. В ноябре система начала обрабатывать естественные поисковые запросы и выдавать соответствующие результаты.

С 1998 по 2002 годы система училась искать разные форматы документов, включая изображения, новости, товарные описания.

С 2002 по 2005 годы начался активный период создания коммерческих интернет-ресурсов, быстро заполоняющих рынок. Конкуренция росла, и за первые места в поисковой выдаче началась борьба. Основным методом продвижения стал обмен ссылками. В этот же период появились первые сервисы, обеспечивающие ссылочный обмен на автоматическом уровне. Продвижение в те годы было элементарным: обменяться линками, зарегистрироваться в тематических каталогах и гарантированно получить место в ТОПе. Бороться с автоматизированными сервисами Яндекс научился только в 2005 году. Тогда и была произведена первая глобальная «чистка» сайтов в поисковой выдаче.

С 2006 по 2007 годы начался период, который называют расцветом ссылочного ранжирования. Автоматизировались процессы закупки ссылок с главных страниц сайтов, а после – и с внутренних. Начала работать самая большая биржа ссылок – Sape.

17 января 2008 года – появляется первый поисковый алгоритм с собственным именем 8 SP1. Руководство Яндекса сообщает, что с этих пор все будущие поисковые алгоритмы будут носить названия населенных пунктов. Игра в «города» продолжилась на долгие годы: Яндекс начал достаточно серьезную борьбу со ссылочным продвижением. Сотни сайтов, пользующихся услугами ссылочных бирж, лишились «насиженных» позиций. В этот же период возникает понятие «непот-фильтра». Чуть позже жесткую борьбу пришлось немного смягчить, так как качество поисковой выдачи снизилось.

16 мая 2008 года – появление алгоритма «Магадан». В ТОП возвращаются сайты, продвигаемые с помощью покупных ссылок. Начинается учет траста. Яндекс начинает индексацию зарубежных ресурсов.

2 июля 2008 года – запуск «Магадан 2.0». В алгоритме впервые учитывается уникальность текстового контента. Поисковые запросы делят по географическому признаку. Появляются первые коммерческие запросы. Еще более важным становится фактор возраста ресурса (посредники начинают метаться в поиске старых доменов, массово скупая их).

12 сентября 2008 года – «Находка». Усовершенствована работа с тезаурусом: наличием стоп-слов в запросах, различными вариантами написания слов и т.п. Усилены фильтры, борющиеся с клоакингом и принудительным редиректом.

10 апреля 2009 года – «Арзамас». Старт полноценной региональной выдачи: результаты по поисковым запросам начинают зависеть от месторасположения пользователя. С самого начала система работала с 19 регионами страны. Также алгоритм научил систему лучше воспринимать омонимы и опечатки.

17 ноября 2009 года – «Снежинск». Алгоритм работает по технологии «Матрикснет». Она основана на обучении системы с использованием асессоров – специальных сотрудников, которые определяют соответствие ресурса поисковому запросу. Алгоритм работает с учетом нескольких сотен факторов ранжирования. Начало разговоров об учете поведенческих факторов, основанных на поведении пользователей на сайтах. 15 октября 2010 года появилось подтверждение существования поведенческих факторов.

22 декабря 2009 года – «Конаково». Главная особенность алгоритма – увеличение количества регионов до 1250.

6 августа 2010 года – «Обнинск». Оптимизирована обработка геонезависимых запросов. Возросло число факторов, учитываемых при ранжировании. Оптимизирован механизм определения авторства текстов. Сделана очередная попытка почистить ряды ТОПа от сайтов с покупными ссылками.

15 декабря 2010 года – «Краснодар». Алгоритм «Матрикснет» обогащается технологией «Спектр», сильно повлиявшей на многозначные слова. К примеру, в зависимости от поведения пользователя, запрос «Алиса» может выдвинуть наверх результаты со ссылками на рок-группу, на книгу Кэрролла или на одноименные фильмы.

17 августа 2011 года – «Рейкьявик». Сделаны первые шаги в организации персонализированного поиска по языкам: поисковая система учится анализировать запросы пользователя и в случае необходимости предлагать ему ссылки на англоязычные ресурсы.

2012 год в целом – В ТОП 10 появляются ссылки на один и тот же ресурс – если его страницы идеально соответствуют конкретному запросу. В результатах поиска появляются ссылки на страницы пользователей социальных сетей. Появляется возможность поиска людей, новостей, заметок. Сниппеты обогащаются ссылками на страницы компаний в соцсетях. Начинается сотрудничество с Twitter (точнее, с его базой данных). Твиты увеличивают скорость индексации страниц. Совершенствуются подсказки: на каждый неоднозначный запрос система предлагает свои варианты. Ряд запросов (погода, курс валют) позволяют увидеть ответ непосредственно в подсказках.

12 декабря 2012 года – «Калининград». Стало доступным то, о чем говорили очень долго – персонализированный поиск. У каждого пользователя появляется своя выдача с учетом географии, поведенческих факторов, личных предпочтений. Около 80% результатов выдачи по запросам – персонализированные.

26 июля 2013 года – «Острова». Бета-версия нового алгоритма, обеспечивающего интерактивные ответы на запросы непосредственно в сниппетах. В результатах поиска становится возможным купить билеты, заказать еду, записаться к врачу и т.п. Изменяется внешний вид поисковой выдачи: появляются блоки, внешний вид которых меняется в зависимости от запросов и видов ответов.

15 мая 2015 года – «Минусинск». Новый виток борьбы с ссылочным продвижением: под санкции попадают сайты со спамными ссылками и другими запрещенными способами продвижения. Первая же волна коснулась 488 ресурсов (предупреждения были заранее разосланы владельцам 9 тыс. ресурсов). 27 мая и 23 июня прошло еще две волны, посеяв панику среди нескольких сотен владельцев сайтов. Борьба продолжается. Центральный метод продвижения: размещение качественного контента, влияющего на поведенческие факторы.

1998 год – PageRank. Самый первый алгоритм ссылочного ранжирования, введенный в год основания поисковика. В то время он был намного качественнее всех существовавших поисковых алгоритмов. Главный принцип – чем больше страниц ссылается на конкретную страницу и чем выше их авторитет, тем выше важность страницы для поисковой системы. Это до сих пор центральный алгоритм поисковика – хотя, естественно, к 2015 году его первоначальные принципы сильно видоизменили.

15 ноября 2003 года – «Florida» в обновленном виде. Алгоритм «уронил» позиции нескольких тысяч коммерческих ресурсов. В первую очередь это коснулось страниц с многократным повторением ключевых слов и анкоров. Алгоритм научился учитывать морфологию (слова в единственном и множественном числе), а также научился исправлять ошибки. Началось периодическое обновление поисковой базы.

2006 год – «Орион». Алгоритм разнообразил выдачу по различным запросам, разбавляя ее дополнительной информацией. Например, запрос «гражданская война в США» выдавал не только соответствующие ссылки с такой фразой, но и дополнительную информацию о хронологии событий и главных участниках.

2007 год – «Остин», очередное обновление алгоритма «Флорида». Улучшена практика противостояния переоптимизации (учитываются ключевые слова, невидимый текст, элементы оформления и верстки). Ужесточены требования к релевантности контента.

2009 год – «Кофеин». Работа поискового робота ускоряется, индексация становится лучше. Менеджмент поисковика утверждает, что обновлению подверглось больше половины индекса. Это позволило брендовым ресурсам в августе 2009 года занимать по несколько строчек в выдаче. Google Instant, вышедший в сентябре, позволил формировать поисковую выдачу в режиме реального времени. С декабря этого же года поисковик стал учитывать при ранжировании социальные сигналы и негативные отзывы.

2010 год – «Хилтоп» (Hilltop либо LocalScore). Это алгоритм усовершенствовал PageRank – в частности, стало возможным определение авторитетности страницы по отношению к конкретному запросу. Определение ценности страницы проводится по ссылкам с экспертных страниц (тематически релевантных запросу).

23 февраля 2011 года – «Панда». Алгоритм, который изменил 12% поисковой выдачи. Главная его функция – оценка качества ресурса на основе качества его контента (уникальности, новизны, ценности для пользователя). Алгоритм стал относить к некачественным страницы на ресурсах с припаркованными доменами, страницы «ссылочных ферм», страницы без контента, шаблонные, перегруженные рекламой. В качестве примера работы алгоритма можно привести следующий подход: если на странице 99% ссылок и 1% контента – у нее нет шансов на успешное продвижение. Важными страницами при ранжировании онлайн-магазинов стали «Оплата и доставка», «Условия возврата товара» и т.п.

24 апреля 2012 года – «Пингвин». Алгоритм, «укатавший» санкциями 25% коммерческих сайтов. Главная миссия – уборка поискового спама, в частности: переоптимизированных ключевыми фразами страниц, дублированного контента. Сильно пострадали сайты с неестественным по мнению поисковика ссылочным профилем. Речь идет о ссылках с большим количеством ключевых слов, маленьком количестве ссылок с тематических сайтов и т.п.

Февраль 2012 года – «Венеция». Алгоритм стал учитывать месторасположение пользователя, автоматически формируя выдачу по географическому фактору. С мая 2012 года начинает работать Сеть Знаний – в результатах поиска демонстрируются данные из проверенных источников без перехода на них. Таким источником в первую очередь стала Википедия.

26 сентября 2013 года – «Колибри». Алгоритм, повлиявший на 80% результатов поиска. Его внедрили в качестве ответа на популярный голосовой поиск с его естественными запросами. Алгоритм умеет распознавать длинные фразы разговорной речи, формируя максимально близкую выдачу. Цель алгоритма – предоставлять максимально развернутый ответ на поставленный вопрос, используя релевантные страницы сайтов и Сеть Знаний.

25 апреля 2015 года – «Mobile frendly». Алгоритм, направленный на ранжировку страниц в мобильном поиске. Соответственно, главным требованием к сайтам стало наличие мобильной версии или дружественный интерфейс к браузерам мобильных устройств.

Общий вывод из всего вышеописанного: не полагайтесь на устаревшие методы продвижения. Делайте упор на соответствие вашего сайта современным тенденциям, наполняйте ресурс полезным контентом, забудьте о «сером» и «черном» продвижении – и будет вам счастье. А еще лучше найти опытного оптимизатора – и тогда не придется забивать голову тонкостями изменений в поисковых алгоритмах.