пятница, 17 апреля 2009 г.

Арзамас - Анадырь, новый алгоритм Яндекса

Арзамас - Анадырь, новый алгоритм Яндекса

8 апреля поисковая система Яндекс ввела в строй свой новый алгоритм «Арзамас» (он же «Анадырь»). На сайте я опубликовал вкратце новость о начале тестирования «Анадыря» (Арзамаса), здесь же хочу выложить более подробный рассказ о новом алгоритме, который был прочитан мною в рассылке Ашманова.

Итак, статья профессионалов из рассылки.





Восьмого апреля у Яндекса состоялся релиз нового поискового алгоритма. 10 апреля об этом было официально объявлено в блоге Яндекс.Поиска. Алгоритм, анонсированный как «Анадырь», вышел под именем «Арзамас». Этот географический конфуз удачно оттеняет тот факт, что, по крайней мере для оптимизаторов, самым важным нововведением стали географические факторы формирования выдачи.

В первые несколько суток работы релиза выдача выглядела очень сырой, в самых неожиданных местах присутствовали порносайты, дорвеи, сателлиты. Наблюдалась разница в выдаче по запросам с большой и маленькой буквы. Уже сейчас заметно устранение таких побочных эффектов. Давно замечено, что новый релиз поискового алгоритма проходит некий период нормализации. На форуме Searchengines, однако, насчитывается уже больше десятка тем об «Арзамасе». Мы попытались выделить и упорядочить самую важную информацию о новом алгоритме, отсечь признаки незрелости алгоритма от принципиально вводимых изменений.

Обсуждая изменения в выдаче восьмого апреля, оптимизаторы первым делом заметили, что в Москве этих изменений практически не было, а вот пользователи, задающие запросы из разных регионов России, видели выдачи, отличающиеся от московской и друг от друга. Позже выяснилось, что регионов всего три – Москва, Санкт-Петербург и остальная Россия. Сергей Людкевич сказал, что если потратить немного времени на анализ, это станет очевидно.

Под региональностью выдачи Яндекса мы будем понимать разницу выдачи по одному и тому же запросу для пользователей, находящихся в разных регионах. По нашим данным, это три самостоятельные выдачи, каждая из которых строится по собственным правилам, в которых учитывается ряд географических факторов. В будущем таких выдач может стать больше. В зависимости от типа запроса, вес географических факторов варьируется. Например, для запроса «где купить обои» региональные факторы должны учитываться существенно, а для запроса «биография Пастернака» их вес должен стремиться к нулю. Пока реальная картина в Яндексе отличается от идеальной, алгоритм находится в процессе доработки.

Пока новшества Арзамаса не внушают оптимизма оптимизаторам. Кому-то кажется верной сама идея, но есть претензии к её реализации. Кому-то и идея не нравится. Но исторические предпосылки её возникновения проследить можно.

В конце прошлого года Яндекс выпустил исследование запросов за все годы существования своего поиска. По данным исследования, пользовательские запросы становятся всё длиннее, люди уточняют условия поиска, в том числе – используя название региона.

Вот цитата из этого исследования:

Обычно пользователи из разных регионов ищут в интернете похожие вещи. Но, конечно, в каждом регионе существуют специфические, «местные» запросы — например, названия аэропортов или магазинов. Чтобы выделить такие запросы, можно использовать специальный показатель — региональность.

Региональность запроса — это отношение частоты, с которой задавали этот запрос пользователи определенного региона, к количеству всех запросов из этого региона. Чем больше это отношение (то есть доля того или иного запроса среди всех запросов), тем более этот запрос «местный», то есть наиболее популярный в определенном регионе. Сравнение показателей региональности в разных регионах позволяет увидеть, какие запросы характерны для того или иного региона.

Для крупных городов локальные запросы часто содержат указание города или региона ([новосибирский зоопарк], [знакомства в ростове]) или местных брендов. Например, один из кировских запросов — [квадрат] — означает не геометрическую фигуру, а сеть магазинов техники. Среди локальных часто оказываются запросы со спортивными клубами ([фк урал], [рубин]), университетами ([двгу], [пгту]), названиями аэропортов ([толмачево], [аэропорт курумоч]) и т.п.

Уточнить поисковый запрос можно не только непосредственно его формулировкой, но и при помощи интерфейса поисковой системы. В Яндексе можно поставить галочку «искать только в определенном регионе». Этой возможностью пользуются в среднем около 5% посетителей Яндекса. В большинстве крупных городов этой опцией пользуются чаще, чем в среднем. Интересно также, что пользователи из Санкт-Петербурга достаточно редко указывают свой город непосредственно в запросе, но при этом ежедневно около 15% петербургских запросов ограничены по региону. Вообще самый популярный регион при ограничении поиска — Северо-Запад.

Другое исследование Яндекса, совсем недавнее, под названием «Развитие Интернета в регионах России», тоже помогает понять, почему Арзамас сконцентрировался на географии. В исследовании говорится, что:

За 2008 год проникновение интернета в России увеличилось на 4% — в основном за счёт регионов. В Москве доля пользователей интернета стабилизировалась и за прошедший год выросла всего на 1%. Большинство активных пользователей, однако, по-прежнему живёт в Москве и СПб.

Количество доменов второго уровня в зоне .RU в марте 2009 превысил 2 миллиона. 44% доменов зарегистрировано в Москве или Санкт-Петербурге, 33% — в регионах России, остальные — за рубежом. Принадлежность домена к тому или иному региону определяется по месту регистрации лица или организации, на которых зарегистрирован домен.

Раздел исследования под названием «Характеристики регионов» содержит информацию о распространении интернета и активности пользователей в различных регионах, которая может быть полезна при наблюдении и прогнозировании дальнейшей регионализации выдачи Яндекса.

Алгоритм формирования региональной выдачи вызывает ряд вопросов:


  • Как определяется местонахождение пользователя?
  • Как определяется региональная привязка сайта?
  • В каких случаях географические факторы более весомы, в каких менее?


Самый очевидный ответ на первый вопрос – это определение местонахождения по IP. Доподлинно известно, что у пользователя, который действительно находится в Санкт-Петербурге не такая выдача, как у пользователя, который выбрал Петербург с помощью tune.yandex.ru. Не может не играть роли и уже упомянутая региональность запроса, а также его прагматика (в Яндексе запросы классифицируются по прагматикам, то есть по потребностям пользователя, целям, которые он преследует в поиске).

Факторов региональной привязки сайта может быть больше:


  • География домена (см. выше)
  • Регион согласно Яндекс.Каталогу
  • Упоминания географических объектов в текстах на сайте, в мета-тэгах
  • Региональный URL (например, 2moscow.msk.ru)
  • Указание на сайте контактных данных организации, телефона с кодом города
  • Регистрация сайта в каталогах, подобных «Жёлтым страницам» — организация с адресом и её сайт


Александр Садовский обещал, что в Панели Вебмастера появится возможность указать регион сайта

Ссылочные факторы – ссылки с региональных сайтов, анкоры с географическими наименованиями, и т.д.

В обсуждениях было замечено предположение, что на региональность влияет посещаемость: Яндекс учитывает, из какого региона на сайт заходят пользователи.

Важно помнить, что Яндекс относит те или иные факторы не к сайтам, а к разделам сайтов. Разделом может оказаться и сайт целиком, и одна страница, а по некоторым предположениям, высказанным еще во времена обсуждения непот-фильтра, и часть страницы. Именно поэтому в региональной выдаче появляются внутренние страницы, более релевантные региональному запросу, чем главная страница.

Самый актуальный вопрос сейчас – как продвигать сайты в условиях Арзамаса? Однако, давать готовые рецепты пока рано. Ограничимся размышлениями и анализом точек зрения.

Оптимизаторы в основном сходятся на том, что в условиях «Арзамаса» уменьшилось влияние покупных ссылок, увеличилось влияние контента, стал важнее возраст домена. Повысилась вероятность появления в выдаче внутренних страниц, что потребует от оптимизаторов повышенного внимания к их контенту и внутренней перелинковке.

Наиболее простой путь «приручения» региональности – создавать региональные «подразделения» сайта на его субдоменах и делать их релевантными для пользователей соответствующего региона. Можно ограничиться региональными подразделами или внутренними страницами. Это может потребовать увеличения бюджета на продвижение, иначе должна вестись работа по составлению семантического ядра, оптимизатору придётся разговаривать с клиентом о региональной специфике его бизнеса.

Сегодня на форуме Searchengines появилась тема, якобы содержащая инсайд о планах Яндекса по «регионализации» сайтов:

Сегодня после обеда стартует новый проект Яндекса, суть которой в интерграции в региональные порталы Яндекс-карт. Думаю, что это имеет некоторое отношение и к геотаргетингу тоже. Я не знаю, имеется ли прямая взаимосвязь между определённой в я.каталоге региональностью и я.адресами, но мне кажется, имеет смысл попробовать прописать адреса, названия фирм и сайты в я.адреса, благо что это бесплатно.


Это инсайд из первых рук от владельцев двух региональных порталов, которые получили такие предложения.

Пока ничего такого Яндексом анонсировано не было. Но, как уже говорилось выше, в панель Яндекса для вебмастеров будет добавлена возможность указать регион сайта. Возможно, и другие способы создать геопривязку Яндексом будут представляться.

В корпоративном блоге Яндекса сегодня появилось сообщение о том, что на сайте Объединённой Конференции установленны Яндекс.Карты, которые помогут найти дорогу к месту проведения конференции. Благодаря API Яндекс.Карт, аналогичную карту может разместить на своем сайте любой вебмастер. Это тоже неплохой способ контроля геопривязки.

Обсуждая Арзамас, нельзя не посмотреть в сторону Google. А там…

Компания Google подтвердила, что для пользователей по всему миру теперь включён вывод локальных результатов («результаты поиска по местным предприятиям») по запросам, не связанным напрямую с местоположением. Допустим, если пользователь пишет в поисковой строке «пицца», то Google автоматически добавит в результаты поиска несколько пиццерий из того города, где находится пользователь. В каких-то случаях это сомнительная помощь, но в целом нововведение полезное – при поиске конкретных товаров или услуг больше не придется добавлять название своего города.

Как сообщили представители Google в интервью Searchengineland.com, местоположение «в большинстве случаев» определяется по IP-адресу пользователя. Загадочные «остальные случаи», говорят о том, что поисковая система, судя по всему, начнёт использовать ещё какие-то технологии для определения места – будь то GPS или стандарт W3C Geolocation.

Карта и результаты поиска по местным предприятиям будут появляться не только в очевидных запросах (вроде той же пиццы), но и в тысячах других, более сложных. Сейчас Google работает над тем, чтобы определить наилучший алгоритм, по которому эти данные будут (или не будут) включаться в поисковую выдачу.

А 13 апреля в официальном блоге Google Russia появилось сообщение о том, что в системе подбора подсказок Google начала учитываться региональность:

Функция подсказок Google Suggest позволяет вам экономить время и силы при вводе запроса, а также исправляет опечатки, транслитерирует слова и меняет раскладку клавиатуры, если вы забыли ее переключить. А благодаря запущенному недавно изменению в системе подбора подсказок, мы теперь можем предлагать максимально релевантные подсказки пользователям из разных стран с учетом местных тонкостей. Например, пользователь из Великобритании, введя [liver] в поисковое окно, скорее всего, хочет найти информацию про Ливерпуль (Liverpool), а вот пользователь вводящий такой же запрос в США, вероятно, интересуется вопросами, связанными с печенью (liver).

У Google уже давно разная выдача для разных стран, и даже для разных штатов США. Естественно, лидер мирового поиска занимается проблемой локализации выдачи гораздо дольше, чем Яндекс. Глядя на Google, можно составить некоторое впечатление о том, куда может стремиться и чего в результате добиться отечественный поисковик.

В заключение отметим, что региональностью Арзамас не исчерпывается. Команда Яндекс.Поиска пообещала в серии постингов рассказать, что нового в этом поисковом алгоритме. Наша рассылка тоже к нему ещё вернётся.

Интересное...




Другие посты по этой теме:



1 комментарий:

  1. В продолжении темы о поисковом алгоритме Яндекса "Арзамас" еще одна заметка из рассылки Ашманова.

    По адресу buki.yandex.ru началось открытое тестирование «Арзамаса по России». Готовится обновление поисковой программы «Арзамас»: для региона «вся Россия» заработает новая формула ранжирования сайтов. На buki.yandex.ru без дополнительных настроек пользователь может увидеть выдачу для «всей России», даже если сам находится в Питере, Москве или Екатеринбурге.

    Справа от выдачи находится форма обратной связи, с помощью которой можно выразить свое мнение о качестве выдачи по тому или иному запросу - лучше она или хуже, нежели в текущей версии поиска.

    Для удобства сравнения выдач Евгений Трофименко создал скрипт. Скрипт строит рядом два столбика – топ-20 ссылок из выдачи по запросу старого и нового поиска, плюс регион каждого из сайтов выдачи. Задав несколько запросов, редакция рассылки имела возможность наблюдать две тенденции: во-первых, выдача различается в целом не сильно, во-вторых, «Буки» выдают больше общероссийских сайтов.

    Увеличилось региональное разнообразие выдачи, например, по запросу «доставка пиццы» старый топ-20 содержал два питерских сайта, остальные московские. В buki – 4 питерских сайта, один общероссийский (к сожалению, это совершенно бессмысленная по данному запросу Википедия) и один украинский, остальные московские. Пользу подобной выдачи для человека, задавшего запрос, можно обсуждать, равно как и то, какой она вообще должна быть по такому запросу. Но нельзя забывать, что по этому запросу на Яндекс оказывается огромный сео-прессинг оптимизаторов, работающих в подавляющем большинстве своем с московскими компаниями. По уточненному запросу «доставка пиццы в Сочи» разнообразие выдачи становится еще более абсурдным: в выдаче оказываются Челябинск, Оренбург, Украина и Белоруссия. В старой выдаче 40% сочинских сайтов, в новой 27%.

    По запросу «снять квартиру» в топ-20 оказались сайты на km.ru, народ.ру и даже на поддомене gay.ru (доска объявлений этого портала). Можно вспомнить мнение Андрея Иванова, ведущего рассылки о качестве поиска, который писал, что региональные инициативы Яндекса поспособствуют развитию интернет-маркетинга в нестоличных городах. В общероссийской выдаче Яндекс борется с сео-прессингом оптимизаторов, продвигающих московские компании. Главное, чтобы достижение этой благой цели не сопровождалось повышенным количеством побочных эффектов.

    В скрипте Евгения Трофименко привязка сайтов к региону определяется на основании кодов региона из Яндекс.Каталога. Если сайт не в каталоге или там не указан его регион, определить последний можно благодаря гео-тэгам в Яндекс.XML.

    «Недавно я полез в Яндекс.ХМЛ и неожиданно увидел там во всех результатах выдачи гео-теги geo и geoa («а», предположительно, обозначает «автоматическая привязка»), они часто повторяют друг друга, содержат похожие данные. Подозреваю, что geoa - автоматическая привязка.... Все айдишники регионов соответствуют списку кодов регионов», - пишет Евгений Трофименко.

    Редакция рассылки призывает вас, уважаемые читатели, пользуясь сервисом Евгения Трофименко, все же заходить на buki.yandex.ru и отправлять Яндексу свои мнения и пожелания по поводу нового алгоритма.

    Александр Садовский в комментариях к новости о тестировании Арзамаса сделал ряд анонсов. Во-первых, количество регионов планируется постепенно увеличивать. Во-вторых, возможность указать регион сайта появится в «Панели Вебмастера» «через несколько недель».

    Для тестирования новый алгоритм будет доступен в течение недели. На www.yandex.ru он наверняка будет выложен в доработанном виде, так что результаты, показываемые сейчас на поддомене buki нельзя считать окончательными.

    ОтветитьУдалить

Ваш комментарий появится в блоге после проверки администратором