Поисковые системы. Будущее поисковиков

Нужна информация - получите.
- Это как раз то, что мне нужно!..

Поисковые технологии развиваются быстрыми темпами (есть спрос, большая конкуренция): совершенствуется качество поиска, вводятся разные новые “фишки”, облегчающие процесс поиска, улучшающие визуальное представление найденной информации.

Развитие алгоритмов поисковой системы, ее аппаратной части должно идти в ногу со стремительно увеличивающимся объемом информации в Интернете. В соответствии с “характером времени” должен меняться и сам подход к поиску информации.

Поисковая система будущего

Так, например, 10 лет назад результатом поиска был ответ (топ-10), то сейчас это уже исчерпывающий ответ (+ релевантные изображения, видеофайлы, актуальные новости, справочная информация, объект на карте, контекстные сервисы…) плюс предложение релевантной услуги, товара (понятие “синтетическая поисковая выдача”).

Одним из условий развития поисковой системы (как показывает практика) становится ее интеграция с различными социальными сервисами (почта, фотографии, блоги, знакомства, интернет-телевидение и т.д.).

“Всё в одном месте” - вот рецепт успеха. Этот рецепт и прописан на будущее. Будущее за мультипорталами - “аккумуляторами” сетян, средой общения.

Идеальная поисковая система. Поиск будущего

Хочу найти то, что подумал,
пускай и не совсем четко сформулировал…

Качество поисковой выдачи зависит как от эффективности реализованных в поисковой машине алгоритмов, так и от информативности проиндексированных поисковиком сайтов.

Проблема информативности и полезности интернет-ресурса для пользователя (потребителя) - очень важна. В настоящее время в Сети “расплодилось” огромное количество спам-сайтов, сплогов, сателлитов для заработка и продвижения в поисковиках сайтов-акцепторов.

Поисковые системы (англ. Web search engine) “ответственны” за “информационную грязь” в Сети (!?). Ради продвижения в поисковиках и создается “внешняя поддержка” (сателлиты, платные ссылки и прочее). Надо менять “поисковую политику”?!.

Поисковая система будущего должна быть независима от “негативной” (!) seo-атаки. А SEO-принципы должны строиться, исходя из критерия “максимальной полезности для интернет-пользователей” (…).

Это все идеалы, реально же в условиях жесткой конкуренции в борьбе за попадание ТОП поисковой выдачи seo-действия порой носят “враждебный” характер по отношению к поисковым системам (”черная”, “серая” оптимизация) - прессинг запрещенными и рисковыми методами (тут хотелось бы заметить, что поисковый спам способствует (!) эволюции поисковых систем (!)..). Хлеба хотят все…

Да, все, но выживает сильнейший… В нашем случае - на умении манипулировать и быть в ТОПе. Поисковая система же должна быть на стороне пользователя, потребителя (это ее хлеб). Тут тоже есть конкуренция, тем более в российском сегменте Интернета - Рунете (Яндекс и Google - 46,7% и 34% - распределение переходов с поисковых систем, соответственно). В продолжение темы - знакомьтесь с крупнейшими поисковыми системами Рунета.

Идеальная поисковая система…

“Идеальная” поисковая система должна на запрос пользователя дать исчерпывающий ответ, учитывая максимальное количество факторов:

• географическое положение интернет-пользователя: например, неоднозначный поисковый запрос “ленинский район” для жителей Нижнего Новгорода и Минска должен по-разному формировать ТОП выдачи поисковой системы;
• историю запросов пользователя (интересы): так если человек интересуется музыкой, то запрос “премьер-министр” должен выдавать информацию о музыкальной группе, в приоритете;
• актуальность поискового запроса на информационном фоне: например, запрос “финансовый кризис в России” должен выдавать информацию о текущих проблемах в экономике и промышленности России, а не, скажем, кризисе 98-го;
• стандарты страны: вывод информации о температуре (в градусах Цельсия, Фаренгейта), весе (килограмм, фунт), расстоянии (километр, миля) и т.д.;
• языковые особенности;
• … и другие факторы.

Поисковая система будущего должна максимально облегчать пользователю формулировать запрос, опираясь на статистические данные:

• исправлять грамматические ошибки и очепятки опечатки (по статистике ошибки содержатся примерно в 15% слов в поисковых запросах);
• исправлять набор поискового запроса на другой раскладке клавиатуры;
• понимать синтаксис языка, запросы на естественном языке (например, поисковый запрос “козлов” - это фамилия, а не животное);
• понимать транслитерированные слова;
• распознавать сложные слова, набранные слитно;
• предупреждать о вирусах на найденных веб-страницах (сайтах).

Перечисленные “фишки” уже реализованы в ведущих поисковых системах. Дело за улучшением. Выделим еще некоторые возможности.

Подсказки при поиске (саджесты; от англ. suggest): на основе статистических данных поисковик предлагает наиболее популярные варианты по однословному запросу (можно выводить подсказки с учетом географического, событийного факторов).

Показ основных разделов сайта (топ 1) для быстрой навигации. Можно улучшить, показывая только релевантные и нужные разделы (например, “о компании”, “контакты”).

Поиск с возможностью автоматического перевода страниц на разные языки.

Вертикальный поиск (англ. Vertical search) - рубрикация выдаваемого поисковиком контента - тема отдельного разговора.

Понимание (и учет при выдаче) структуры новости, художественного текста и т.п.

Отображение коротких ответов прямо на странице поисковой выдачи (ее называют “СЕРП”; на англ. SERP от Search Engine Result Page). Например, “прогноз погоды в Москве“, “столица Сирии”, “курс доллара за 3 месяца”, “1564+445″ - ответ или результат.

Активно ведутся работы по развитию семантического поиска (входит в концепцию Web 3.0, которую называют также “Semantic Web” - “Семантическая паутина”), основанного на использовании смыслового анализа текста документов. Один из примеров - Twine; при запросе USA сервис знает, что это название страны.

Также упомяну Wolfram Alpha - интеллектуальную поисковую систему, предназначенную для вычисления связей между разнообразными фактами, данными.

Выше уже говорил об интеграции поисковика с различными социальными сервисами. А какую информацию полезную (!?) можно от этой интеграции получить? Персональную!.. А значит можно более эффективно подбирать поисковые ответы на запросы пользователя, опираясь на его интересы (личную информацию).

Данное направление - персонализация поиска - вызывает много вопросов… А может человек не хочет раскрывать свою личную информацию?.. У него должен быть выбор.

Но несмотря на все спорные моменты, персонализация поисковых запросов ведет к улучшению поисковой выдачи, экономии времени пользователя. Персонализация ведет также к снижению seo-прессинга на поисковые алгоритмы.

“Всё следует упрощать до тех пор, пока это возможно, но не более того…”
- методологический принцип “Бритвы Оккама”, формулировка Альберта Эйнштейна.

При разработке эффективных поисковых алгоритмов и оптимально удобной структуры страницы поисковой выдачи приведенный принцип можно переформулировать с несколько иным подтекстом: “улучшать поисковую выдачу, опираясь на модные тенденции представления результата, до тех пор, пока люди пользуются услугами поисковой системы“. Представление результата можно персонифицировать.

Поисковая система будущего

Заглянем в будущее поисковых систем. Какие улучшения можно ожидать…

Компания Microsoft Corporation предлагает дополнить типовой поисковый запрос пунктами “искать синонимы” (”synonym”) и “искать похожие слова” (”syntactically similar”) - патент “Synonym and similar word page search”. … Для общего развития ознакомьтесь с понятием “Тезаурус”…

Компания Google Inc. продолжает улучшать качество поисковой выдачи - патент “Methods and Systems for Classifying Search Results to Determine Page Elements”.

Интересен патент Yahoo! Inc. - “System and method for contextual commands in a search results page”.

А над чем работает Яндекс?.. Тоже не сидит на месте…

В ближайшее время стоит ожидать того, что страницы в результатах поисковой выдачи будут рубрицированы.

Продолжит развитие социальный сервис “Вопросы и ответы”, который будет подключен к основному поиску. “Социальный поиск” (на англ. “Social search” или “The Social Search Engine”) - очень перспективное и “естественное” направление.

Поисковики следующего поколения будут сильнее зависеть от “живых” данных (вводимых людьми). Ожидается вторая волна веб-каталогов (надстроек) - гибрид информации (ответ на вопрос) и полезных ссылок (подобно Википедии). Ручная сортировка ссылок не потеряет актуальности…

Также ярко прослеживается тенденция на постепенный отход от “статического веба”, в наш мобильный век важность приобретает “сиюминутный веб” (примеры сервисов - Яндекс.Поиск по блогам, Twitter): поиск по самым свежим записям, заметкам.

Поисковые системы против внешних ссылок и воровства контента

Что касается внешних ссылок (сайты-доноры), определяющих релевантность сайта-акцептора, то тут стоит отметить два момента:

- материал первоисточника цитируется без ссылки (выдается за свой); либо наблюдается копипаст (иногда автоматический), рерайт (или еще синонимайзинг);
- материал первоисточника цитируется без активной гиперссылки (ссылка либо закрывается “ноиндексом”, либо присутствует в текстовом виде, либо через скрипт).

Таким образом идея “релевантной структуры поисковой выдачи”, построенная на внешних ссылках, в условиях современной конкуренции, наличия сервисов “платных ссылок” - оказывается неэффективной.

В связи с конкуренцией, воровством контента, нечестной политикой цитирования поисковая система должна:

- уметь (с вероятностью близкой к единице) определять цитаты (взятые из первоисточника) на внешних ресурсах и плюсовать их на первоисточник (для поисковика “ссылка” - цитата оригинала);
- уметь отличать “хорошие” и “плохие” (в том числе и продажные) ссылки. “Ноиндексные” теги для ссылок в этом случае теряют смысл.

При этом, с целью избавления от спам-сайтов, необходимо ввести возможность оценивания веб-страниц (и интернет-ресурсов) пользователями (например, по 10-ти бальной шкале) на предмет полезности (возможность, являющаяся одним из элементов концепции Web 3.0, эффективна в персонализационной среде).

Также можно разработать алгоритм автоматического оценивания качества веб-ресурса. К критериям косвенной оценки сайта можно отнести (помимо цитирования материала и наличия качественных внешних ссылок):

- время пребывания пользователя на сайте,
- количество просмотренных пользователем страниц (критерий спорный…),
- статистические данные по переходам на сайт по соответствующим запросам (дополнение к 1-му и 2-му критериям),
- … придумайте еще…

Кстати, было бы неплохо визуализировать страницу результатов поиска, например, выделять поисковые позиции цветами, соответствующими тематике ресурса (или данной веб-страницы), или помечать цветовым семафором. Справку по цветам можно привести тут же.

Итак, подведем общий итог: поисковые системы будущего будут многорезультативны (результат поисковой выдачи: текст, изображения, аудио, видео, новости, справочная информация, сервисы, реклама…), персонифицированы (подстройка под интересы пользователя, его местоположение), семантичны (понимать смысл запроса), актуальны (учитывать новостные события), независимы от seo-прессинга. Поисковая система будущего - это поисково-справочная система.

… У пользователя также будет возможность воспользоваться (за определенную плату) услугами поисковых экспертов (специалистов в своей теме)…

Хочется отметить, что глобальные поисковые системы индексируют лишь около 0,2% содержащейся в Интернете информации (исследование Калифорнийского университета в Беркли), остальное - всевозможные базы данных (финансы, медицина, интернет-магазины…), закрытая информация и т.п. Данные, остающиеся для поисковиков невидимыми, называют “глубинным вебом” (”deep Web”). “Глубокий поиск” - это одно из перспективных направлений развития поисковых систем. Ознакомьтесь с проектом “Yahoo! Subscriptions”.

В конце статьи про поисковые системы хотел бы привести интересные факты:

- население Интернета перевалило за 1 млрд. человек (декабрь 2008 года), в России около 29 миллионов сетян (6-е место);
- увеличилось количество слов в поисковых запросах: так если в 1997 году оно составляло 1,2 слова, то в настоящее время средний запрос состоит из 2,5 слов;
- активная работа в Интернете, поиск информации, отдаляет наступление старческого склероза (исследование нейропсихологов из Калифорнийского университета в Лос-Анджелесе).

… Чем больше человек ищет, анализирует, думает, тем активнее он развивается… Истин никто не отменял…

Вам будет интересно ознакомиться с сервисами для анализа статистики Рунета.