Применение искусственного интеллекта в поисковых системах
Главная задача поисковой системы — ответить на вопросы пользователя. Этим и должна отличаться любая система в мире. Когда пользователь делает запрос, поисковая система не просматривает каждый сайт, а ищет уже в своей базе проиндексированных страниц. В базе система находит все страницы со словами запроса — ключевые слова яндекс. 
На сегодняшний день не просто придумать такой запрос, по которому бы поисковая система нашла меньше десятка страниц. По другим популярным запросам пользователей находит миллионы страниц. Интернет развивается с высокой скоростью, поэтому страниц с каждым днём становиться всё больше и больше.
Методы искусственного интеллекта располагают найденные страницы так, что бы релевантные, то есть наиболее подходящие пользователю страницы находились сверху. Упорядочивание всех результатов поиска в соответствии с запросами называется ранжированием. Ранжирование определяет качество поиска — качество ответа на вопрос, который задаётся в поиске так поступает лучшая поисковая система в россии — Yandex. Создание искусственного интеллекта не привело к тому, что бы предусматривать каждый запрос, и получать лучший ответ. У Яндекса, более 1 миллиона поисковых запросов в день, половина из них уникальных. Именно поэтому, задачи искусственного интеллекта — самостоятельно принимать решения и обучаться. Проблема искусственного интеллекта в том, что без машинного общения, невозможно распознать речь или рукописный текст. «Машинное обучение», сам термин появился в 50х годах. Термин обозначает попытку создание искусственного интеллекта. Научить его решать задачи, которые легко может решить человек, но формализовать путь их решения довольно сложно. Системы искусственного интеллекта должна научиться строить правило, которое бы определяло, какая страница является хорошим ответом, а какая — плохим.
Для этого поисковая система гугл, яндекс, анализирует свойства поисковых запросов и веб-страниц. У каждой страницы есть свои признаки. Есть признаки статические, связанные с самой страницей, например, количество имеющихся ссылок в интернете на эту страницу. Некоторые признаки называются динамическими. Они одновременно связаны с запросом и страницей — например, присутствие на страницу слов запроса, их расположение и количество. Те свойства страницы и запроса, которые можно измерить числами и они важны для ранжирования, называются факторами ранжирования. Применение искусственного интеллекта в поисковых системах началось в 2000х годах.
У каждой поисковой системы может быть разная модель. Но, есть такая проблема, возникающая при машинном обучении — переобучение. Машина, которую переобучили, похожа на перезанимавшегося ученика в школе. В 2009 году в Яндексе появился новый метод от машинного обучения — Матрикснет. Особенность этого метода в том, что он поддаётся к переобучению. Такие основы искусственного интеллекта позволяют учитывать много различных факторов ранжирования — при не увеличивать количество оценок асессоров.
Также, важной особенностью Матрикснета является то, что формулу ранжирования настроить под отдельные узкие классы запросов. К примеру, искусственный интеллект онлайн будет качественней искать по запросам про искусство. Матрикс нет предоставляет возможность настроить каждую ручку отдельно для каждого класса запросов. Кроме этого, Мартрикснет может выбирать разную чувствительность для разных диапазонов значений ранжирования.
Узнайте так же и другю информацию из других статей моего блога.
| Друзья, пожалуйста твитните эту статью и расскажите знакомым! >> | Твитнуть |
|
|
Да, постепенно все выдумки фантастов обретают реальное воплощение. Остается только надеяться, что искусственный интеллект не перерастет своего хозяина и нам не придется пережить столкновения с вышедшими из-под контроля роботами
[Ответить]
Владимир Дручин Reply:
сентября 13, 2011 at 23:40
Думаю просто не стоит допускать этого
Ведь фантасты уже давно всё предсказали... Да и мы с вами видим логику возможных событий...
[Ответить]
Владимир, спасибо за статью
[Ответить]
Владимир Дручин Reply:
сентября 13, 2011 at 23:39
Пожалуйста
[Ответить]
Как бы обучить и приручить искусственный интеллект к своим сайтам, есть рецепт?
[Ответить]
Владимир Дручин Reply:
сентября 27, 2011 at 21:38
Валерий, конечно... Их много... Начните с лучших статей блога:
А ещё подробно есть в моих курсах:
[Ответить]