Использование коллективного интеллекта для построения рекомендаций

Евгений Варавва

http://undefined.org.ua

УНК "ИПСА" НТУУ "КПИ"

Коллективный интеллект

• Способность группы находить более эффективные решения задач, чем лучшее индивидуальное решение в этой группе
• Область машинного обучения, раздела ИИ

Раздел машинного обучения

• Исследует алгоритмы программирования компьютеров, позволяющие им выполнять задачи, непосредственное решение котрых запрограммировать сложно, или невозможно
• От других областей отличается тем, что использует данные, полученные от реальных людей

Предпосылки коллаборативной фильтрации

Возрастающее кол-во накопленной информации, среди которой необходимо

• выбрать:
  • полезную
  • релевантную
  • качественную
• скрыть:
  • ложную
  • несоответствующую запросу

Также полезно учитывать:

• личные предпочтения, особенности поведения
• опыт других пользователей
• субъективные зависимости, которые невозможно предусмотреть заранее

Формализация требований:

Дано:

• множество пользователей
• множество объектов
• список предпочтений пользователя
• текущий (активный) пользователь

Требуется:

• найти прогнозируемую оценку предмета пользователем
• найти N наиболее близких* предметов т.ч.

Подходы к построению рекомендаций

Традиционно выделяют два подхода:

• пользовательский (user-based)
• предметный (item-based)

Пользовательский (user-based, memory-based)

Процедура состоит в следующем:

• Выбор пользователей, оценивших данный предмет
• Для каждого пользователя нахождение уровня схожести и :
• Прогнозируемая оценка предмета i - средневзвешенное значение оценок каждого пользователя

Особенности

• Преимущества
  • относительная простота реализации
  • нет издержек на хранение данных, кроме, собственно, оценок пользователей
• Недостатки
  • низкая скорость работы при большом количестве пользователей
  • плохая расширяемость

Предметный (item-based, model-based)

Учитывает, что набор предметов меняется не так часто, как список пользователей

Отличия:

• заранее просчитываются уровни схожести* между предметами
• при составлении прогноза учитываются оценки данным пользователем "похожих" предметов

Предметный (item-based, model-based)

Таким образом перекрываются недостатки пользовательского подхода:

• нет необходимости пересчитывать схожести при каждом запросе
• достаточно помнить набор "ближайших" предметов для прогнозирования

Уровень схожести

В качестве уровня схожести пользователей (предметов) можно использовать, например ф-ии:

• где - некоторая метрика на соотетствующем множестве
• 

Конец

Вопросы?