ScienceHunter 07.02.2019
Коллективный разум побеждает глубокое обучение
Уже понятно, что компьютеры сильнее человека, даже если этот человек — чемпион мира. Но каков будет результат соревнования компьютеров с коллективным человеческим разумом, — до последнего времени было не понятно.
И вот первый замечательный результат — коллективный разум оказался сильней.
В опубликованном вчера исследовании «Opinion Mining From Social Media Short Texts: Does Collective Intelligence Beat Deep Learning?» попытались с помощью краудсорсинга превзойти наилучшие компьютерные результаты, достигаемые глубоким обучением в области майнинга мнений в коротких сообщениях Твиттера и Фейсбука. И авторам это удалось.
Майнинг мнений — это по сути анализ тональности (сентимент-анализ) коротких текстов — твиттов и постов. Результат анализа — понимание настроения авторов в момент написания текстов и/или их отношения к тому, о чем они написали в своих текстах.
По сути — это задача классификации текста. Её можно решать по-разному. Например (и это сегодня наиболее распространенный подход), — анализ лексикона текстов с выделением в нем эмоционально окрашенных терминов (тегов, ключевых слов), показывающих полярность настроения (типа, отличный и ужасный).
Подход, основанный на лексиконе, довольно эффективен для классификации коротких текстов на два разных класса, например, позитивные и негативные настроения. Но по мере включения новых категорий эффективность классификации резко падает. Подходы машинного обучения используют пары текстов и соответствующие метки для обучения моделей классификации.
Авторам исследования удалось эмпирически доказать, что созданные коллективным разумом толпы индексы, названные авторами «лексиконом толпы» и основанные на тэгах, выделенных коллективным разумом, могут эффективно использоваться для обучения моделей классификации настроений для коротких текстов.
Более того! Эти модели, как минимум, так же эффективны, как и модели, разработанные с помощью глубокое обучение или даже лучше.
Особенно замечательно, что масштабированием (увеличением вычислительной мощности компьютеров) ситуацию принципиально не изменить, поскольку для коллективного разума краудсорсинговой платформы нарастить число участников куда проще и дешевле.
Таким образом показано, что при решении интеллектуальных задач, в основе которых есть хотя бы минимальное извлечение смысла (типа выявление новых пар полярно эмоционально окрашенных слов), коллективный разум оказывается сильнее машинного.
Так что эволюция не ошиблась, выбрав Homo Sapience.
Хоть в играх человек слабее машин, но по жизни без понимания смысла приходится туго. И здесь человеческий разум сильнее. Если не индивидуальный, так коллективный.