01.05.19
< 100
Команда прикладных исследований ВКонтакте создала нейросеть, которая позволяет формировать новостные заголовки на русском и английском языках. Эту информацию официально подтвердила пресс-служба компании.
Презентация нейросети, созданной специалистами ВКонтакте, состоялась в рамках Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019), проходившей в Кёльне.
Представленная нейросеть будет генерировать заголовки на основе текста новости. Используемая в ней модель будет обрабатывать текст новости, и генерировать ее заголовок из фрагментов слов. Именно так нейросеть от ВКонтакте сможет добиваться получения правильных падежей и склонений, и в конечном итоге будет формировать действительно связное предложение.
При разработке новой нейросети ее создатели использовали архитектуру Universal Transformer, а также технологию компрессии данных BPE (Byte Pair Encoding). Чаще всего эти технологии применяются в машинном переводе и позволяют ограничиться небольшим словарём для генерации заголовков.
Что касается обучения нейросети, то с этой целью использовались текстовые материалы информационного агентства «РИА Новости», а также международного издания The New York Times.
Примечательно, что именно специалисты ВКонтакте стали первыми, кто использовал технологию BPE в рамках модели суммаризации текста, а также первыми, кто стал обучать подобную модель нейросети на русскоязычных новостных материалах.
Для того чтобы достоверно проверить качество работы созданной модели нейросети, ее разработчики провели отдельное исследование, в рамках которого демонстрировали добровольцам новость и два заголовка, сгенерированных специально для нее.
По мнению опрошенных добровольцев, в 45% случаев машинный заголовок был ничем не хуже оригинального, а в 15% — даже лучше.
По словам разработчика-исследователя ВКонтакте Даниил Гаврилов нынешняя разработка позволяет быстро выделять главную мысль из достаточно длинных текстов — это действительно полезно, так как информации вокруг нас уже очень много и ее будет становиться только больше.
Если говорить о применении новой технологии, то ее можно будет использовать для решения самых разнообразных задач, связанных с удобством потребления контента. Например, социальная сеть ВКонтакте в перспективе сможет использовать ее для умного сокращения постов, демонстрируемых в пользовательских лентах или же для создания новостных дайджестов.
Более подробно узнать о том, как создавалась эта модель нейросети, можно из специально подготовленной статьи (доступна на английском языке).
В заключение стоит напомнить о том, что команда прикладных исследований ВКонтакте была создана в 2018 году. Ее специалисты сосредоточены на исследованиях и разработке методов машинного обучения и искусственного интеллекта, а также решении достаточно широкого спектра актуальных задач: от классификации видео до машинного перевода.