«Алиса», «Олег», «Маруся» и «Григорий». Какой бот круче?

Чат-боты – перспективная технология, которая может быть полезна не только рядовым пользователям, но и бизнесу. В перспективе они могут помочь клиентам не только найти сайт компании в интернете, но и совершить покупку. А что же они умеют сейчас?

Иван Крапивин, PR-директор Kokoc Group, решил устроить тест для отечественных чат-ботов. Участие должны были принимать четверо: «Алиса», «Олег», «Маруся» и «Григорий», но все пошло не по плану. Вот как это было.

Здрасьте всем! Я интроверт.

В поколении Y нас таких немало, а в Z пожалуй что большинство. Пользуясь даже цифровыми продуктами, мне психологически некомфортно взаимодействовать с человеком. Особенно живым. Я не люблю никого напрягать, ставить в ступор, не люблю долгие объяснения, телефонные звонки.

Я люблю бездушных ботов и алгоритмы. При должном техническом исполнении чат-бот меня по-дружески понимает и выполняет свои задачи.

И бизнес любит чат ботов. Это ускорение процессов, минимизация доли человеческой ошибки и огромная экономия на оплате труда. А робот, оснащенный искусственным интеллектом и возможностью обучения вполне может стать для пользователя инструментом коммуникации с бизнесом, а для бизнеса — основным источником продаж. В этом направлении развиваются девочки Алекса от Amazon и Алиса от Яндекса, а также бигендерный Google Assistant.

В России на этом огромном поле лишь несколько заметных игроков. Известная уже нам Алиса, Маруся от Mail.ru, виртуальный сорванец Олег из Тинькофф Банка, да Григорий из Беру.ру.

«Этих четверых ребят мы и оценим по ряду критериев, соответствующих пользовательскими и бизнес-ожиданиям» — было написано у меня в шаблоне публикации. Но голосовой помощник Григорий занимается обзвоном клиентов маркетплейса, охватывая пилотный сегмент пользователей, в число которых мой аккаунт, к сожалению, не попал. А Олега в Тинькофф мне выманить так и не удалось. Закралось даже подозрение, что Олег никакой не бот, а реальный Олег Юрьевич, который в нужный мне момент просто был чем-то занят.

Трое сотрудников банка помогали мне выманить Олега на различные ключевые слова, но Олег в тот день так и не показался.

Так что шовинисты могут опротестовать, но в нашем тесте уже к первому туру остались только дамы: Алиса и Маруся.

Я открыл бутылочку Пино Гриджио, чтобы имитировать сложный кейс для понимания желаний пользователя. Нам хочется от бота человечности, или, научно выражаясь интеллекта, близкого к человеческому. Поэтому и относиться будем как к близкому человеку. Докучать, слать голосовые сообщения, картинки в 22см (и это не дикпик), давать бесполезные поручения. А оценивать будем виртуозное техническое исполнение и выполнение бизнес-задач.

Шкала оценки предельно проста: если бот соответствует критерию, он получает 1 балл, если нет, то 0. В неких промежуточных и спорных вариантах это 0,5 балла.

Вежливость (лучшее оружие бота)

Чтобы разозлить женщину, нужно спросить у нее про другую женщину. Маруся знает о существовании Алисы и положительно о ней отзывается.

Алиса же не понимает о чем речь, но что-то точно слышала про Алексу и уже занимает позицию со сковородочкой по акции в руках.

Алиса: 0,5 баллов.

Маруся: 1 балл.

Распознавание голоса

Оба ассистента имеют как голосовой, так и текстовый интерфейс обращения. Это огромный плюс — человек не всегда имеет возможность только написать или только обратиться голосом. Кроме того, не стоит забывать о пользователях с ограниченными возможностями.

Голосовой ассистент активируется либо по кнопке в приложении, либо по имени.

Человеческую речь, чуток приукрашенную алкоголем и Алиса, и Маруся воспринимают примерно на одном уровне. Что примечательно, чем длиннее фраза, тем меньше погрешность в распознавании. Очевидно, система распознает не каждое слово в отдельности, а фразу целиком, что семантически точнее.

Например здесь я трижды сказал Алисе уставшим голосом «домой», но пока не расширил формулировку, так не получил нужного ответа, система упорно слышала «давай».

Алиса: 0,5 баллов.

Маруся: 0,5 баллов.

Распознавание картинок

Маруся все еще не умеет принимать картинки, даже интерфейс отправки фото отсутствует, значит и распознавать ей тоже нечего.

Алиса распознала 22 см пиццы, присланные ей и предложила найти и заказать такую же. И все бы хорошо, но я посылал гавайскую с ананасами (а это на любителя), Алиса же увидела в ней признаки карбонары. 

Алиса: 0,5 баллов.

Маруся: 0 баллов.

Распознавание синонимов

Русский язык богат на синонимы. Один и тот же предмет в разных регионах могут называть по разному. Проверим, знают ли об этом девочки.

Если вы знаете, что такое мультифора, значит часть вашей жизни проходит или прошла правее уральских гор. Это канцелярский «файлик» для документов у сибиряков.

«Алиса» не распознает в мультифоре товар, но правильно распознает семантику.

«Маруся» добавляет букву «Л» и предлагает нечто из флористики.

Алиса: 0,5 баллов.

Маруся: 0 баллов.

Распознавание текста с ошибками

Пользователь в измененном сознании может не заметить, как в запрос вкрадется ошибка, опечатка, неправильная раскладка. Ко всему этому должны быть готовы чат-боты.

И Алиса и Маруся с заданием справились.

А вот на этапе подтягивания результатов в сам чат Маруся выигрывает. Она распознала ключевое слово «Спартак», уточнила вид спорта, и дала информацию о ближайшем матче. Алиса просто переадресовала запрос в поиск.

Алиса: 0,5 баллов.

Маруся: 1 балл.

Интеграция с другими сервисами

Само по себе существование чат-бота или голосового помощника для бизнеса ничего не дает. Две основные функции — информационная поддержка пользователей и интеграция с другими продуктами компании.

И у Яндекса, и у Mail.ru есть великое количество подшефных сервисов. Остановимся на двух популярных: доставка еды и доставка тел (такси). Попробуем заказать такси и пиццу у Алисы и Маруси.

Алиса обладает «навыками», которые позволяют активировать различные функции. Маруся этому пока не обучена, хотя вызвать приложение на устройстве пользователя — нет ничего проще.

Алиса: 1 балл.

Маруся: 0 баллов.

Подытожим

Преимущество в пользу Яндекса и Алисы очевидно. Но открывать шампанское на Льва Толстого, 16 определенно рано. Во-первых, у разработчиков Алисы было несколько лет форы. Во-вторых, продукт значительно проигрывает той же Алексе, интегрированной в умные дома Американцев. Пока мы видим, что технически российские разработки достаточно сильны, но в плане интеграции с бизнес-возможностями сильно проигрывают.

Источник: Rusbase.