тестирование встроенного в скайп переводчика

В октябре 2016 года компания Майкрософт, владеющая программой Skype, объявила о включении русского языка в список доступных для устного перевода во время звонков. В компании заявили, что это открывает новые возможности не только для частных пользователей.

This added language will not only help keep Russian speakers connected with friends and loved ones around the world, but it will also help businesses of all sizes and not-for-profit organizations to expand their reach. For instance, this could help entrepreneurs integrate real-time speech translation into their applications, services or bots to extend their services to new customers. Microsoft News Centre Europe
Поддержка нового языка не только поможет русскоговорящим людям оставаться на связи с друзьями и близкими со всего мира, но и позволит организациям любого размера и направления расширить свою географию. Например, бизнес мог бы внедрить автоматический перевод речи в свои приложения и сервисы, тем самым предложив услуги более широкому кругу клиентов. Европейский пресс-центр Microsoft

В блоге Скайпа также появилась новость о поддержке русского языка.

Russian is the eighth most popular spoken language in the world and our Russian-speaking customers around the world have always been particularly enthusiastic about Skype Translator. For months, we’ve received many requests to include Russian in Skype Translator’s audio language portfolio and we are excited to finally cross this milestone, opening up one of the most dialectically complex languages on earth to anyone with a Skype account. Skype Team
Русский язык занимает восьмое место в мире по популярности, а наша общемировая русскоязычная аудитория всегда очень активно пользуется встроенным в Skype переводчиком. За несколько месяцев мы получили множество запросов добавить поддержку русского языка и для перевода речи. И мы очень рады наконец объявить об этом знаковом событии — один из самых сложных и разнообразных языков в мире теперь доступен каждому, у кого есть аккаунт в Skype. Команда Skype

В конце анонса был опубликован скриншот с демонстрацией того, как пользователи могут активировать переводчик.

Мы проверили сами. Да, включить переводчик несложно, и он сразу начинает работать.

Мы же переводчики. Мы проверили, как он работает!

Переводчикам постоянно пророчат скорую кончину из-за стремительного прогресса технологий. Мы иллюзий не питаем и признаем, что, скорее всего, машина все-таки будет переводить не хуже человека, но не совсем понятно когда. А пока что давайте посмотрим, что мы имеем в 2017 году.

Чтобы придать нашей затее статус эксперимента, мы подготовили 3 сценария диалогов и позвали в качестве собеседника носителя английского языка. Мы очень старались сделать так, чтобы диалоги получились как можно более реалистичными.

Сценарий "деловая беседа"

Мы начали тестировать переводчик с деловой беседы: говорили быстрее, медленнее, все время держали в голове, что мы не должны обращать внимания на речь на оригинальном языке, а должны концентрироваться на том, что нам перевел скайп. Поэтому получилось целых три ролика.

Итак, вот что мы планировали обсудить:


— Алло.
Андрей, добрый день. Удобно говорить?

— Да, Ларри, здравствуйте, сейчас удобно.
Отлично. Я как раз звоню уточнить, когда вы планируете направить наш договор с правками ваших юристов? Я уже сформировала команду исполнителей, мы готовы приступать к работе, все упирается только в договор.

— Хм, точно сказать пока не могу, я переслал ваше письмо только вчера, ответа пока не получил. Давайте я уточню у них и перезвоню вам?
Да, отлично, буду ждать.

— Извините, еще такой вопрос. А мы можем начать работу, не дожидаясь согласования договора? По гарантийному письму или по устной договоренности?
Я думаю, что да. Вы пришли по рекомендации наших хороших партнеров, да и заказ не такой уж большой. Думаю, у меня получится согласовать этот момент с руководством.

— Тогда вы мне сообщите, когда будет ясно?

— Да, конечно. Давайте созвонимся завтра. Вы как раз уточните у юристов, как идут дела с договором, а я попробую запустить ваш заказ в работу.

— Ок, договорились. До свидания.

— До свидания, всего хорошего.
Важно! Это примерный диалог, чтобы мнимые собеседники понимали цель звонка. Во время разговора русский собеседник говорил по-русски, а носитель английского — по-английски!

Я не Энтони, я Андрей!


В этом ролике переводчик не смог справиться с именем одного из участников беседы, из-за чего между говорящими возникло недопонимание. Последовало несколько уточняющих вопросов, переводя которые, переводчик окончательно "поплыл", поэтому дальше приветствия дело не дошло.

— Do you want me to let you know?
— Что ты хочешь, чтобы я позволила?


Эта беседа получилась продолжительной, хотя риск полного недопонимания возникал несколько раз. Но, так как переводчику удавалось передать смысл со второй попытки, мы продолжали общение. В этот раз носитель английского говорил достаточно медленно, из-за чего переводчик начинал переводить, когда фраза еще не была закончена. Такое многоголосье доставляло массу неудобств обоим участникам беседы.

Наиболее примечательные фрагменты беседы:

  • Я очень добрый день.
    Эта беседа тоже могла закончиться быстро, если бы переводчик продолжал переводить Good afternoon таким странным образом
  • Upper management = верхнее управление
    "Высшее руководство" тоже тяжело далось переводчику. Сначала русский переводчик сообщил о необходимости "проверить с верхним управлением", затем уже английский переводчик уточняющий вопрос не понял и подумал, что переспрашивают про расположение предмета в пространстве, предложив вариант "check the top right". К счастью, "руководство" все же появилось в переводе, поэтому беседу удалось продолжить.
  • Пожалуйста, сообщи = Please let
    Почему-то переводчик не закончил перевод с русского, обрезав "Please let me know" до просто "Please let". Дальнейшее уточнение не привело к успеху, и беседу пришлось завершить.

Мне нужно стрелять в себя!


В начале беседы было ощущение, что переговоры могут стать успешными, даже несмотря на то, что переводчик в очередной раз не справился с приветствием. Но в дальнейший ход переговоров опять вмешался неверный перевод "высшего руководства", после чего переводчик начал выдавать откровенно странный перевод. Было ощущение, что что-то резко поменялось в его алгоритмах, и дальнейший диалог был просто невозможен.

Наиболее примечательные фрагменты беседы:

  • Ты хотел что-то обсудить? = But you wanted to talk!
    Можно смело делать вывод, что у автоматического переводчика есть серьезные проблемы с восприятием интонации в русском языке. Очень многие вопросы были интерпретированы им как утверждения. И это не только вызывало недоумение у носителя английского языка, но и влияло на смысл.
  • Руководство = manual
    Перевод слова "руководство" снова стал главным препятствием беседы. В этот раз "руководство" было переведено на английский как manual, и носитель английского языка не мог не переспросить, что за мануал имеется в виду.
  • Ларри = Lory
    Искажение имени уже было причиной провала беседы. И в этот раз Ларри превратился в английском языке в Lory. После этого с переводчиком что-то случилось и он выдал очень странный пассаж в качестве перевода достаточно простых фраз.
    Носитель английского Автоматический перевод Skype Нормальный перевод
    You want me to send a letter to Lory? I think I'd better send a letter to you. I'll work one up. I'll write something, put it together and send it to you tomorrow. Ты хочешь, чтобы я не сказал Лори. Я думаю, что я буду спать лучше отправителя подлиннее тебя. Я буду работать над весом и послать его тебе завтра. Ты хочешь, чтобы я послал письмо Лори? Давай я лучше пошлю его тебе. Я все обдумаю, набросаю текст, нормально оформлю и отправлю тебе завтра.

Сценарий "запись на прием к врачу"

Наше бюро часто переводит медицинские документы. Задачи клиентов различны: от подготовки к лечению в зарубежной клинике до получения выплаты по страховому случаю за рубежом. Мы не стали издеваться над автоматическим переводчиком и подсовывать ему сложный медицинский текст, мы выбрали достаточно простой сценарий: запись к врачу.

Беседу планировалось провести примерно следующего содержания:

— Добрый день! Клиника «Современная медицина». Чем я могу Вам помочь?
Здравствуйте, мне необходимо пройти медицинский осмотр для приема на работу.
— Вы уже были в нашей клинике? Подскажите ваше имя.
Да, я уже у вас был. Ларри Джонс.
— Спасибо, мистер Джонс. Я могу записать вас к терапевту прямо сейчас, а он уже после осмотра сообщит, к каким специалистам вам нужно будет записаться еще. Когда Вам будет удобно к нам подойти?
Мне удобно завтра в районе 13 часов.
— Так, к терапевту могу записать на завтра на 13 часов 30 минут. Удобно?
Да, спасибо.
— Тогда ждем вас завтра в 13:30. До свидания!
Спасибо! До свидания.
Важно! Это примерный диалог, чтобы мнимые собеседники понимали цель звонка. Во время разговора русский собеседник говорил по-русски, а носитель английского — по-английски!

Как насчет завтрашнего дня около часа ночи?


Этот диалог можно было бы отнести к успешной работе переводчика, если бы он справился с переводом дат и времени суток. Да, опять были старые проблемы с терминологией (physical = физический; записать на прием = write; date = свидание), с интонацией (— Вы были уже в нашей клинике? — You were already at our clinic.). Но каждый из говорящих все же улавливал смысл того, что ему говорили. До тех пор, пока не дошло до записи на определенное время. Процитируем решения переводчика:

Носитель английского Автоматический перевод Skype Нормальный перевод
How about tomorrow some time around one o'clock in the afternoon? Как насчет завтрашнего дня около часа ночи? Как насчет завтрашнего дня в районе часа (дня)?
How about some time around one in the afternoon? Как насчет того, чтобы однажды во второй половине дня? Как насчет где-то* в районе часа (дня)? (*разговорный вариант, с учетом отсутствия контекста)
Let's say one thirty. Иногда работа говорит: "Один час тридцать минут". Давайте в час тридцать.

Даже немного странно, почему переводчику были не под силу такие базовые вещи, как время суток и часы.

Сценарий "дружеская беседа"

— Привет! Ларри?
Привет! Да. Давно не созванивались. Как ты?
— Да нормально все. На работе сегодня. Вышел на обед. Ты как?
Да у меня тоже все отлично. Только отпуск закончился, ездил с семьей в Хорватию. Слушай, хотел спросить. Помнишь, ты говорил, что хочешь в Америку съездить?
— Ну
Короче, сейчас упростили получение визы. Я могу просто тебе приглашение оформить, тебе вообще никаких документов собирать не надо. Идешь в консульство, платишь сбор и все.
— Да ладно?! И интервью с консулом отменили что ли? Ничего себе!
Да, поэтому и решил позвонить, сообщить. Так что, если надумаешь, пиши, мне приглашение оформить — 1 день.
— Ну круто. Осталось только денег на Америку накопить (смеется). Ладно, спасибо, что сообщил. Пойду вкалывать тогда. У меня отпуск только через 3 месяца, кстати. Но звучит заманчиво.
Ладно, иди работай. До связи.
— Пока!
Важно! Это примерный диалог, чтобы мнимые собеседники понимали цель звонка. Во время разговора русский собеседник говорил по-русски, а носитель английского — по-английски!

Теперь я понял, только он тебя почему-то женщиной сделал


Последняя беседа, которая по замыслу должна была получиться самой простой, в итоге получилась самой продолжительной и непредсказуемой. Мы не будем в очередной раз комментировать провальные смысловые ошибки и сразу перейдем к новым странностям автоматического переводчика.

Во-первых, в этом диалоге проблемы с правильной интерпретацией интонации достигли апогея. Можно смело делать вывод, что переводчик крайне плохо распознает вопросы, почти всегда превращая их в утверждения. Это невероятно усложняет восприятие информации и заставляет снова переспрашивать собеседника. Но вопросы-то он не понимает, поэтому получается замкнутый круг. Приходится полагаться на интуицию.

Во-вторых, в этом диалоге переводчик несколько раз ошибся с определением пола говорящего. Это не является критичной ошибкой, потому что общий смысл фразы не изменяется, но из-за этого приходится отвлекаться на шутливые комментарии, тем самым усложняя работу переводчику еще больше.

Выводы

Давайте подведем итог нашим наблюдениям и отметим не только ошибки, но и успехи автоматического переводчика Скайпа.

Я сам переводчик, но, к сожалению, убежден, что когда-то компьютер превратится из хорошего помощника в полноценную замену переводчику. В языковой паре "английский-русский" эта тенденция отчетливо видна на примере письменного автоматического перевода юридических текстов, где компьютер довольно неплохо справляется с шаблонными договорами. Уверен, что когда-то это произойдет и с остальными тематиками письменного перевода — нужно лишь время для накопления необходимого количества переведенных текстов. Что касается устного перевода, то тут, как мы с вами убедились сами, "машина" еще только начинает учиться, по крайней мере с русским языком работы предстоит еще очень много. Андрей Гук, руководитель бюро

Типичные ошибки встроенного в Скайп устного переводчика

Внимательно прослушав все 5 бесед, мы можем выделить следующие распространенные ошибки:

Терминология

Еще до начала эксперимента у нас не было никаких сомнений, что переводчик будет ошибаться в выборе правильных значений слов. И делал он это регулярно. Ни один диалог не обошелся без уточнений, что же имел в виду собеседник.

Пропуски

Даже когда говорящий произносил фразу небыстро, четко и внятно, переводчик мог пропустить слово или даже словосочетание. Это влекло за собой искажение смысла и грубые ошибки в переводе.

Имена

Переводчик несколько раз путал имена, когда собеседники обращались друг к другу. Один из диалогов даже пришлось прекратить, так как деловая беседа вряд ли могла состояться, если к телефону подошел не тот человек.

Пол

Все беседы вели мужчины. Тем не менее переводчик 2-3 раза переводил от лица женщины. Возможно, это было связано с теми эпизодами, когда он неправильно интерпретировал имена.

Интонация

У автоматического переводчика были явные проблемы с восприятием интонации. "Машина" неправильно интерпретировала вопросы как в русском языке, так и в английском. Естественно, это вело к искажению смысла.

Успехи и положительные тенденции встроенного в Скайп устного переводчика

Было бы несправедливо, если бы мы не отметили положительные моменты в работе автоматического переводчика. Они действительно были:

Темп речи

Как и в случае с переводчиком-человеком, для достижения наилучшего результата нужно произносить фразы чуть медленнее и желательно более отчетливо. Автоматический переводчик не стал исключением. Когда собеседники произносили фразы медленно, переводчик начинал переводить раньше времени, происходила накладка голосов. Затем говорящие подстроились, и качество перевода значительно выросло.

Произношение

Русский и английский текст звучал разными голосами. В случае с произношением русского текста встроенного переводчика нельзя назвать хорошим диктором. А вот английский текст звучал гораздо аутентичнее и был менее похож на отрывочное чтение по словам.

Текстовая версия

Несмотря на то, что мы оцениваем функцию устного перевода, нельзя не отметить пользу текстовой версии. Скайп дублировал диалог в текстовом виде, и, если что-то было не совсем понятно, можно было обратиться к истории разговора в любой момент. Кстати, история остается и после разговора, как будто вы не разговаривали вовсе, а переписывались.

4.5 / 4