Обложка тестирование онлайн-переводчика 2020 года

В 2017 году мы уже сравнивали онлайн-сервисы машинного перевода. Тогда мы провели эксперимент, подробнее прочитать о котором можно в одной из статей нашего блога.

3 года – большой срок для стремительно развивающейся IT-сферы, которая всерьез взялась за вопрос автоматизации переводов. Поэтому мы решили вновь провести подобную экспертизу и оценить качество работы самых популярных сервисов, а главное, посмотреть на их развитие.  В предыдущей статье мы осматривали внешний вид и функционал, а здесь поговорим о самом качестве перевода.

Приступим к анализу качества перевода

В этот раз мы размахнулись пошире и подошли к вопросу основательно:

Каждый образец мы пропустили через испытуемых и отдали на оценку нашим редакторам (для чистоты эксперимента мы не говорили, к какому сервису относится тот или иной перевод и какие системы выбраны для эксперимента). Итоговые оценки и результаты нашей небольшой экспертизы тут.

 

Договор

Исходный отрывок на английском
«IN CONSIDERATION OF the matters described above and of the mutual benefits and obligations set forth in this Agreement, the receipt and sufficiency of which consideration is hereby acknowledged, the Customer and the Service Provider (individually the “Party” and collectively the “Parties” to this Agreement) agree as follows:»
"Человеческий" перевод
«С УЧЕТОМ ВСТРЕЧНОГО ПРЕДОСТАВЛЕНИЯ в виде вышеуказанных положений, а также взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность которого стороны настоящим признают, Клиент и Поставщик услуг (далее по отдельности именуемые - "Сторона", а совместно - "Стороны" настоящего Соглашения) договорились о нижеследующем:»

Яндекс.Переводчик (оценка — 6/10)
«При рассмотрении вопросов, описанных выше, а также взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность 1которых настоящим признается, клиент и поставщик услуг (индивидуально “сторона” и коллективно “стороны” настоящего Соглашения) соглашаются о нижеследующем:»
Google Translate (оценка — 5,5/10)
«С УЧЕТОМ описанных выше вопросов, а также взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность которых, таким образом, подтверждается, Заказчик и Поставщик услуг (индивидуально «Сторона» и совместно «Стороны» Соглашение) договорились о следующем:»
Bing Translator (оценка — 3/10)
«В CONSIDERATION вопросов, описанных выше, и взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность которых рассмотрения настоящим признается, Клиент и поставщик услуг (индивидуально "Партия" и коллективно "Стороны" к этому Соглашению) согласны следующим образом:»
DeepL (оценка — 5,5/10)
«В УДОСТОВЕРЕНИИ вышеописанных вопросов, а также взаимных выгод и обязательств, изложенных в настоящем Договоре, получение и достаточность которых настоящим подтверждается, Заказчик и Поставщик услуг (индивидуально "Сторона" и коллективно "Стороны" настоящего Договора) договариваются о нижеследующем:»
Promt.One (оценка — 6/10)
«ПРИ РАССМОТРЕНИИ вышеуказанных вопросов и взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность которых настоящим признается, Заказчик и Поставщик услуг (индивидуально "Сторона" и совместно "Стороны" настоящего Соглашения) договариваются о следующем:»
 

Техника

Исходный отрывок на английском
«Use enclosed belt conveyors and transfer sites to prevent the production workshop against dust and sawdust ingress. The design of the line, including connection units of the line, shall prevent the production workshop against dust and sawdust ingress. The line shall be equipped with a dust-collecting / dust-removal plant, which shall make the production workshop entirely dust and sawdust free. »
"Человеческий" перевод
«Транспортно-ленточные транспортёры, точки пересыпки должны быть закрытого типа и предотвращать попадание пыли, опилок в производственный цех. Конструкция линии, в том числе соединительных узлов линии, должна предусматривать защиту от попадания пыли, опилок в производственный цех. Линия должна включать в себя систему пылеулавливания/пылеудаления (полное отсутствие пыли и опилок в цеху).»

Яндекс.Переводчик (оценка — 5,5/10)
«Используйте закрытые ленточные транспортеры и места переноса для предотвращения попадания пыли и опилок в производственный цех. Конструкция линии, включая узлы соединения линии, должна предохранять производственный цех от попадания пыли и опилок. Линия должна быть оборудована пылеулавливающей / пылеудаляющей установкой, которая должна полностью освободить производственный цех от пыли и опилок.»
Google Translate (оценка — 4,5/10)
«Используйте закрытые ленточные конвейеры и перегрузочные площадки, чтобы предотвратить попадание пыли и опилок в производственный цех. Конструкция линии, включая соединительные узлы линии, должна предотвращать попадание пыли и опилок в производственный цех. Линия должна быть оборудована установкой пылеулавливания / пылеудаления, которая сделает производственный цех полностью без пыли и опилок.»
Bing Translator (оценка — 2/10)
«Используйте закрытые ремни конвейеров и места передачи для предотвращения производственного цеха против пыли и опилок входа. Конструкция линии, включая соединительные блоки линии, должна предотвратить производственный цех против пыли и впадиан ы. Линия должна быть оборудована пылесосом / пылесосом, что должно сделать производственный цех полностью пыли и опилки бесплатно.»
DeepL (оценка — 6/10)
«Для предотвращения попадания пыли и опилок в производственный цех используйте закрытые ленточные конвейеры и перегрузочные площадки. Конструкция линии, включая соединительные узлы линии, должна предотвращать попадание пыли и опилок в производственный цех. Линия должна быть оборудована установкой для сбора/удаления пыли, которая должна сделать производственную мастерскую полностью свободной от пыли и опилок.»
Promt.One (оценка — 4,5/10)
«Используйте замкнутые ленточные транспортеры и передающие площадки для предотвращения попадания пыли и опилок в производственную мастерскую. Конструкция линии, включая соединительные узлы линии, должна предотвращать попадание пыли и опилок в производственный цех. Линия должна быть оборудована сбором пыли / завод удаления пыли, который должен заставить производственный семинар полностью вычистить и свободные опилки.»
 

Научная статья

Исходный отрывок на английском
«As the licensed version of the MapInfo Professional GIS appeared in the reserve, it became necessary to link the AutoCAD-vector layers of crown projections of the stands to the bases of tree trunks, as well as the projective coverings of undergrowth and understorey of forest PTPs. The standard MapInfo tool allows registration of vector layers only by three reference points, which is clearly not enough for accurate transformation.»
"Человеческий" перевод
«С появлением в заповеднике лицензионной версии ГИС MapInfo Professional возникла необходимость привязки сформированных в AutoCAD векторных слоёв проекций крон древостоев и оснований стволов деревьев, а также проективных покрытий подлеска и подроста на лесных ППП. Стандартным инструментом MapInfo допускается регистрация векторных слоёв только по трём опорным точкам, чего явно недостаточно для точной трансформации.»

Яндекс.Переводчик (оценка — 5/10)
«По мере появления в заповеднике лицензионной версии Профессиональной ГИС MapInfo возникла необходимость привязки AutoCAD-векторных слоев проекций крон древостоев к основаниям стволов деревьев, а также проективных покрытий подлеска и подлеска лесных Птпс. Стандартный инструмент MapInfo позволяет регистрировать векторные слои только по трем опорным точкам, что явно недостаточно для точного преобразования.»
Google Translate (оценка — 5,5/10)
«Когда в заповеднике появилась лицензионная версия MapInfo Professional GIS, возникла необходимость связать AutoCAD-векторные слои проекций кроны древостоев с основами стволов деревьев, а также с проективными покрытиями подроста и подлеска лесных ПТП. , Стандартный инструмент MapInfo позволяет регистрировать векторные слои только по трем опорным точкам, что явно недостаточно для точного преобразования.»
Bing Translator (оценка — 4,5/10)
«Поскольку в заповеднике появилась лицензионная версия ГИС MapInfo Professional, возникла необходимость связать автоКАД-векторные слои коронных проекций стендов с основаниями стволов деревьев, а также проективные покрытия подлеска и подлеска лесных ПТС. Стандартный инструмент MapInfo позволяет регистрировать векторные слои только тремя точками отсчета, чего явно недостаточно для точной трансформации.»
DeepL (оценка — 5/10)
«Поскольку лицензионная версия ГИС MapInfo Professional появилась в заповеднике, возникла необходимость связать AutoCAD-векторные слои проекций кроны древостоев с основанием стволов деревьев, а также проекционные покрытия подлеска и подлеска лесных ПТП. Стандартный инструмент MapInfo позволяет регистрировать векторные слои только по трем опорным точкам, чего явно недостаточно для точного преобразования.»
Promt.One (оценка — 3,5/10)
«Так как в заповеднике появилась лицензионная версия MapInfo Professional GIS, то возникла необходимость связать AutoCAD-векторные слои коронных проекций трибун с основаниями стволов деревьев, а также проективные покрытия подроста и недоработок лесных ПТП. Стандартный инструмент MapInfo позволяет регистрировать векторные слои только тремя опорными точками, что явно недостаточно для точного преобразования.»
 

Маркетинг

Исходный отрывок на английском
«Relish the flavours of modern Mexico with exceptional resort dining curated by a world-class chef. Soak up the buzzing atmosphere of each unique dining space, enhanced by dramatic views of the ocean.»
"Человеческий" перевод
«Ощутите аромат современной Мексики и отведайте великолепные блюда от всемирно известного шеф-повара. Оцените неповторимую живую атмосферу каждого заведения и полюбуйтесь невероятными видами на океан.»

Яндекс.Переводчик (оценка — 6/10)
«Насладитесь вкусами современной Мексики с исключительной курортной кухней под руководством шеф-повара мирового класса. Окунитесь в шумную атмосферу каждого уникального обеденного зала, дополненную потрясающим видом на океан.»
Google Translate (оценка — 3,5/10)
«Наслаждайтесь вкусами современной Мексики с исключительными курортными блюдами, приготовленными шеф-поваром мирового класса. Окунитесь в густую атмосферу каждого уникального обеденного зала, дополненного потрясающим видом на океан.»
Bing Translator (оценка — 2,5/10)
«Наслаждайте вкусами современной Мексики с исключительным рестораном, куратором ресторана мирового класса. Насладитесь шумной атмосферой каждого уникального обеденного пространства, усиленного потрясающими видами на океан.»
DeepL (оценка — 4/10)
«Насладитесь вкусами современной Мексики с исключительной курортной кухней, курируемой шеф-поваром мирового класса. Погрузитесь в шумную атмосферу каждого уникального обеденного пространства, дополненную драматическими видами на океан.»
Promt.One (оценка — 2/10)
«Смастерить ароматы современной Мексики исключительным курортным обедом, куратором которого является шеф-повар мирового класса. Пропитать жужжащую атмосферу каждого уникального обеденного пространства, усиленного драматическими видами океана.»
 

Общая тематика

Исходный отрывок на английском
«My grandma was born in the early 1900s, and her parents wanted to name her Violet. At that time, "Violet" was shortened to "Vio" as a nickname, and her parents didn't want her name shortened. They wanted everyone to use her full name, so they cleverly named her Vio.
Everyone called her Vi. »
"Человеческий" перевод
«Моя бабушка родилась в начале 20-го века, и родители хотели назвать ее Вайолет. В те времена имя "Вайолет" сокращали до "Вайо". Родители сокращения не любили и предпочитали, чтобы их дочь называли бы только полным именем. Поэтому они решили схитрить и выбрали имя Вайо.
Все звали ее Вай. »

Яндекс.Переводчик (оценка — 3,5/10)
«Моя бабушка родилась в начале 1900-х годов, и ее родители хотели назвать ее Вайолет. В то время "Вайолет" было сокращено до "Вио" как прозвище, и ее родители не хотели, чтобы ее имя сокращалось. Они хотели, чтобы каждый использовал ее полное имя, поэтому они хитро назвали хервио.
Все звали ее Ви. »
Google Translate (оценка — 3/10)
«Моя бабушка родилась в начале 1900-х годов, и ее родители хотели назвать ее Вайолет. В то время «Violet» было сокращено до «Vio» как псевдоним, и ее родители не хотели, чтобы ее имя сокращали. Они хотели, чтобы все использовали ее полное имя, поэтому они хитро назвали ее Вио.
Все звали ее Ви. »
Bing Translator (оценка — 3/10)
«Моя бабушка родилась в начале 1900-х годов, и ее родители хотели назвать ее Вайолет. В то время, «Вайолет» была сокращена до «Vio» как прозвище, и ее родители не хотели, чтобы ее имя было сокращено. Они хотели, чтобы все использовали ее полное имя, поэтому они ловко назвали ее Vio.
Все называли ее Ви. »
DeepL (оценка — 3,5/10)
«Моя бабушка родилась в начале 1900-х, и ее родители хотели назвать ее Вайолет. В то время "Вайолет" было сокращено до "Вайолет" как прозвище, и ее родители не хотели, чтобы ее имя было сокращено. Они хотели, чтобы все использовали ее полное имя, поэтому они ловко назвали ее Вио.
Все звали ее Вио. »
Promt.One (оценка — 2,5/10)
«Моя бабушка родилась в начале 1900-х годов, и ее родители хотели назвать ее Виолетта. Тогда "Violent" укорочена до "Vio" как псевдоним, а родители не хотели, чтобы ее имя укорочено. Они хотели, чтобы все использовали её полное имя, поэтому они ловко назвали её Вио.
Все называли ее Ви.»

 

Что получилось в итоге

Редакторы ставили оценки сервисам по десятибальной шкале так, будто бы оценивали работу людей. Мы взяли за основу стандарты нашего бюро, поэтому баллы могут показаться слегка заниженными.

  Яндекс Google Bing Deepl Promt
Договор 6 5,5 3 5,5 6
Техника 5,5 4,5 2 6 4,5
Наука 5 5,5 4,5 5 3,5
Маркетинг 6 3,5 2,5 4 2
Свободная 3,5 3 3 3,5 2,5
Общая оценка 5,2 4,4 3 4,8 3,7
Итоги посчитаны по средним значениям оценок редакторов
Заслуженный победитель

Лучше остальных для перевода с английского на русский себя показал сервис от Яндекса. Да, он не выдает чистый перевод, остается необходимость в некоторых правках со стороны человека, но, с точки зрения грамматики и связности текста, результат получается неплохой. И это не удивительно, ведь мы проводили эксперимент на языковой паре с русским языком, а алгоритм Яндекса – продукт российских разработчиков. С другими языками, возможно, результат может отличаться. Но стоит отдать должное, за 3 года Яндекс.Переводчик преобразился в лучшую сторону.

Новичок, подающий надежды

Второе место с небольшим отрывом занял переводчик от DeepL, который действительно превзошел многих "старичков" в мире машинного перевода и частично подтвердил смелые заявления своих создателей о превосходстве иного взгляда на организацию нейросетевого перевода. Возможно, результат связан, опять же, с выбранной для эксперимента языковой парой. С русским языком сервис познакомился относительно недавно. Он был запущен только в 2017 году, спустя 6 лет после появления переводчика от Яндекса (2011 год), а с другими конкурсантами и вовсе имеет разницу в 10 и более лет.

Худший результат

Аутсайдером себя показал продукт от Microsoft, переводчик Bing. Алгоритм развивается не лучшим образом, а развитие со времен 2017 года прослеживается слабо.

Что оказалось сложнее всего

А самой сложной для перевода машиной оказалась общая тематика, комментарий из сети. Машины неплохо научились обрабатывать тематические тексты с общепринятой терминологией, но с человеческим общением до сих пор испытывают большие трудности.

Это был наш взгляд на ситуацию в мире машинного перевода на момент середины 2020 года. Мы внимательно следим за развитием технологий в этой отрасли, планируем повторять подобные эксперименты ежегодно и делиться новостями и результатами наших экспериментов с вами.

4.2 / 6