Марина Королева — об ошибках нейросетей: ИИ грамотнее школьных троечниковМожно ли доверять искусственному интеллекту проверку на грамотность? Чем опасны его галлюцинации? Как отличить искусственный текст от человеческого? На эти вопросы «РГ» ответила профессор Института медиа НИУ ВШЭ и председатель жюри Международного Пушкинского конкурса русистов Марина Королева.
Марина Александровна, вам наверняка приходится читать студенческие работы. По каким признакам вы определяете, что текст писал ИИ?
Марина Королева: Это очень и очень непросто — распознать искусственное происхождение текста. Главное, пожалуй, — ИИ пишет очень гладко. Слишком гладко, я бы сказала, у человека редко так получается. Вот эта гладкость текста обычно заставляет меня усомниться… и не зря!
Второй признак — как раз речевые ошибки (те, что мы называем стилистическими), но и они создают ощущение «нечеловеческих», как будто пишет иностранец, который не знает, как сочетаются слова! Но это бывает нечасто.
А насколько грамотны наши нейросети? Если они делают ошибки, значит ли это, что в русском языке полно недоработанных лингвистами правил и слов, где нет консенсуса?
Марина Королева: Я бы не обесценивала ни работу нейросетей — даже нынешних, которые трудно назвать совершенными, — ни работу лингвистов. Если говорить об орфографии и пунктуации, например, ИИ все равно грамотнее школьных троечников, а иногда и многих взрослых людей, которые окончили вузы.
Что меня действительно тревожит, так это не безграмотность нейросетей, а их «фантазии» (специалисты называют это галлюцинированием ИИ). Этой весной на защитах ВКР (выпускных квалификационных работ, дипломов) мы впервые в массовом порядке столкнулись, например, с тем, что нейросеть придумывает несуществующие списки литературы по теме. Ты видишь в конце работы такой список, он выглядит совершенно правдоподобно, не проверять же каждый пункт?.. Так вот если проверить, ты обнаруживаешь, что многие ссылки ведут в никуда, авторов таких нет, книг и статей таких нет! Случайным образом сгенерированные названия, выцепленные из массива больших данных. А главная проблема — студент относится к этому не критично, принимает на веру то, что ему выдал его помощник ИИ, не проверяет. То есть проблема-то, по большому счету, не в искусственном интеллекте, а в живом человеке.
Если разбираться отдельно с вопросами по лексике, грамматике, синтаксису, к ответам ИИ в какой области нужно отнестись особенно критически?
Марина Королева: Ко всем и к каждой. Я вот думаю сейчас — как хорошо, что журналистское ремесло много лет учило меня недоверию, перепроверке информации из разных источников. Сейчас я точно так же подхожу ко всему, что мне предлагает нейросеть. Малейшее сомнение — немедленно проверь, не доверяй и не доверяйся!
Какие ошибки ИИ вас больше всего рассмешили?
Марина Королева: Решила однажды спросить ИИ, какие варианты он предложит в качестве обращенияприветствия при деловой переписке. Несколько вариантов были вполне вменяемые: «Уважаемый (имя-отчество)», «Здравствуйте, (имя-отчество)»… Но один просто изумил: предлагалось приветствовать адресата по фамилии: «Здравствуйте, (фамилия)!». И вот теперь представьте себе студента, который принял это как руководство к действию. И пишет мне: «Здравствуйте, Королева!».
Еще одна история связана с тем, как я просила один из ИИ-чатов подсказать, где можно перекусить в центре Москвы недалеко от Большого театра. И снова: несколько реально существующих кафе и ресторанов, после чего появилось название «Хлебников дворик»… Я заинтересовалась: там был и адрес, действительно рядом с Большим театром. Начала задавать уточняющие вопросы, узнавала все новые потрясающие подробности о милом и недорогом кафе, которое даже было связано (по утверждению ИИ) с поэтом Велимиром Хлебниковым. Чат рассказывал так вдохновенно, что усомниться было трудно… Но я усомнилась. Надо ли говорить, что никакого «Хлебникова дворика» в Москве нет и в помине? Это галлюцинация, от начала и до конца.
Так что дело, как мне кажется, не в речевых ошибках как таковых. Это как с человеком: если выбирать — речь с ошибками или гладкое вранье, — я выберу речь с ошибками. Но пусть это будет правда.