AI прочитал «1984» и решил запретить его

作者：Кури, Shenchao TechFlow

На прошлой неделе одна из средних школ в Манчестере, Великобритания, использовала ИИ для проверки своей библиотеки.

ИИ составил список из 193 книг, которые следует удалить, каждая с указанием причины. В числе прочих, на списке оказалась «1984» Джорджа Оруэлла с причиной «содержит темы пыток, насилия и сексуального принуждения».

«1984» описывает мир, где правительство следит за всем, переписывает историю и решает, что граждане могут видеть, а что нет. Теперь ИИ сделал то же самое для одной школы, и, возможно, он вообще не осознает, что говорит.

Библиотекарь этой школы посчитал это несправедливым и отказался полностью выполнять рекомендации ИИ.

Школа немедленно инициировала внутреннее расследование, заявив, что это было «ради безопасности детей», обвинив ее в том, что она ввела в библиотеку неподобающие книги, и сообщила местным властям. Она ушла на больничный из-за стресса и в конечном итоге уволилась.

Абсурдно то, что выводы расследования местных властей признали, что она действительно нарушила процедуры безопасности детей, и жалоба была признана обоснованной.

Председатель Ассоциации школьных библиотек Великобритании Кэролайн Роче сказала, что этот вывод означает, что она больше никогда не сможет работать в какой-либо школе.

Те, кто сопротивлялся решениям ИИ, потеряли работу, а те, кто подписался под решениями ИИ, остались без последствий.

Позже школа в внутренних документах признала, что все классификации и причины были сгенерированы ИИ, и их точные слова были: «Хотя классификация была сгенерирована ИИ, мы считаем, что эта классификация в целом точна».

Одна школа передала решение о том, какие книги подходят для чтения студентам, ИИ, который вернул ответ, который он сам не понимает, а затем человек-управляющий даже не посмотрел на него и поставил печать.

После того как эта ситуация была разоблачена британской организацией по свободе слова Index on Censorship, возникшие проблемы касаются не только одной школьной библиотеки:

Когда ИИ начинает решать, какой контент подходит, а какой опасен, кто будет судить о правильности его решений?

Wikipedia закрывает двери для ИИ

В ту же неделю другое учреждение ответило на этот вопрос действием.

Школа позволила ИИ решать, что люди могут читать. Крупнейший в мире онлайн-энциклопедический сайт Wikipedia выбрал противоположный путь: не позволять ИИ решать, что писать в энциклопедии.

В ту же неделю англоязычная Wikipedia официально приняла новую политику, запрещающую использовать большие языковые модели для генерации или переписывания содержания статей. Результат голосования составил 44 голоса за, 2 — против.

Непосредственной причиной стало ИИ-учетная запись под названием TomWikiAssist. В начале марта этого года эта учетная запись самостоятельно создала и отредактировала несколько статей в Wikipedia, и после того, как сообщество это обнаружило, было принято срочное решение.

ИИ может написать статью всего за несколько секунд, но волонтерам необходимо несколько часов, чтобы проверить факты, источники и формулировки в статье ИИ.

Сообщество редакторов Wikipedia состоит из ограниченного числа людей. Если ИИ может производить контент в неограниченных количествах, человеческие редакторы просто не успевают проверять.

Но это еще не самая серьезная часть. Wikipedia является одним из самых важных источников тренировочных данных для глобальных моделей ИИ. ИИ извлекает знания из Wikipedia, а затем использует эти знания для написания новых статей Wikipedia, которые в свою очередь используют следующие поколения ИИ для дальнейшего обучения.

Как только ошибочная информация, сгенерированная ИИ, проникает в систему, она будет постоянно увеличиваться в этом цикле, создавая своего рода матрешечный токсичный ИИ:

ИИ загрязняет тренировочные данные, а тренировочные данные снова загрязняют ИИ.

Однако политика Wikipedia также оставила два окна для ИИ: редакторы могут использовать ИИ для улучшения своих собственных текстов и могут использовать ИИ для помощи в переводе. Но политика специально предупреждает, что ИИ может «выходить за пределы ваших требований, изменять смысл текста, делая его несоответствующим указанным источникам».

Человеческие авторы могут ошибаться, и Wikipedia на протяжении более двадцати лет с помощью сотрудничества сообщества исправляет это. Ошибки ИИ проявляются иначе: то, что он выдумывает, выглядит более правдоподобным, чем настоящее, и может быть произведено массово.

Одна школа поверила в решения ИИ и в результате потеряла библиотекаря. Wikipedia выбрала не верить и просто закрыла двери.

Но что если даже те, кто создает ИИ, начинают в него не верить?

Создатели ИИ сами испугались

Внешние учреждения закрывают двери для ИИ, а компании, разрабатывающие ИИ, также начинают отступать.

В ту же неделю OpenAI бессрочно приостановила работу функции «взрослого режима» ChatGPT. Эта функция изначально планировалась к запуску в декабре прошлого года и должна была позволить проверенным по возрасту взрослым пользователям общаться с ChatGPT на эротические темы.

Генеральный директор Сэм Альтман в октябре прошлого года сам анонсировал это, его точные слова были: «обращаться с взрослыми пользователями как с взрослыми».

В результате, после трех задержек, функция была просто отменена.

Согласно информации из британской газеты Financial Times, внутренний консультативный комитет OpenAI единогласно выступил против этой функции. Беспокойства консультантов были очень конкретными: пользователи могут развивать нездоровую эмоциональную зависимость от ИИ, а несовершеннолетние обязательно найдут способ обойти проверку возраста.

Один из консультантов выразил свою точку зрения более прямо: если не произойдут значительные улучшения, этот продукт может стать «сексуальным тренером по самоубийству».

Ошибки системы проверки возраста превышают 10%. Учитывая, что у ChatGPT около 800 миллионов активных пользователей в неделю, 10% означает, что десятки миллионов могут быть ошибочно классифицированы.

Режим для взрослых не был единственным продуктом, который был отменен в этом месяце. Инструменты ИИ для видео Sora и встроенная в ChatGPT функция мгновенной оплаты также были отключены. Альтман заявил, что компания хочет сосредоточиться на основном бизнесе, убирая «второстепенные задачи».

Но OpenAI одновременно готовится к IPO.

Компания, которая стремится к выходу на биржу, активно отказывается от функций, которые могут вызвать споры, и это действие точнее назвать не «фокусировкой».

Пять месяцев назад Альтман говорил о том, чтобы обращаться с пользователями как с взрослыми, а через пять месяцев он обнаружил, что его компания еще не поняла, с чем пользователи могут взаимодействовать, а с чем нельзя.

Даже те, кто создает ИИ, не имеют ответов. Так кто же должен провести эту черту?

Разрыв в скорости все еще не может быть преодолен

Если рассмотреть эти три ситуации вместе, легко прийти к одному основному выводу:

Скорость производства контента ИИ и скорость проверки контента человеком больше не находятся на одном уровне.

Выбор школы в этом контексте становится легко понятным. Сколько времени потребуется библиотекарю, чтобы прочитать 193 книги и сделать выводы? Позволить ИИ пробежать по ним займет несколько минут.

Директор выбрал решение, которое занимает несколько минут; разве вы действительно считаете, что он верит в способности ИИ? Я думаю, больше всего он не хотел тратить это время.

Это экономическая проблема. Стоимость генерации стремится к нулю, а стоимость проверки несет на себе человек.

Таким образом, каждое учреждение, подвергшееся влиянию ИИ, вынуждено реагировать самым грубым способом: Wikipedia просто запрещает, OpenAI просто убирает линейку продуктов. Ни одно из решений не является результатом тщательного обдумывания, все они приняты в спешке и действуют по принципу «сначала закройте, потом подумаем».

«Сначала закройте, потом подумаем» становится нормой.

Способности ИИ обновляются каждые несколько месяцев, а обсуждения о том, с каким контентом ИИ может взаимодействовать, даже не имеют достойной международной рамки. Каждое учреждение заботится только о своей внутренней границе, и границы противоречат друг другу, никто не координирует.

Скорость ИИ продолжает увеличиваться. Количество людей, занимающихся проверкой, не увеличится. Этот разрыв только будет увеличиваться, пока однажды не произойдет нечто гораздо более серьезное, чем запрет «1984».

Тогда, возможно, будет слишком поздно провести черту.