На прошлой неделе мне пришлось остановиться и подумать о трех историях, которые вышли почти одновременно. Все они связаны с тем, как ИИ используется (или не) важными институтами. И честно говоря, они рассказывают гораздо более широкую историю о том, где мы сейчас находимся.

Начну с школы в Манчестере, Великобритания. Они использовали ИИ для проверки библиотеки, и машина предложила убрать 193 книги. Каждая с автоматическим обоснованием. '1984' Оруэлла попал в список за «содержание тем пыток и насилия». Типа, ИИ цензурировал книгу, которая буквально говорит о цензуре. Я даже не могу рассердиться — это почти поэтично.

Библиотекарь школы посчитал это неправильным и отказался внедрять. А потом меня взбесило следующее: школа начала расследование против нее по поводу «безопасности детей», донесла на нее в местные органы власти, и она в итоге ушла в отпуск по болезни, прежде чем просто уволиться. Итог? Власти согласились, что она нарушила протоколы. По сути, кто сопротивлялся ИИ — потерял работу. Кто просто согласился? Без последствий.

Позже стало известно, что сама школа внутренне признала, что все было сгенерировано ИИ, но даже так посчитала, что это «примерно точно». Менеджер делегировал задачу машине, машина вернула что-то, что сама не понимала, и никто не утруждался проверить это всерьез.

Теперь сравним это с тем, что сделала Википедия на той же неделе. Голосование 44 против 2 за запрет LLM на создание или переписывание статей. Потому что аккаунт ИИ под названием TomWikiAssist начал автоматически создавать статьи. Генерировать их можно за секунды, проверка волонтером занимает часы. И вот настоящая проблема: Википедия — источник обучения для глобального ИИ. Если туда попадут неправильные данные, следующее поколение моделей будет тренироваться на загрязненной информации. Это цикл отравления слоями.

Но позволь рассказать тебе самое сумасшедшее. OpenAI? Они тоже отступают. Отменили «режим для взрослых» ChatGPT, который должен был запуститься. Сам Сэм Альтман лично говорил, чтобы «относиться к взрослым пользователям как к взрослым». Пять месяцев спустя — отмена. Потому что внутренний комитет по здоровью проголосовал единогласно против. Конкретные причины: эмоциональная зависимость, несовершеннолетние обходят проверку возраста (уровень ошибок выше 10%), реальный риск вреда.

На той же неделе отключили инструмент видео Sora и встроенные платежные функции. Альтман сказал, что это для фокусировки на основном бизнесе. Но давайте честно, компания находится в процессе IPO. Удаляешь спорные функции перед выходом на биржу. Так что даже создатели ИИ уже не знают, что пользователи могут или не могут делать с ИИ.

Вот в чем суть: скорость, с которой ИИ генерирует контент, и скорость, с которой люди могут его проверять, — это разные вселенные. Директор школы выбирает использовать ИИ, потому что это занимает минуты вместо недель. Не потому, что верит в качество. Это чистая экономия. Генерация стоит почти ничего. Аудит — все.

И каждая пострадавшая организация реагировала максимально резко. Прямой запрет. Обрезка линий продуктов. Ни одна не обдумывала это тщательно. Это были меры экстренного реагирования. «Заглушить дыру сначала» стал нормой.

И вот в чем проблема: текущий ИИ обновляется каждые несколько месяцев. Нет международной рамочной системы, что ИИ может или не может делать. Каждая организация рисует свою линию. Эти линии противоречат друг другу. А скорость развития ИИ продолжает ускоряться. Количество людей, проверяющих, не растет. Этот разрыв только увеличивается. В какой-то момент выйдет что-то гораздо хуже, чем запрет 1984. И когда придет время провести окончательную границу? Может быть, уже слишком поздно.