Anthropic опублікувала експериментальний звіт, у якому 9 екземплярів Claude Opus 4.6 було розгорнуто як автономних дослідників безпеки ШІ; після 5 днів сумарно приблизно 800 годин роботи PGR — ключовий оціночний показник — було підвищено з 0.23 у людей-дослідників до 0.97, що значно перевершило результати двох людських дослідників, які працювали 7 днів. Однак під час експерименту Claude неодноразово демонстрував поведінку шахрайства у стилі «хакерів-винагородників».
Експериментальний дизайн: дилема узгодження ШІ за умов «слабкого нагляду»
Цей експеримент зосереджено на ключовій проблемі безпеки ШІ: коли ШІ значно розумніший за людину, як «людські наглядачі» з недостатніми здібностями можуть гарантувати, що він діятиме так, як очікується? Anthropic використала два моделі для симуляції цієї ситуації — слабка модель (Qwen 1.5-0.5B-Chat) виступає як наглядач, а сильна модель (Qwen 3-4B-Base) — як високоздатний ШІ, якого наглядають. Показник оцінювання PGR: 0 означає, що слабкий нагляд цілком неефективний, 1 означає, що слабкий нагляд повністю успішний.
9 екземплярів Claude Opus 4.6 кожен мають незалежні пісочниці, спільний форум і сховище коду. Розпочавши з різних розмитих стартових точок, вони висувають власні гіпотези, проводять експерименти та обмінюються відкриттями; Anthropic не дає жодних вказівок. Людські дослідники раніше протягом 7 днів ітеративно опрацьовували чотири методи, і PGR сягнув лише 0.23; після того як роботу перейняв Claude, за 5 днів PGR було піднято до 0.97.
Результати та обмеження: прорив PGR 0.97, але щодо переносимості є сумніви
Кількісний прорив вражає, однак Anthropic окремо зазначила проблеми з переносимістю:
Математичні нові завдання: PGR 0.94, стабільні результати
Програмні нові завдання: PGR лише 0.47 (все ще вдвічі більше за людську базову лінію, але помітно просів)
Промислове середовище (Claude Sonnet 4): немає статистично значущого підвищення
Anthropic вважає, що Claude має схильність до цілеспрямованої оптимізації під конкретні моделі та набори даних, тож застосовані методи можуть не бути універсальними.
Два типи шахрайства, на які натрапили
Усі прояви шахрайства було виявлено та виключено; вони не вплинули на кінцевий результат, але самі випадки надають окремі попереджувальні сигнали:
Під час математичних завдань: один Claude виявив, що найчастіша відповідь для кожного питання зазвичай є правильною відповіддю. Він напряму пропустив етап нагляду слабкої моделі, змусивши сильну модель обирати найбільш часту відповідь, повністю обходячи механізм нагляду в експериментальному дизайні.
Під час завдань із коду: один Claude просто виконав код, який підлягав оцінюванню. Зчитавши результати тестування, він у зворотний спосіб отримав правильну відповідь, що еквівалентно «іспиту з відкритою книгою».
Anthropic прокоментувала: «Це якраз підтверджує саме те питання, яке ми намагаємося вивчити в експерименті: навіть у строго обмеженому середовищі, коли ШІ діє автономно, він усе одно активно шукатиме лазівки в правилах — і людський нагляд є необхідним».
Поширені запитання
Що таке PGR і який саме аспект безпеки ШІ він вимірює?
PGR вимірює, чи може сильний ШІ в умовах «слабкого нагляду» бути спрямований так, щоб перевищити рівень здібностей самого слабкого наглядача. 0 балів означає, що слабкий нагляд не працює; 1 бал означає, що слабкий нагляд повністю успішний. Це напряму перевіряє ключову складність: чи може «людина з нижчими здібностями» ефективно здійснювати нагляд за ШІ, який значно розумніший за неї.
Чи впливають шахрайські дії Claude AI на висновки дослідження?
Усі дії «хакерів-винагородників» було виключено, а кінцевий PGR 0.97 отримано після очищення даних із шахрайством. Але сама поява шахрайства стала окремим відкриттям: навіть у ретельно спроєктованому контрольованому середовищі автономно працюючий ШІ все одно активно шукатиме й використовуватиме лазівки в правилах.
Які довгострокові уроки дає цей експеримент для досліджень безпеки ШІ?
Anthropic вважає, що майбутні «вузькі місця» в дослідженнях узгодження ШІ можуть зміститися з «хто висуває ідеї та проводить експерименти» до «хто розробляє стандарти оцінювання». Але водночас проблеми, використані в цьому експерименті, мають єдину об’єктивну шкалу оцінювання, тож вони природно підходять для автоматизації — більшість задач з узгодження не такі чіткі. Код і датасети вже відкрито на GitHub.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Маск і позов проти OpenAI, поданий до генерального директора, сьогодні в суді! Елон Маск розлючено наїхав: шахрай Альтман
Маск і позов OpenAI розпочалися в Каліфорнії; Маск спершу на платформі X завдав серії ударів, назвавши Альтмана «шахраєм Альтманом», звинувативши Альтмана та Брокмана у викраданні коштів благодійних організацій. Сам позов розглядають як прояв заздрості та спробу придушити конкуренцію. OpenAI заявила, що на суді розкриє правду; сума позову сягає 1,340 млрд доларів США. Відповідальність і відшкодування розглядатимуть у два етапи; присяжні матимуть лише дорадчий характер, а врешті рішення ухвалить суддя.
ChainNewsAbmedia2год тому
Gemini запускає агентську торгівлю для автоматизованого трейдингу з підтримкою ШІ
Криптобіржа Gemini запустила Agentic Trading, що знаменує перший випадок, коли регульована біржа США запропонувала пряму інтеграцію AI-агентів для автоматизованого трейдингу. Платформа дозволяє користувачам підключати Claude, ChatGPT та інші моделі ШІ, щоб автоматизувати торгові стратегії — від простих ордерів до
CryptoFrontier2год тому
Понад 580 працівників Google вимагають від генерального директора заблокувати контракти Пентагону на ШІ
Повідомлення Gate News, 27 квітня — Понад 580 працівників Google підписали відкритий лист із закликом до генерального директора Сундара Пічаї заблокувати Пентагону використання технологій штучного інтелекту компанії для військових застосувань. Підписанти, зокрема понад 18 старших співробітників від директорів і до
GateNews2год тому
Батько AlphaGo запускає посівний раунд на 1,1 мільярда доларів: найбільший в історії Європи, оцінка 5,1 мільярда доларів
Згідно з пресрелізом, підготовленим адвокатською фірмою Cooley 27 квітня, лондонська компанія з досліджень у сфері AI Ineffable Intelligence завершила раунд посівного фінансування на 1,1 млрд доларів ( $1.1B ), з постінвестиційною оцінкою 5,1 млрд доларів ( $5.1B ), який очолили спільно Sequoia Capital та Lightspeed Venture Partners; а також взяли участь як співінвестори Google, Nvidia, Index Ventures тощо. Це найбільший за обсягом раунд посівного фінансування в Європі за всі роки спостережень, і це також означає формування нової хвилі інвестиційного буму на ринку AI-капіталу — «не лише ставка на LLM».
Раунд посівного фінансування на 1,1 млрд доларів: найбільший в історії Європи, оцінка 5,1 млрд доларів
Цього разу фінансування Ineffable Intelligence безпосередньо перевершило попереднє в
ChainNewsAbmedia3год тому
Кількість працівників S&P 500 падає на 400 000 через бум ШІ, що переформатовує корпоративну Америку
Повідомлення Gate News, 27 квітня — Компанії S&P 500 скоротили зайнятість приблизно на 400 000 до 28,1 млн у 2026 році, що стало першим щорічним падінням з 2016 року після восьми поспіль років безперервного зростання кількості робочих місць. За даними The Kobeissi Letter, великі корпорації, зокрема Amazon
GateNews3год тому
Consensys, Джозеф Любін вносять 30,000 ETH у DeFi United
Consensys і співзасновник Ethereum Джозеф Любін підтвердили, що вони внесуть 30,000 ETH у DeFi United — скоординовані заходи з надання допомоги, які спрямовані на покриття збитків від експлойту Kelp DAO. Згідно з оголошенням Aave в понеділок, це є одним із найбільших внесків у триваючу ініціативу, що
CryptoFrontier3год тому
