Источник: Yuanchuan Science and Technology Review
Масштабный сериал «Куда идет Ультрамен», вызвавший сенсацию во всем мире, подошел к концу, но на этом неприятности OpenAI не закончились.
Восстановление Сэма Альтмана в должности за короткий промежуток времени неотделимо от напряженной работы Microsoft. С начала этого года Microsoft помогает Good Brother стать больше и сильнее. Она не только инвестировала дополнительные 10 миллиардов долларов, но и мобилизовала рабочую силу Microsoft Research в больших масштабах, требуя от нее отложить в сторону фундаментальные научно-исследовательские проекты и приложить все усилия для внедрения GPT-4 и других базовых больших моделей в продукты, вооруженные OpenAI до зубов.
Но многие не знают, что в сентябре этого года Питер Ли, глава Microsoft Research, получил секретный проект – по созданию замены OpenAI. **
Первым, кто «де-OpenAI» стал первый крупномасштабный модельный приложение Microsoft Bing Chat.
По данным The Information, Microsoft пытается постепенно заменить модель OpenAI, изначально интегрированную в Bing, на версию собственной разработки. На конференции разработчиков Ignite в ноябре Microsoft объявила, что Bing Chat изменил свое название на Copilot, и что теперь он позиционируется на том же рынке, что и ChatGPT — и об этом трудно не думать.
Совершенно новый Copilot
Тем не менее, первоначальный замысел Microsoft заключался не в том, что технические возможности OpenAI были несовершенны, и не в том, что они предвидели различия в управлении OpenAI, и реальная причина немного смехотворна:
Потому что технические возможности OpenAI слишком сильны. **
Доставка еды на Lamborghini
Возможность для Microsoft разработать собственную большую модель была провалом OpenAI.
ChatGPT производит глобальный фурор в то время, когда специалисты по информатике OpenAI заняты работой над проектом под кодовым названием Arrakis по созданию разреженной модели против GPT-4.
Это особая разновидность очень большой модели: при обработке задачи активируются только определенные части модели. Например, когда пользователю необходимо создать сводку, модель автоматически активирует часть, которая лучше всего подходит для задания, вместо того, чтобы каждый раз мобилизовывать всю модель.
По сравнению с традиционными большими моделями, разреженные модели имеют более высокую скорость отклика и более высокую точность. Более того, это может значительно снизить стоимость логического вывода.
В переводе на человеческий язык вам больше не нужно убивать курицу — и это то, что ценит Microsoft. **
Краткий обзор Google о преимуществах разреженных моделей
Когда общественное мнение говорит о стоимости больших моделей, они всегда любят говорить о 7-значных или 8-значных затратах на обучение, а также астрономических расходах на GPU. Но для большинства технологических компаний обучение моделей и строительство ЦОД — это всего лишь разовые капитальные затраты, и стиснуть зубы вполне приемлемо. В отличие от этого, высокая стоимость логических выводов, необходимых для повседневных операций, является первым барьером для входа на рынок для технологических компаний. **
Потому что при нормальных обстоятельствах большая модель не имеет очевидного эффекта масштаба, как Интернет. **
Каждый запрос пользователя требует нового вычисления вывода. Это означает, что чем больше пользователей используют продукт, тем он серьезнее, и стоимость вычислительных мощностей для технологических компаний также будет расти в геометрической прогрессии.
Ранее корпорация Майкрософт обновила крупномасштабное приложение для моделирования GitHub Copilot на основе GPT-4, чтобы помочь программистам писать код за 10 долларов в месяц.
По данным Wall Street Journal, GitHub Copilot теряет в среднем 20 долларов в месяц из-за дорогих затрат на логический вывод, а активные пользователи могут потерять даже 80 долларов в месяц для Microsoft.
GitHub Copilot
Неспособность больших моделей сводить концы с концами является основной причиной создания больших моделей собственной разработки Microsoft. **
Большая модель OpenAI по-прежнему далеко впереди с точки зрения технологий и уже давно находится на вершине основных списков, но за счет дорогостоящего использования.
Некоторые исследователи ИИ подсчитали, что теоретически цена API GPT-3.5 почти в 3-4 раза выше, чем у модели с открытым исходным кодом Llama 2-70B, не говоря уже о полностью обновленной GPT-4.
Однако, за исключением нескольких сценариев, таких как генерация кода и решение сложных математических задач, большую часть работы можно оставить уменьшенным версиям и моделям с открытым исходным кодом.
Стартап Summarize.tech — живой тому пример. Она занимается предоставлением инструментов для обобщения аудио- и видеоконтента, имеет около 200 000 активных пользователей в месяц и использовала GPT-3.5 для поддержки своих услуг в первые дни.
Позже компания попыталась заменить базовую модель на Mistral-7B-Instruct с открытым исходным кодом и обнаружила, что пользователи не почувствовали разницы, но ежемесячная стоимость логического вывода была снижена с $2000 до менее чем $1000.
Другими словами, OpenAI предоставляет клиентам мощный Lamborghini, но большая часть бизнеса его клиентов на самом деле связана с доставкой еды, что представляет собой «далеко впереди проблему» OpenAI. **
Таким образом, не только Microsoft, но и ранние крупные клиенты OpenAI, такие как Salesforce и Wix, были заменены более дешевыми техническими решениями.
Снижение стоимости логического вывода и превращение «вождения Audi дешевле, чем Yadea» стало проблемой, которую должен решить OpenAI, поэтому и родился упомянутый выше проект разреженной модели Arrakis.
На самом деле, не только OpenAI, но и Google также занимается соответствующими исследованиями, и уже добился прогресса. На конференции Hot Chips в августе Джефф Дин, главный научный сотрудник Google и бывший глава Google Brain, упомянул в своем выступлении, что прореживание станет одним из самых важных трендов в следующем десятилетии.
Джефф Дин также опубликовал статьи о разреженных моделях
Именно высокая цена быть далеко впереди заставляет Microsoft задуматься о возможности «опоры на собственные силы», и OpenAI действительно заметила эту проблему:
На конференции разработчиков 6 ноября OpenAI представила GPT-4 Turbo, который снизил цену на 1/3 за один раз, что уже ниже, чем Claude 2, большая модель с закрытым исходным кодом, разработанная ее крупнейшим конкурентом Anthropic.
«Lamborghini» от OpenAI недостаточно дешев, но, по крайней мере, он намного доступнее, чем другие автомобили.
К сожалению, 11 дней спустя фарс, который может войти в историю науки и техники, значительно ослабляет эти усилия. По сообщениям зарубежных СМИ, в выходные, когда Ultraman вел переговоры о возвращении совета директоров OpenAI, с Anthropic связались более 100 клиентов.
Парадокс коммерциализации
Даже без этих гражданских беспорядков кризис оттока клиентов OpenAI все еще может существовать.
Все начинается с идей OpenAI по дизайну моделей и продуктов:
Не так давно OpenAI бросил GPT в сообщество разработчиков. Пользователи могут использовать естественный язык для настройки чат-ботов с различными функциями. На день восстановления Ultraman пользователи загрузили 19 000 чат-ботов GPT с различными функциями, со среднесуточной производительностью 1 000+, что сопоставимо с большим сообществом.
GPT с очень разными функциями
Как мы все знаем, модель GPT не является моделью с открытым исходным кодом, и существует «проблема далеко впереди». Но для индивидуальных разработчиков и малого бизнеса OpenAI имеет два преимущества, с которыми не могут сравниться модели с открытым исходным кодом:
Одним из них является низкий порог разработки из коробки. ** На зарубежных форумах некоторые небольшие команды, использующие базовую модель OpenAI для разработки, описывают свои продукты как «обертки». Из-за сильных универсальных возможностей модели GPT иногда требуется только разработать пользовательский интерфейс для модели, а затем найти подходящий сценарий для получения заказа.
Если разработчикам потребуется дальнейшая тонкая настройка своих моделей, OpenAI также предлагает облегченную технологию тонкой настройки моделей под названием LoRA (Low-rank Adaptive).
Проще говоря, общий принцип LoRA заключается в том, чтобы сначала «разобрать» большую модель, а затем сделать адаптивное обучение под заданную задачу, чтобы улучшить возможности большой модели под задачу. LoRA в основном фокусируется на корректировке внутренней структуры модели и не требует слишком много отраслевых данных для тонкой настройки.
Однако при настройке моделей с открытым исходным кодом разработчики иногда используют полную тонкую настройку. Несмотря на то, что он лучше справляется с конкретными задачами, полная тонкая настройка требует обновления каждого параметра предварительно обученной большой модели, что требует большого объема данных.
Напротив, модель OpenAI явно более дружелюбна к среднестатистическому разработчику.
Принципиальная схема принципа LoRA
Во-вторых, как уже говорилось ранее, большая модель не имеет эффекта масштаба, но в этом предложении на самом деле есть предпосылка - то есть, когда запроса на расчет достаточно. **
Тесты показали, что чем меньше вычислительных запросов отправляется на сервер за пакет, тем менее эффективно используется вычислительная мощность, что, в свою очередь, приводит к резкому росту средней стоимости вычислений.
OpenAI может объединять миллионы запросов на вычисления от всех клиентов одновременно, но отдельным разработчикам и малым и средним предприятиям трудно это сделать, потому что активных пользователей не так много.
Проще говоря, это похоже на экспресс-доставку, также из Шанхая в Пекин, у OpenAI много клиентов, и он может отправить 100 штук за раз, а другие модели не могут восполнить так много.
Аналитики консалтинговой фирмы Omdia отметили, что OpenAI получила гораздо больше прибыли от эффекта масштаба, чем большинство стартапов, которые размещают небольшие модели с открытым исходным кодом на AWS или Azure.
Поэтому, хотя феномен «ChatGPT уничтожит группу небольших компаний, как только его обновят» объективно существует, все еще есть много разработчиков, которые готовы рискнуть.
Дэймон Чен, основатель PDF.ai, стал непосредственной жертвой, а основная функция PDF.ai заключается в том, чтобы заставить модель читать PDF-файлы, и в результате ChatGPT также обновил эту возможность в конце октября. Но Дэймон Чен очень равнодушен: «Наша миссия не в том, чтобы стать очередным единорогом, достаточно миллионов долларов годового дохода».
Но для крупных компаний, которые так же богаты, как и страна, все эти преимущества OpenAI стали недостатками. **
Например, OpenAI имеет преимущество в облегченной разработке, но по мере того, как предприятия продолжают углубляться в сцену и нуждаются в дальнейшей настройке, вскоре он снова столкнется с «проблемой далеко впереди»:
Из-за того, что GPT-4 настолько сложен и велик, глубокая настройка требует минимум 2 миллионов долларов и месяцев времени на разработку. В отличие от этого, стоимость полной тонкой настройки модели с открытым исходным кодом в основном исчисляется сотнями тысяч долларов, что, очевидно, не относится к тому же порядку. **
Кроме того, крупные клиенты, такие как Microsoft и Salesforce, имеют достаточно запросов на вычисления самостоятельно, и нет необходимости работать с другими для снижения затрат, что делает OpenAI без преимущества со стороны затрат. Даже для стартапов по мере увеличения количества пользователей экономическая эффективность использования моделей OpenAI снижается.
Стартап с 200 000 активных пользователей в месяц, упомянутый выше, Summarize.tech, успешно сократил расходы более чем на 50% с помощью Mistral-7B-Instruct с открытым исходным кодом.
Знаете, маленькая модель с открытым исходным кодом с параметрами 7B может работать и на «старом» Nvidia V100 — GPU был выпущен в 2017 году и даже не входит в список экспортного контроля чипов США.
Summarize.tech
С точки зрения бизнеса, именно крупные компании с глубокими карманами могут поддерживать выручку компании, и как привлечь тех клиентов, которые «амбициозны заработать миллионы долларов за несколько лет» — это предложение, с которым OpenAI должна столкнуться.
Событие «Горячая точка»
Может показаться странным, что OpenAI «сталкивается с проблемой коммерциализации», ведь до начала 2023 года тема заработка далеко не стоит на повестке дня OpenAI, не говоря уже о проведении какой-либо конференции разработчиков.
В марте президент OpenAI Грег Брокман, старший брат, который был уволен вместе с Альтманом на прошлой неделе, дал интервью. Он признает, что OpenAI на самом деле не думал о создании инструментов общего назначения или крупномасштабных модельных приложений в вертикалях. Несмотря на все попытки, это не соответствовало ДНК OpenAI, и их сердца не были там.
После драмы, длившейся четыре с половиной дня, Брокман вернулся
ДНК здесь на самом деле относится к культуре ученых, которые являются чисто идеалистами и защищают человечество от угрозы сверхразума. В конце концов, фундамент OpenAI во многом основан на «совместной декларации» Маска и Ультрамена в 2015 году — более безопасный путь AI** будет в руках исследовательских институтов, которые не загрязнены мотивами прибыли. **
Под знаменем идеализма OpenAI успешно набрала команду ведущих ученых во главе с Ильей Суцкевером, несмотря на то, что Альтман предложил им менее половины зарплаты в Google.
Ключевым фактором, позволившим OpenAI начать свою трансформацию, стал именно релиз ChatGPT.
Изначально руководители OpenAI не рассматривали ChatGPT как коммерческий продукт, но называли его «сдержанным предварительным исследованием», целью которого является сбор данных о том, как обычные люди взаимодействуют с ИИ, чтобы помочь в разработке GPT-4 в будущем. Другими словами, ChatGPT может стать настолько популярным, что OpenAI этого не ожидала.
Неожиданный взрыв изменил все и побудил Альтмана и Брокмана обратиться к акселерационизму. **
Так называемый акселерационизм можно просто понимать как неограниченный энтузиазм по поводу коммерциализации AGI и подготовку к четвертой промышленной революции. С другой стороны, секьюритизм выступает за осторожный подход к развитию ИИ и всегда взвешивает угрозу ИИ для человечества.
Анонимный сотрудник OpenAI сказал в интервью The Atlantic: «После ChatGPT есть четкий путь к доходу и прибыли. Вы больше не можете защищать свой статус «идеалистической исследовательской лаборатории». Там есть клиенты, ожидающие обслуживания. "
ChatGPT также породил «лучшее братство в технологиях»
Этот сдвиг позволил OpenAI выйти на незнакомую территорию, продолжая превращать исследования и разработки в популярные продукты.
Для башни из слоновой кости, которая когда-то хвасталась идеализмом, работа была явно слишком «приземленной». Например, Илья, технологический лидер, является скорее компьютерщиком, чем продакт-менеджером, и также отвечал за теоретические исследования в Google, а ответственность за реализацию продукта лежит на команде Google Brain во главе с Джеффом Дином.
До выхода ChatGPT OpenAI была больше похожа на небольшую мастерскую нескольких богатых ученых и инженеров, но прошло время, и они превратились в серьезную бизнес-организацию.
За последний год OpenAI наняла сотни новых сотрудников, чтобы ускорить коммерциализацию. По данным The Information, общее число сотрудников OpenAI, вероятно, превысило 700 человек. Даже если вы не думаете о зарабатывании денег, вы должны найти способ справиться с операционными расходами — в конце концов, ученые должны выплачивать свои ипотечные кредиты.
Короткий и жестокий инцидент «где Ультрамен» не решил проблему, а только обострил ее: что это за организация OpenAI?
В интервью CNBC Маск однажды описал компанию, которую он основал, а затем сметал его: «Мы основали организацию по спасению тропических лесов Амазонки, но затем она занялась лесозаготовительным бизнесом, вырубила лес и продала его». "
Это противоречие вывело OpenAI на долгое место, а также породило этот фарс, который ошеломил всех челюстей.
Ранее в этом году репортеры Wired брали интервью у Ультрамена в течение некоторого времени и неоднократно поднимали этот вопрос в течение этого времени, но Ультрамен настаивал на том, что «наша миссия не менялась» каждый раз. Но когда Илья, верящий в секьюритисти, поскальзывается на коленях, а Ультрамен возвращается, становится ясно, что OpenAI сделала свой выбор.
