Создание ИИ-продуктов в эпоху вероятностей

Создание ИИ-продуктов в эпоху вероятностей

Август 2025

Недавно я пытался убедить свою подругу, что ChatGPT не запомнил все возможные медицинские записи, и что когда она передавала результаты анализов крови, модель выполняла сопоставление шаблонов способами, которые даже OpenAI не могла предвидеть. Она не могла мне поверить, и я полностью понимаю почему. Трудно принять, что мы изобрели технологию, которую не полностью понимаем, и которая демонстрирует поведение, которого мы явно не ожидали.

Отрицание — обычная реакция при наблюдении темпов прогресса ИИ. Людям трудно согласовать свою модель мира с тем, что ИИ теперь может делать, и как.

Это не ново. Массовая интуиция и культурное влияние всегда отстают от новых технических возможностей. Когда мы начали создавать бизнес в Интернете три десятилетия назад, скептицизм был похожим. Отправка чеков незнакомцам и бесплатная раздача услуг казались абсурдными. Но те, кто понял новую реальность, состоящую из нулевых предельных затрат и бесконечно масштабируемого распространения, стали невероятно богатыми. Они поняли, что старые предположения, встроенные в их мировоззрение, больше не действуют, и действовали в соответствии с этим.

В конце концов мир догнал¹, и мы достигли нового равновесия. В последние пару десятилетий технологическая индустрия развивалась, развивая сильную интуицию о том, как создавать и развивать цифровые продукты в интернете. Мы изобрели новые профессии, от продакт-менеджмента до руководителей роста, в то время как другие эволюционировали, от инженерного руководства до производительного маркетинга. Все они создали свои собственные руководства для процветания.

ИИ теперь снова тасует колоду.

Многие из этих руководств стали устаревшими. Что-то фундаментальное изменилось. Искусственный интеллект общего назначения создал разрыв в ткани технологической индустрии, перевернув то, как мы проектируем, разрабатываем, создаем и развиваем программное обеспечение — и, таким образом, бизнес, в основе которого лежит программное обеспечение.

Мы сейчас находимся в переходном моменте, когда наши инструменты опередили наши рамки для их понимания.² Это техническое, эпистемологическое и организационное изменение, где исключительные ИИ-компании начали работать значительно по-другому от того, что мы знали в последние десятилетия.

Подобно тому, как физика претерпела концептуальную революцию, когда мы вышли за пределы детерминированной вселенной Ньютона и вошли в странное и противоречащее интуиции место, созданное волновыми функциями, программное обеспечение также претерпевает свой собственный квантовый сдвиг. Мы покидаем мир, где код надежно и детерминированно принимает определенные входные данные для производства конкретных выходных данных, и входим в совершенно другой мир, где машины теперь производят статистические распределения.

Создание вероятностного программного обеспечения не похоже ни на что, что мы делали раньше.

I. Классический мир

Сегодняшняя технологическая индустрия была сформирована основной природой программного обеспечения.

Как и программное обеспечение, из которого они состоят, цифровые продукты детерминированно отображают известные входные данные на ожидаемые результаты. В Instagram пользователи могут загружать фотографии, отправлять сообщения, оставлять комментарии, подписываться на аккаунты. В Netflix они могут искать элемент, выбирать элемент, транслировать видео. Они выбирают действие и ожидают, что произойдет результат.

Давайте представим эти продукты как функции F: X → Y.

Каждый вход x — это действие пользователя внутри продукта, например “отправить сообщение в WhatsApp”, “заказать поездку в Uber” и “найти адрес в Google Maps”. Для каждого действия x продукт дает результат y: сообщение будет отправлено, поездка будет заказана, адрес будет найден.

Через эту структуру можно оценить, почему стартапы и технологические компании работают так, как они работают.

Это наиболее очевидно в управлении разработкой.

Классический способ управления производительностью команды разработчиков программного обеспечения выглядит так:

Если у вас когда-либо была работа разработчика, вы немедленно узнаете панель SLO Datadog. Это то, что количественно определяет надежность системы. Поскольку работа инженера заключается в создании F(x), мы спрашиваем: производит ли выполнение действия x результат y каждый раз? Делает ли это надежно, независимо от того, сколько раз вы пытаетесь? Цель — 100%: функция должна всегда работать так, как мы ожидаем.

Вот почему слоение, осторожные рефакторинги и разработка через тестирование являются отличительными чертами разработки программного обеспечения: все они проистекают из онтологической природы функции отображения F. Поскольку работа всегда заключается в производстве y при вводе x, мы должны писать тесты, которые убеждаются, что это всегда так, мы должны быть очень осторожны с общими рефакторингами и аккуратны при введении новых функций, которые могут повлиять на надежность стрелки.

Продакт-менеджмент и дизайн также касаются надежного отображения x на y — просто на другом уровне абстракции. Для этих команд это о построении функции F, где вход x выглядит больше как “пользователь посмотрел историю в Instagram впервые”, производя реальный результат y как “пользователь все еще использует продукт через месяц”.

Хороший PM’инг заключается в проведении пользователей через воронки ценности. Кардинальность функций известна заранее: входное пространство X — это ограниченный, заранее определенный набор функций и экспериментов роста. Цель также заранее определена: дизайнеры и PM знают заранее, какие цели они оптимизируют. Это означает, что, как и для инженеров, они тоже стремятся достичь 100% оценки пользователей, переходящих от использования функции к получению бизнес-результата. Для этих команд это выглядит больше так:

Хороший дизайн не всегда поддается количественной оценке. Продукты со вкусом не касаются метрик. Но в конечном итоге они существуют для доставки ценности, а ценность всегда доставляется в воронках. Когда люди остаются дольше, потому что они ценят вкусный дизайн конкретной функции, это тоже квалифицируется как воронка: от использования этой функции до продолжения долгосрочной оплаты.

Конверсия, активация и удержание — все это коэффициенты, которые требуют исчисляемых, заранее определенных входов и результатов. Причина, по которой мы можем подсчитать эти числа и построить коэффициенты, заключается в том, что и числитель, и знаменатель ограничены и заранее определены: то, как могут выглядеть x и y, известно до создания функции! Зная их кардинальность, мы можем создать воронку.

Вот почему продукты, такие как Amplitude и Mixpanel, вращаются вокруг воронок, а работа продуктовых команд и команд роста вращается вокруг оптимизации коэффициентов конверсии.

Все эти коэффициенты, будь то инженерные цели надежности или целевые показатели конверсии роста, — это то, как мы принимаем как стратегические, так и тактические решения в создании и развитии программных продуктов. Как мы измеряем производительность, как мы структурируем нашу работу, как мы проектируем и реализуем наши руководства. Вся операционная система технологической индустрии полагается на них.

Проблема в том, что эти правила в вероятностном мире ИИ могут стать активно контрпродуктивными.

II. Квантовый режим

Все начало меняться в конце 2010-х, когда мы начали наблюдать в моделях ИИ первые признаки истинной генерализации. До этого момента системы машинного обучения были по сути “узкими экспертами”, а не “компетентными генералистами”.³

Однако в последнее десятилетие исследователи поняли, что предварительное обучение моделей глубокого обучения на большом количестве данных “заставляет модель развивать общие способности и знания, которые затем могут быть переданы задачам нижнего уровня”⁴. Идея заключается в том, что если вы сосредоточитесь на обучении ИИ фундаментальной структуре всей области, которая вас интересует (скажем, язык), вы можете разблокировать целый класс задач сразу, без необходимости определять их заранее!, от идентификации спам-писем до ответов на вопросы викторины до ролевых игр вымышленных персонажей. T5 от Google показал, что “предварительное обучение заставляет модель развивать общие способности и знания”, в то время как GPT-2 от OpenAI переместил нас “к более общей системе, которая может выполнять множество задач.”

Ключевой момент здесь в том, что эти модели не были явно обучены на всех этих задачах. Когда предварительно обучены на большом корпусе данных и только точно настроены на определенные инструкции, мы можем “существенно улучшить производительность с нуля на невидимых задачах.”⁵

Я не могу достаточно подчеркнуть, насколько важны “невидимые” и “общего назначения” здесь. Именно они сделали это поистине переломным моментом в истории вычислений. Речь больше не идет о обучении машин распознавать спам: речь идет о обучении их говорить. Речь больше не идет о обучении машин распознавать велосипеды или различать животных: речь идет о том, чтобы дать им само чувство зрения.

Подумайте об этом: мы построили особый вид функции F', которая, насколько мы знаем, теперь может принять что угодно — сочинять поэзию, переводить сообщения, даже отлаживать код! — и мы ожидаем, что она всегда ответит чем-то разумным. Практически говоря, это первый раз, когда мы перестали контролировать входное пространство, которое теперь внезапно стало открытым. F(x) стало F'(?).

Вы можете спросить ChatGPT о чем угодно, от юридических советов до романтической поддержки, от анализа электронных таблиц с использованием кода до астрологических предсказаний. Вы можете попросить Claude создать любое программное обеспечение, от скриптов до веб-сайтов, от маркетинговых страниц до видеоигр. Даже ввод бессмыслицы все равно произведет что-то. С практической и философской точки зрения кардинальность входного пространства теперь по сути бесконечна.

Это довольно озадачивает, если вы создаете ИИ-продукты. Что пользователи будут с ними делать? Как вы можете убедиться, что все ваши клиенты всегда будут иметь отличный опыт? Что если они обнаружат удивительный новый случай использования, который эти модели могут выполнить, который вы не предвидели? Что если они обнаружат плохой случай использования, который вы не предвидели?

Размер этой проблемы становится еще более очевидным, когда вы понимаете, что даже выходное пространство также стало фактически бесконечным. В отличие от классических продуктов, где y ограничено заранее определенным набором результатов, ИИ-модели могут генерировать практически безграничное разнообразие выходов. Каждый токен, который они производят, выбирается из распределения вероятностей по всему словарю, что означает, что пространство возможных ответов астрономически велико.

Это означает, что наша аккуратная функция F: X → Y превратилась в нечто совершенно другое: F': ? → ?.

Мы покинули детерминированный мир и вошли в вероятностный.

III. Эмпирическая разработка продуктов

Если вы создаете ИИ-продукт, эта вновь обретенная неопределенность влияет на каждый аспект разработки продукта.

Возьмем Replit, платформу кодирования с ИИ. В их старом продукте без ИИ входное пространство было ограниченным и заранее определенным: создать файл, написать код, запустить код, развернуть. Каждое из этих действий пользователя отображалось на конкретный, предсказуемый результат.

Но их агент ИИ изменил все. Теперь пользователи могут попросить буквально что угодно: “создать игру”, “исправить эту ошибку”, “объяснить этот код”, “переписать это на Python”, “добавить аутентификацию”, “сделать это быстрее”. Входное пространство стало бесконечным, выходное пространство стало бесконечным, и отношения между ними стали вероятностными.

Это фундаментально изменяет то, как вы строите, тестируете и улучшаете продукт.

В классическом мире разработки программного обеспечения у вас есть техническое описание, вы реализуете функцию, вы пишете тесты, чтобы убедиться, что она работает, вы отправляете ее. Цикл предсказуем и повторяем.

В ИИ-продуктах вы в основном занимаетесь эмпирической наукой. Вы формулируете гипотезу о том, что модель может сделать, вы пробуете ее, вы измеряете результаты, вы итерируете. Вы не проектируете функцию — вы обнаруживаете ее.

Это требует совершенно другого набора навыков и мышления. Вместо инженеров вам нужны ученые. Вместо спецификаций вам нужны эксперименты. Вместо тестов вам нужны оценки.

Возьмем реальный пример из истории Replit. Когда они впервые интегрировали Codex от OpenAI в свой продукт, они обнаружили, что пользователи используют его не только для автозаполнения кода — они использовали его для создания целых приложений, отладки сложных проблем, даже изучения новых языков программирования. Это были эмерджентные случаи использования, которые не были явно запрограммированы или предназначены.

Когда они перешли на Claude, им пришлось заново открыть, что модель могла делать. Даже простые изменения промптов могли разблокировать совершенно новые возможности или сломать существующие. Каждое обновление было как получение совершенно нового продукта.

Мишель Катаста, генеральный директор Replit, описал это как переход от инженерного мышления к научному мышлению. Вместо создания детерминированных систем они изучали поведение вероятностных систем.

Это глубокое изменение. Это требует переосмысления всего — от того, как вы нанимаете, до того, как вы измеряете успех.

Возьмем простое обновление промпта. В классическом продукте изменение текста кнопки — тривиальное изменение. В ИИ-продукте изменение промпта может фундаментально изменить поведение модели непредвиденными способами. Это может улучшить производительность по одной задаче, разрушив ее по другой. Это может изменить стиль выходов, изменить время отклика или даже разблокировать совершенно новые возможности.

Вот почему компании, такие как Replit, тратят огромное количество времени на оценки — систематическое тестирование модельных выходов по множеству задач и сценариев. Это не разовая работа; это непрерывный процесс, который должен развиваться вместе с продуктом.

Но даже оценки имеют свои ограничения. Они могут проверить только на то, что вы думаете проверить. В мире, где модели могут демонстрировать эмерджентное поведение, всегда есть случаи использования, которые вы не предвидели.

Вот почему продакшн-тестирование становится критически важным. Вам нужно видеть, как реальные пользователи взаимодействуют с системой в реальных условиях. Но это тоже сложно, потому что трудно знать, что измерять, когда пространство возможностей бесконечно.

Традиционные метрики, такие как коэффициенты конверсии, становятся менее полезными, когда пользователи исследуют открытые пространства возможностей, а не движутся по заранее определенным воронкам. Вместо этого вам нужно думать о пользовательских траекториях — путях через поле возможных задач и состояний модели.

Некоторые команды решают это, используя классификацию для сегментации пользовательских взаимодействий. Они используют меньшие модели для категоризации запросов к большим моделям, что позволяет им понимать, что пользователи на самом деле пытаются сделать. Это грубый способ наложения структуры на то, что по сути является бесструктурной проблемой.

Все это требует глубоких инвестиций в данные и аналитику. Но не только любые данные — правильные данные, захваченные правильным способом, обработанные правильными инструментами.

Создание эффективного ИИ-продукта становится все больше о создании эффективной функции данных вокруг него.

IV. Данные — новая операционная система

Несмотря на то, что поведение модели по своей сути непознаваемо и неопределенно, выяснение того, как построить эффективную функцию данных вокруг него, невероятно сложно. Эмерджентные свойства моделей делают синтетическое тестирование неуловимым.

Инженерам нужно поддерживать набор данных оценки в актуальном состоянии с распределением фактического поведения пользователей, но по определению такой набор данных будет постоянно отставать. Поскольку входное пространство больше не ограничено, вы не можете просто написать несколько выбранных тестов и следовать разработке через тестирование: вы рискуете сломать критические функции, даже не осознавая их существования. Настройка промпта или замена базовой модели для Replit означала разблокировку латентных функций, о которых мы изначально никогда не думали, таких как разработка игр. Наличие хорошей системы для постоянного сэмплирования правильных тестовых случаев из реального прошлого использования — одна из самых критических новых частей работы, необходимых сегодня для создания отличных ИИ-продуктов.

Это также причина, по которой тестирование в продакшне, с традиционными A/B тестами, также критично: таким образом вы можете убедиться, что остаетесь как можно ближе к общей популяции, которую вы обслуживаете, и иметь более высокий шанс протестировать результат длинного хвоста. Однако продакшн-тестирование потенциально еще сложнее, чем тестирование оценок.

Слон в комнате, когда дело доходит до реального живого A/B тестирования, заключается в том, что оно предполагает, что вы знаете, что оптимизировать в первую очередь. Это подразумевает знание и количественную оценку определения успеха. В ИИ-продуктах вы в основном не можете.

Пользователи исследуют поля возможностей, навигируя через пространство, составляя траектории: действительно очень трудно понять, выполняет ли ваш продукт то, что он должен делать! Скажем, вы только что отправили отличную новую функцию для агента Replit: как вы узнаете, создают ли пользователи “лучшее программное обеспечение”? Более длинные цепочки сообщений? Может быть, они просто отлаживают в разочаровании. Более короткие и эффективные сообщения? Может быть, они сдаются быстрее. Конечно, вы можете измерить долгосрочное удержание, но вы не можете позволить себе ждать недели (или, что еще хуже, месяцы!), чтобы отправлять функции.

Это то, что делает высокоскоростную отправку ИИ такой сложной. Но не невозможной. В основном это касается перехода от традиционных воронок роста к поиску способов агрегирования “пользовательских траекторий” — путей через поле возможных задач и состояний модели.

Самый простой способ подойти к этому — сегментирование пользовательских входов. Вы используете меньшие модели для классификации пользовательских запросов к большим моделям, что позволяет вам сегментировать ваши данные в “регионы использования”. Это грубый способ кластеризации пользовательских путешествий. Для кодингового агента Replit это могут быть случаи использования кодирования: “какова вероятность получить положительное сообщение от пользователя после 3 взаимодействий в чате, для всех пользователей, которые отправили промпт о веб-приложениях React?” Чтобы продвинуть вещи дальше, вы можете использовать тот же подход для определения вех для достижения по разным путям, что может означать классификацию внутренних состояний модели.

Это явно влияет на продакт-менеджмент, дизайн, выход на рынок и даже (особенно!) финансы. Поскольку функции становятся эмерджентными, бинарные аналитические события больше не так полезны, как раньше, для понимания поведения пользователей. Знание того, что пользователи, привлеченные через TikTok, более склонны создавать игры, которые дороже генерировать на основе токенов и поэтому влияют на расчет маржи, невероятно ценно по всей компании: от инженеров, убеждающихся, что игры эффективно генерируются, до маркетологов, переключающих свою стратегию верхней части воронки на более устойчивый канал, до финансовой команды, соответствующим образом сегментирующей свой анализ CAC и LTV. 20% сдвиг от пользователей, создающих игры, к профессиональным веб-приложениям может означать разницу между устойчивой экономикой единицы и кровотечением денег на каждом бесплатном пользователе — но это понимание возникает только из анализа фактического содержания ИИ-взаимодействий, а не традиционных метрик воронки. Вот почему классификация состояний так важна.

Все сводится к данным. Ценность генерируется моделью, а данные живут до и после модели. У нас есть годы литературы о данных до (для обучения), и индустрия остро осознает их важность. Но данные после — это что-то новое, потому что у нас была истинная эмерджентность в глобальном масштабе только пару лет. Такой масштаб — это то, что делает проблему дорогой, сложной, комплексной и требующей тяжелой инженерии данных. Проектирование ИИ-продукта — не малый подвиг, все более сложное междисциплинарное искусство.

Все больше и больше, в эпоху стохастических непредсказуемых поведений, данные становятся критически важной дифференцирующей точкой при определении успеха предприятия. Это общая операционная система, продольная для всей организации: общий язык и контекст, который может описать реальность и предписать действия для ее формирования.

Ни один из основных компонентов технологической компании больше не может позволить себе работать в изоляции. Вещи, такие как атрибуция клиентов (в маркетинге, продажах), наблюдаемость (инженерия) и A/B тестирование (продукт, дизайн) раньше были отдельными. В ИИ-продуктах они сворачиваются в одну холистическую системную точку зрения, где основное поведение продукта влияет как на верх воронки, так и на нижнюю линию, от конверсий до удержания.

Только данные могут предоставить карту для понимания этой новой, неизвестной функции F' и описать путешествия, которые пользователи совершают при исследовании и блуждании через эмерджентные свойства ИИ-продуктов. Только данные могут информировать о том, куда они идут, успешны ли они в достижении своего назначения, могут ли они позволить себе туда добраться.

Данные — это не просто новая нефть для обучения ИИ-моделей.

Это также то, как мы можем по-настоящему использовать их силу.

V. На этот раз все по-другому

После десятилетий технических инноваций мир (справедливо) развил некоторые антитела к технологическому хайпу. Массовые аудитории стали естественно скептичными к большим заявлениям о том, что “мир меняется”. Теперь есть даже популярный мем: “ничего никогда не происходит”.

Я твердо верю, что когда дело касается ИИ, что-то происходит. На этот раз это действительно кажется другим.

Это онтологически другое. Мы отходим от детерминированного механицизма, мира совершенной информации и совершенного знания, и идем в мир, состоящий из эмерджентных неизвестных поведений, где вместо планирования и проектирования мы наблюдаем и выдвигаем гипотезы.

Сдвиг реален, и он влияет на каждую часть технологической индустрии, изменяя то, как мы делаем продукты, как мы изучаем и проектируем их, и как мы структурируем работу вокруг них. Организации, которые строят, используя эмпирический подход, думают в вероятностях и измеряют сложные траектории, определят следующую эру технологий. Остальные будут продолжать пытаться втиснуть волновые функции в электронные таблицы, удивляясь, почему их совершенно детерминированные панели не могут захватить то, что делает их продукты волшебными.

Это новый мир, мир чудес и возможностей, мир для открытия и понимания.

Добро пожаловать в эпоху вероятностей.