На саммите RAISE во Франции компания SambaNova объявила о завершении раунда финансирования на сумму 1 млрд. долларов и оценкой в 11 млрд. долларов от новых и существующих инвесторов. General Atlantic возглавила этот раунд при значительном участии Seligman Ventures, T. Rowe Price Associates и Capital Group, а также существующих инвесторов, включая Intel Capital, BlackRock и QIA. Эта новость последовала за завершившимся ранее в этом году раундом с привлечением более 350 млн. долларов.
Стоимость известных стартапов, выпускающих чипы для искусственного интеллекта, резко возросла после громкого ухода из Groq и Cerebras, но оценка SambaNova основана на ее истинной рыночной стоимости. Об этом сообщил генеральный директор SambaNova Родриго Лян.
«Новая оценка отражает эффективность нашего бизнеса», - сказал Лян. «Для наших инвесторов было важно иметь 40 или 50 клиентов определенного размера».
Он также добавил, что инвесторы понимают ограничения других архитектур.
«Для больших моделей требуется значительный объем памяти», - отметил он. «Даже модели с открытым исходным кодом сейчас содержат несколько триллионов параметров, и, насколько я могу судить, большинство людей не готовы отказываться от качества ради квантованных версий модели… именно это мы и решаем».
По его словам, чип-ускоритель SN50 от SambaNova может быть объединен в большие кластеры из сотен микросхем.
По его словам, SambaNova рассматривает варианты потенциального первичного публичного размещения акций, но сбор средств предоставил компании широкие возможности для развития.
«Благодаря сбору средств мы можем продолжать до бесконечности, потому что у нас относительно низкий уровень затрат», - сказал он. «Мы не строим центры обработки данных, нам не нужно искать землю или обеспечивать электроэнергию, мы не занимаемся ничем из этого. У нас нет обратной аренды. Мы занимаемся строительством и доставкой стоек. Это позволяет нам сохранять баланс на долгие годы».
Он также добавил, что компания рассчитывает стать прибыльной в следующем году.
Клиент для логических выводов
SambaNova также объявила JPMorganChase своим клиентом. Банк внедрит системы SN40 и SN50 от SambaNova для обеспечения безопасного оперативного логического вывода с помощью искусственного интеллекта.
«Банки очень активно [используют искусственный интеллект], но никто не проявляет большей активности, чем JPMorganChase», - отметил Лян. «Корпоративный рынок подходит к тому моменту, когда людям нужны логические выводы, и они хотят вернуть его в строй. У них нет такой мощности, а модели слишком велики, так что есть хорошая конвергенция с моделями, которые нужны людям, с тем фактом, что они хотят обеспечить конфиденциальность и безопасность данных».
У SambaNova действует многолетнее соглашение с банком JPMorganChase.
«Это прорыв, потому что большинство поставщиков еще не придумали, как проникнуть на предприятие», - рассказал Лян. «Корпоративный [рынок] будет значительным. Компания не займет его на 100%, но будет значимым игроком на рынке в целом, и мы начинаем это понимать».
Корпоративные клиенты хотят размещать частные модели и личные данные в своей собственной среде, и по словам Ляна, это вряд ли будет центр обработки данных мощностью в гигаватт.
«Им нравится воздушное охлаждение, одиночные стойки и открытые стандарты», - сообщил он. «Им нравятся стандартные Ethernet и Red Hat, и они внедряют [стойки] в существующие центры обработки данных, которые они уже развернули».
Дезагрегированный инференс
Несколько недель назад на выставке Computex компания SambaNova продемонстрировала свои чипы SN40, работающие с ускорением декодирования в системе с графическими процессорами Nvidia Blackwell, используемыми для предварительной загрузки, и процессорами Intel Xeon 6, на которых запускается приложение. По словам компании, эта настройка повысила производительность в 2-3 раза по сравнению с системой, работающей только на графическом процессоре, в расчете на каждый чип.
«Дезагрегированный инференс – это когда компании объединяются, чтобы найти лучшие решения для клиентов», - сказал Лян, отметив, что, хотя SambaNova может эффективно обрабатывать как предварительную загрузку, так и декодирование на одном и том же оборудовании, он, тем не менее, рад, что Nvidia упрощает взаимодействие со своими графическими процессорами в рамках такой архитектуры.
«Причина, по которой мы так активно работаем над этим, заключается в росте стоимости памяти», - заявил он. «Мы можем предложить наш ускоритель декодирования с меньшим объемом памяти, что экономит деньги наших клиентов, а затем повторно использовать всю память, которая находится внутри графических процессоров, которые уже используются в центрах обработки данных».
По словам Ляна, использование дезагрегирования экономит деньги клиентов, улучшает экономическую ситуацию и позволяет SambaNova быстрее внедрять решения, поскольку клиенты могут видеть, что стойки работают бок о бок.
«Если им это не нужно, они могут развернуть его позже. Все это динамично, все это с открытыми интерфейсами», - сообщил он.
По словам Ляна, предпочтительной конфигурацией для поставщиков облачных услуг являются разукрупненные архитектуры с графическими процессорами Nvidia и RDU SambaNova. Однако предприятиям, которым требуется конфиденциальность и безопасность данных с предсказуемым временем отклика, не требуется дезагрегирование, и они лучше подходят для кластеров, работающих только на базе SambaNova.
Эта архитектура логического вывода Nvidia-plus-SambaNova будет масштабно внедрена в новом проекте венчурных компаний Vista Equity Partners и Cambium Capital под названием Vector Core Compute (VC2). VC2 – это распределенный облачный провайдер токенов со сверхнизкой задержкой и сверхдешевой стоимостью, базирующийся в крупнейших мегаполисах США. Эти кластеры развертываются в существующих центрах обработки данных в городских районах, где не всегда доступны гигаватты электроэнергии, но эти районы находятся очень близко к предприятиям, которые они обслуживают. По словам Ляна, VC2 разместила у SambaNova заказ на 3,5 млрд. долларов, который будет реализован в течение следующих трех лет.
VC2 – это автономное подразделение, которое в настоящее время обеспечивает безопасность существующего пространства в центре обработки данных, что позволяет новой компании быстро внедрять сервисы. По словам Ляна, венчурные компании, стоящие за новой структурой, имеют десятки портфельных компаний, которые переходят на работу с использованием искусственного интеллекта, создавая готовую клиентскую базу.
«Благодаря собственному облаку они могут повысить производительность своих компаний и повысить ценность серверной части», - сказал он.
Для агентов ИИ, где системы учета все еще работают на процессорах, SambaNova работает с Intel над обеспечением эффективного подключения к процессорным стойкам Xeon. По словам Ляна, в решении используются стандартные открытые интерфейсы, такие как vLLM, но существует определенный уровень оптимизации между стеком Intel Xeon и стеком SambaNova, что обеспечивает лучший пользовательский опыт. Новые отношения с Intel по выходу на рынок начнутся, когда чип SN50 поступит в серийное производство.
Конечная цель – сделать современные приложения готовыми к работе с агентами, чтобы они могли взаимодействовать с агентами ИИ.
«В конце концов, вы увидите слияние мира моделей искусственного интеллекта и мира традиционных устройств», - отметил Лян.
