Адъюнкт-профессор Стэнфорда и успешный основатель Зейн Асгар только что привлёк $80 млн на раунде Series A для стартапа, который решает проблему узкого места при инференции ИИ удачным способом. Раунд возглавила Menlo Ventures.

Компания Gimlet Labs создала то, что она называет первым и единственным «облаком инференции для нескольких типов процессоров» — программное обеспечение, которое позволяет запускать рабочую нагрузку ИИ одновременно на различных типах оборудования. Она может распределять работу ИИ-приложения как на традиционные CPU, так и на оптимизированные для ИИ GPU, а также на системы с большой памятью.

«По сути, мы работаем на любом доступном оборудовании», — рассказал Асгар TechCrunch.

Один агент может связать вместе несколько этапов, и каждый «требует разного оборудования: инференция требует вычислительной мощности; декодирование требует памяти; и вызовы инструментов требуют пропускной способности сети», — пишет ведущий инвестор Менло Тим Талли в посте в блоге о финансировании.

Ни один чип пока не делает всё это, но по мере развёртывания нового оборудования и переразвёртывания старых GPU, «мультипроцессорный флот готов — ему просто не хватает программного слоя для работы». По мнению Талли, именно это предлагает Gimlet Labs.

Если текущая тенденция развёртывания дополнительных вычислительных мощностей продолжится, McKinsey оценивает, что расходы на центры обработки данных составят почти $7 трлн к 2030 году. Асгар говорит, что приложения используют существующее развёрнутое оборудование «всего между 15 и 30 процентами» времени.

«Другой способ это представить: вы тратите впустую сотни миллиардов долларов, просто оставляя неиспользованные ресурсы, — сказал он. — Наша цель была в основном выяснить, как сделать рабочие нагрузки ИИ в 10 раз более эффективными, чем сегодня».

Так что он и его сооснователи Мишель Нгуен, Омид Азизи и Натали Серрино начали создавать программное обеспечение для оркестрации, которое разбивает рабочие нагрузки агентов таким образом, чтобы их можно было одновременно распределить по различным видам оборудования.

Gimlet Labs утверждает, что надёжно ускоряет инференцию ИИ в 3-10 раз при одинаковой стоимости и мощности. Gimlet говорит, что может даже разбить базовую модель так, чтобы она работала на различных архитектурах, используя лучший чип для каждой части модели.

Компания уже заключила партнерства с производителями чипов NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.

Продукт Gimlet, поставляемый либо как программное обеспечение, либо через API на собственное облако Gimlet Cloud, не предназначен для обычных разработчиков ИИ-приложений. Он предназначен для крупнейших ИИ-лабораторий и центров обработки данных.

Компания публично запустилась в октябре с доходами в восьмизначном размере с самого начала (не менее $10 млн). Асгар сказал, что его база клиентов более чем удвоилась за последние четыре месяца и теперь включает крупного создателя моделей и огромную компанию облачных вычислений, хотя он отказался называть их имена.

Сооснователи ранее работали вместе в Pixie, стартапе, создавшем открытый инструмент наблюдаемости для Kubernetes. Pixie была приобретена New Relic в 2020 году, всего через два месяца после её запуска с Series A на $9 млн, возглавляемым Benchmark. (Технология Pixie теперь является частью организации с открытым исходным кодом, которая курирует Kubernetes.)

После того как Асгар случайно встретился с Талли около года назад и также получил инвестиции от ангелов-профессоров Стэнфорда, венчурные капиталисты начали звонить. После запуска на стол Асгара упало предложение. Когда венчурные капиталисты узнали, что Асгар рассматривает предложения, «мы получили довольно большой наплыв финансирования», и раунд был быстро переподписан, сказал он.

С предыдущим раундом посева стартап привлёк в общей сложности $92 млн, включая множество ангелов, таких как Билл Кофран из Sequoia, профессор Стэнфорда Ник МакКеон, бывший CEO VMware Раг Рагхурам и CEO Intel Ли-Бу Тан. Компания в настоящее время насчитывает 30 сотрудников.

Другие инвесторы включают Factory, который возглавил раунд посева, Eclipse Ventures, Prosperity7 и Triatomic.

%%END%%