В OpenAI замахнулись на сердце ИИ-инфраструктуры: что известно о первом чипе
OpenAI представила первый собственный чип Jalapeño, созданный вместе с Broadcom
RusPhotoBank
OpenAI показала свой первый специализированный процессор для инференса — Jalapeño. Чип разработан и произведен совместно с Broadcom и рассчитан на задачи, которые особенно важны для инфраструктуры OpenAI: запуск уже обученных моделей в ответ на пользовательские запросы.
Первый шаг в собственное железо
Jalapeño стал первым кастомным чипом OpenAI. Компания заявляет, что процессор создавался под особенности ее инференс-систем, а в разработке участвовали собственные ИИ-модели OpenAI.
Пока чип проходит тестирование, но первые результаты, по данным компании, показывают заметно лучшую производительность на ватт по сравнению с современными альтернативами.
Зачем OpenAI понадобился Jalapeño
Партнерство OpenAI и Broadcom было официально объявлено в октябре. При этом планы OpenAI по созданию собственного чипа обсуждались давно: такой шаг рассматривался как способ снизить зависимость компании от графических процессоров Nvidia.
Похожим путем уже идут Google и Amazon, которые развивают собственные ИИ-ускорители — специализированные чипы для ускорения задач машинного обучения.
Ставка на инференс, а не на обучение
Jalapeño предназначен именно для инференса — этапа, когда готовая ИИ-модель обрабатывает запрос пользователя. В своем объявлении OpenAI отдельно подчеркнула низкую стоимость работы чипа при запуске кодинговых моделей в реальном времени.
Более ресурсоемкие задачи, включая предварительное обучение моделей, вероятно, по-прежнему будут опираться на оборудование Nvidia. Однако даже небольшое снижение расходов на инференс может заметно повлиять на экономику OpenAI.
Инфраструктура как часть стратегии
Оптимизация инференса становится для OpenAI не отдельной технической задачей, а частью более широкой стратегии. Компания уже развивает агентские продукты вроде Codex, создает модели для их работы и строит дата-центры, где эти модели будут запускаться.
Переход к собственным специализированным чипам позволяет OpenAI глубже контролировать инфраструктурный слой. Компания подчеркивает, что работает не только над передовыми моделями и продуктами на их основе, но и над архитектурой чипов, ядрами, системами памяти, сетями, планированием, развертыванием и пользовательским опытом.
По замыслу OpenAI, такой подход должен помочь оптимизировать разные уровни технологического стека вокруг общей цели: сделать модели быстрее, надежнее и доступнее для пользователей.