На глобальном саммите OCP 2023 года компания Samsung предложила использовать технологию оптического ввода-вывода для соединения данных между чипами HBM и Logic и представила две возможные архитектуры чипа, как показано на рисунке ниже.

Сначала объясните, что такое HBM. Полное название HBM — High Bandwidth Memory, которая представляет собой память с высокой пропускной способностью и в настоящее время широко используется в чипах графических процессоров. HBM использует трехмерную структуру микросхем DRAM, как показано на рисунке ниже. Несколько микросхем DRAM укладываются вместе в вертикальном направлении с помощью технологии TSV и микровыступов. Чип HBM и чип CPU/GPU реализуют соединение сигналов через металлические линии в интерпозере.

(Изображение с https://semiengineering.com/choosing-the-correct-high-bandwidth-memory/)

Первоначальная цель технологии HBM — предоставить чипам CPU/GPU большую емкость памяти и большую пропускную способность межсоединений для решения проблемы стенки памяти чипа. К основным характеристикам HBM относятся высокая емкость, высокая пропускная способность, небольшая площадь, низкое энергопотребление и низкая задержка. Технология HBM теперь развита до четвертого поколения HBM3E. В следующей таблице представлено сравнение параметров различных поколений HBM.

(Данные https://news.skhynix.com/the-story-of-sk-hynixs-hbm-development/)

Если взять в качестве примера Nvidia H100, то он оснащен 5 чипами HBM3 с общим объемом памяти 80 ГБ, что соответствует общей пропускной способности до 3 ТБ/с. Как показано на рисунке ниже, чипы HBM3 распределены по обе стороны. чип графического процессора.

(Изображение взято с https://www.hardwarezone.com.sg/tech-news-nvidia-h100-gpu-hopper-architecture-building-block-ai-infrastructure-dgx-h100-supercomputer)

С появлением приложений генеративного ИИ, представленных ChatGPT, большие модели обучения ИИ содержат сотни миллионов параметров, что требует большего объема памяти и возможностей более быстрого чтения из памяти. Как разработать технологию HBM следующего поколения для удовлетворения потребностей крупных моделей искусственного интеллекта? Samsung предложила оптический Два варианта ИО. Первое решение — использовать оптический чип в качестве интерпозера. Логический чип и чип HBM размещаются на промежуточном устройстве соответственно. Электрический сигнал в электрическом чипе преобразуется в оптический сигнал через оптоэлектронный интерфейс в промежуточном устройстве, а затем передается на оптический детектор под другим электрическим чипом через оптический. волноводе, а затем преобразуется обратно в электрические сигналы для достижения оптического соединения внутри корпуса. На самом деле это связано с TSMC. iOISПлан платформы(Последние достижения платформы упаковки кремниевой фотоники TSMC)похожий,Также будетHBMи логикачипсложены вPhotonics Интерпозер, как показано ниже. Это решение предъявляет более высокие требования к процессу для Interposer.

(Изображение из документа 1)

Второе решение Samsung вводит оптический ввод-вывод в логический чип и чип HBM соответственно. Электрический сигнал преобразуется в оптический сигнал через оптический ввод-вывод, а затем передается на удаленный HBM по оптоволокну, обеспечивая размыкание цепи между логическим чипом и чипом HBM. Оптическое соединение корпуса отделяет упаковку чипа Logic от упаковки чипа HBM. С помощью оптического соединения с малой задержкой и низким энергопотреблением можно преодолеть ограничения расстояния и пространства и добиться соединений HBM с большей пропускной способностью и пропускной способностью. Это решение фактически похоже на решение Ayar Labs, за исключением того, что Samsung уделяет больше внимания взаимосвязи между чипами Logic и HBM, в то время как Ayar Labs ранее больше сотрудничала с Intel, Nvidia и другими компаниями для достижения высокоскоростного соединения между вычислительными чипами. как показано ниже.

(Изображение с https://www.eetimes.com/ayar-labs-partners-with-nvidia-for-optical-i-o-chiplets/)

Что ещё интересно, в последнем отчёте о прогрессе Ayar Labs есть описание подключаемого HBM высокой ёмкости, но больше никаких подробностей не раскрывается.

(https://www.servethehome.com/ayar-labs-teraphy-is-terrifyingly-quick-with-fiber-directly-plugging-into-chips/)

Подводя краткий итог, технология оптического ввода-вывода направлена ​​на решение проблемы высокоскоростного соединения между вычислительными чипами и превосходит электрический ввод-вывод с точки зрения плотности полосы пропускания, энергопотребления, задержки и т. д. Внедрение концепции оптического ввода-вывода в микросхемы памяти является естественной идеей, и в сочетании с текущим спросом на высокую пропускную способность и большой объем памяти для задач обучения больших моделей в генеративном искусственном интеллекте оптическое соединение HBM может быть проще реализовать. Только когда появятся технические проблемы, новые технологии получат возможность широкомасштабного продвижения. Появление таких гигантов в сфере производства микросхем, как TSMC, Samsung и Nvidia, может ускорить продвижение и индустриализацию технологии оптического ввода-вывода. Давайте подождем и посмотрим!

Если в статье есть какие-либо ошибки или неточности, я надеюсь, что вы укажете на это и приглашаем всех оставить сообщение для обсуждения.

Ссылки: 1. Х. Ся и др., «Интегрированные системы оптических межсоединений (iOIS) для приложений кремниевой фотоники в высокопроизводительных вычислениях», ECTC 2023.