Компанія Cerebras Systems, стартап, що базується в США, випустила найбільший чіп, який інтегрував понад 1,2 трлн транзисторів, розміром 46 225 квадратних міліметрів. Новий чіп Cerebras Wafer Scale Engine (WSE) оптимізований для штучного інтелекту і в 56,7 рази перевищує найбільший графічний процесор, розміром 815 квадратних міліметрів і містить 21,1 мільярда транзисторів. Новий вафельний двигун Cerebras (WSE) забезпечує в 3000 разів більшу швидкість вбудованої пам’яті та пропускну здатність пам’яті у 10 000 разів. Більший розмір мікросхеми гарантує, що інформація може бути оброблена швидше, і навіть може скоротити час на огляд або "час навчання", що дозволяє дослідникам перевірити більше ідей, використовувати більше даних та вирішувати нові проблеми.
Cerebras WSE розроблений для штучного інтелекту і містить фундаментальні нововведення, що вдосконалюють сучасний рівень техніки, вирішуючи багатовікові технічні завдання з обмеженим розміром мікросхеми - такі як зв’язок між сітками, вихід, подача енергії та упаковка. WSE може прискорити обчислення та комунікації, що скорочує час навчання. WSE має в 56,7 разів більше кремнію, ніж найбільший графічний процесор. Крім того, WSE може забезпечити більше ядер, щоб зробити більше обчислень, і має більше пам'яті ближче до ядер, тому ядра можуть працювати ефективно. Весь зв’язок тримається на самому кремнії, оскільки його величезна кількість ядер і пам’яті вбудовані в єдиний чіп.
Мікросхема Cerebras WSE містить 46 225 мм2 кремнію та містить 400 000 оптимізованих AI, без кеш-пам’яті, без накладних витрат, обчислювальних ядер та 18 гігабайт локальної розподіленої надшвидкої пам'яті SRAM. Мікросхема постачається з 9 петабайтами в секунду пропускної здатності пам'яті, де ядра пов'язані разом з дрібнозернистою, повністю апаратною, мережево-підключеною мережевою мережею зв'язку, яка забезпечує загальну пропускну здатність 100 петабіт в секунду. Це означає, що пропускна здатність зв'язку з низькою затримкою зв'язку WSE надзвичайно велика, що змушує групи ядер співпрацювати з максимальною ефективністю, а пропускна здатність пам'яті більше не є вузьким місцем. Більше локальної пам’яті, більше ядер і низька затримка тканини з високою пропускною здатністю, поєднані разом, утворюють оптимальну архітектуру для прискорення роботи ШІ.
Особливості чіпа Cerebras WSE:
- Збільшення ядер: WSE інтегрує 400000 оптимізованих для штучного інтелекту обчислювальних ядер, які називаються SLAC (Sparse Linear Algebra Cores), які програмовані, гнучкі та оптимізовані для розрідженої лінійної алгебри, яка лежить в основі всіх обчислень нейронної мережі. Функція програмованості SLAC забезпечує, що ядра можуть легко запускати всі алгоритми нейронної мережі в постійно мінливому полі машинного навчання. Ядра WSE включають винайдену Cerebras технологію збирання нерідкості, яка прискорює обчислювальні показники при рідкісних робочих навантаженнях (робочих навантаженнях, які містять нулі), як глибоке навчання.
- Розширена пам'ять: Cerebras WSE інтегрує більше локальної пам'яті разом із більшою кількістю ядер, що більше, ніж будь-який чіп, що забезпечує гнучкі, швидкі обчислення при меншій затримці та з меншою енергією. WSE постачається з 18 ГБ (гігабайт) вбудованої пам’яті, доступною своїм ядром за один тактовий цикл. Ця колекція локальної пам'яті ядра робить WSE сукупністю 9 петабайт в секунду пропускної здатності пам'яті, що на 10000 X більше пропускної здатності пам'яті і 3000 X