Создатель Doom и по совместительству человек, которому явно тесно в рамках привычной DRAM, Джон Кармак предложил радикально пересмотреть, где именно ИИ «держит мысли». Вместо скучных микросхем памяти — оптоволоконная петля, по которой веса нейросети носятся в виде световых импульсов. По подсчётам Кармака, уже показанные 256 Тб/с на 200 км одномодового волокна позволяют иметь 32 ГБ данных буквально «в пути», да ещё и с пропускной способностью на уровне 32 ТБ/с. То есть память есть — просто она всё время летит.
Главный трюк идеи в том, что при инференсе сюрпризов не бывает: какие веса понадобятся и когда, известно заранее. А значит, их можно аккуратно подсовывать прямо в L2-кэш процессора, полностью выкинув DRAM из уравнения. Сам Кармак честно признаётся, что всё это выглядит как обновлённая версия ртутных линий задержки из 1940-х — только вместо акустических волн теперь лазеры, а вместо ртути километры оптоволокна.
Да, для моделей с триллионом параметров придётся намотать не одну катушку такого «мыслящего» волокна. Но Кармак сохраняет оптимизм: пропускная способность оптоволокна растёт быстрее, чем у DRAM, так что идея может дождаться своего часа. А если без футуризма — он предлагает более приземлённый вариант: связать воедино кучу дешёвого флеша и читать его постранично и конвейером. Теоретически этого уже хватит для инференса — осталось лишь уговорить производителей памяти и ускорителей договориться между собой, что, как известно, самая сложная часть любой технологии.
Пост собрал 1,3 млн просмотров за два дня. На фоне дефицита и дорожающей HBM-памяти для ускорителей NVIDIA интерес к альтернативным архитектурам памяти стремительно растёт — пусть пока в формате идей, которые звучат как шутка, но считаются вполне всерьёз.
Технологии старого бабушкиного телевизора кажутся не такими уж и устаревшими в условиях тотального дефицита оперативной памяти. Надеемся, что до перфокарт и прочих атрибутов доисторической эпохи дело не дойдёт.
Главный трюк идеи в том, что при инференсе сюрпризов не бывает: какие веса понадобятся и когда, известно заранее. А значит, их можно аккуратно подсовывать прямо в L2-кэш процессора, полностью выкинув DRAM из уравнения. Сам Кармак честно признаётся, что всё это выглядит как обновлённая версия ртутных линий задержки из 1940-х — только вместо акустических волн теперь лазеры, а вместо ртути километры оптоволокна.
Да, для моделей с триллионом параметров придётся намотать не одну катушку такого «мыслящего» волокна. Но Кармак сохраняет оптимизм: пропускная способность оптоволокна растёт быстрее, чем у DRAM, так что идея может дождаться своего часа. А если без футуризма — он предлагает более приземлённый вариант: связать воедино кучу дешёвого флеша и читать его постранично и конвейером. Теоретически этого уже хватит для инференса — осталось лишь уговорить производителей памяти и ускорителей договориться между собой, что, как известно, самая сложная часть любой технологии.
Пост собрал 1,3 млн просмотров за два дня. На фоне дефицита и дорожающей HBM-памяти для ускорителей NVIDIA интерес к альтернативным архитектурам памяти стремительно растёт — пусть пока в формате идей, которые звучат как шутка, но считаются вполне всерьёз.
Технологии старого бабушкиного телевизора кажутся не такими уж и устаревшими в условиях тотального дефицита оперативной памяти. Надеемся, что до перфокарт и прочих атрибутов доисторической эпохи дело не дойдёт.
