Запуск ИИ на 744 МЛРД параметров БЕЗ видеокарты! Обзор GLM-5.2 локально https://peertube.lightnode.ru/videos/watch/deca9394-67e2-4585-81dd-cd2d41471204 Можно ли запустить гигантскую языковую модель на 744 миллиарда параметров (GLM-5.2) локально на обычном ноутбуке БЕЗ мощной видеокарты (GPU)? Да! Разработчик JustVugg доказал, что физические лимиты железа можно обойти, создав микро-движок Colibri на чистом C. В этом подробнейшем техническом разборе мы погружаемся в самую суть хардкорной системной инженерии и локальных нейросетей. Мы разберем, как алгоритмы маршрутизации Top-K в архитектуре Mixture of Experts (MoE) позволяют искусственному интеллекту экономить ресурсы. Вы узнаете, почему INT4 квантизация использует Outlier weights, чтобы не лишать модель разума, и как системный вызов mmap вместе с Page Cache заставляют ваш медленный NVMe SSD притворяться сверхбыстрой оперативной памятью (VRAM). Мы объясним, почему Python здесь бы просто «умер», как работает магия Speculative Decoding (Multi-Token Prediction) и почему процессоры Apple Silicon (M-чипы) со своей объединенной памятью (Unified Memory) — это настоящее спасение для энтузиастов open-source ИИ. GLM-5.2 обходит закрытые коммерческие решения (аналоги ChatGPT) в задачах агентного программирования, и теперь эта мощь доступна прямо на вашем столе. 📌 Таймкоды: 00:00 — 744 миллиарда параметров на обычном ПК без GPU 00:45 — Миф параметров: маршрутизатор и архитектура Mixture of Experts 01:40 — Квантизация: как ужать 1.5 ТБ данных в INT4 02:34 — Магия системного вызова mmap и Page Cache на C 03:15 — Проклятие Фон Неймана и бутылочное горлышко SSD 3:52 — Спекулятивное декодирование (Multi-Token Prediction) 4:22 — Секретное преимущество Apple Silicon (Unified Memory) 5:00 — Почему GLM-5.2 круче аналогов в написании кода 🔔 Не забудьте подписаться на канал, чтобы не пропустить новые разборы ИИ и системной инженерии! Sat, 01 Aug 2026 13:36:12 GMT https://validator.w3.org/feed/docs/rss2.html PeerTube - https://peertube.lightnode.ru Запуск ИИ на 744 МЛРД параметров БЕЗ видеокарты! Обзор GLM-5.2 локально https://peertube.lightnode.ru/client/assets/images/icons/icon-96x96.png https://peertube.lightnode.ru/videos/watch/deca9394-67e2-4585-81dd-cd2d41471204 All rights reserved, unless otherwise specified in the terms specified at https://peertube.lightnode.ru/about and potential licenses granted by each content's rightholder.