Валентин Мамедов. Путешествие в мир LLM pretrain:топовые кластеры, неочевидные ускорения и трудности https://peertube.lightnode.ru/videos/watch/2698f5f0-4720-4924-aaf2-c68d5f8f2a86 Расскажу о том, как устроено обучение нейронных сетей, которые не помещаются на одну видеокарту. Поговорим о таких техниках, как ZeRO и Tensor / Pipeline /.../ Sequence Parallel. Затронем влияние вычислительной точности на модель. Поговорим о важности инфраструктуры и оптимизации скорости перезапуска обучения. А также обсудим, как грамотная работа с видеопамятью повышает скорость обучения, в том числе подсветим тонкости работы с кэширующим аллокатором памяти в PyTorch. Сайт – https://codefest.ru Презентация – https://disk.yandex.ru/i/5YHQjnW7SQHrlA Sat, 25 Jul 2026 22:50:45 GMT https://validator.w3.org/feed/docs/rss2.html PeerTube - https://peertube.lightnode.ru Валентин Мамедов. Путешествие в мир LLM pretrain:топовые кластеры, неочевидные ускорения и трудности https://peertube.lightnode.ru/client/assets/images/icons/icon-96x96.png https://peertube.lightnode.ru/videos/watch/2698f5f0-4720-4924-aaf2-c68d5f8f2a86 All rights reserved, unless otherwise specified in the terms specified at https://peertube.lightnode.ru/about and potential licenses granted by each content's rightholder.