1. Парадигма локального ИИ: почему CUDA решает всё

Видеокарта с 12 ГБ памяти и высокой пропускной способностью шины не становится автоматически идеальным ИИ-движком. На практике без поддержки CUDA «железо» превращается в бесполезный кусок кремния для нейросетей.

При использовании карт без нативной поддержки CUDA (например, Intel Arc) вычисления сбрасываются в медленную системную оперативную память. Скорость падает в разы по сравнению с нативным CUDA. Кроме того, отсутствие оптимизации бэкендов PyTorch приводит к невозможности использовать современные кастомные узлы ComfyUI. Инженеры лаборатории ОТК «Санрайз-Визард» на практике сталкиваются с тем, что клиенты, купившие Arc ради экономии, вынуждены возвращаться к решениям на NVIDIA.

2. Сколько видеопамяти нужно для Stable Diffusion и FLUX

Точный объем VRAM зависит от архитектуры модели, разрешения и формата весов. Для SD 1.5 достаточно 6–8 ГБ. Для SDXL Base нужно от 12 ГБ. Современные модели FLUX.2 [klein] требуют не менее 13–16 ГБ для комфортной работы без сильного сжатия. Размер файла с весами при этом не равен полному расходу памяти.

От чего зависит расход VRAM

Видеопамять занимает не только основная модель, но и текстовый энкодер (например, T5 для FLUX или CLIP для SDXL), VAE-декодер и временные данные для батча.

• Разрешение и батч: Чем выше разрешение, тем больше промежуточных данных. Размер батча (batch_size) задает число изображений, обрабатываемых одновременно. Для проверки ПК всегда начинайте с batch_size = 1.
• Среда запуска: Разные программы (ComfyUI, Automatic1111, Diffusers) по-разному управляют памятью. Сравнивать их нужно на одинаковых моделях.
• Дополнения: ControlNet, IP-Adapter, Refiner и апскейлеры требуют дополнительного запаса VRAM.

Сводная таблица требований

Ниже — сводная таблица с ориентирами разработчиков. Цифры разработчика не всегда включают все компоненты схемы генерации, поэтому в столбце «Рекомендация для ПК» приведен редакционный запас с учетом квантования и накладных расходов.

Резюме: если вы собираете ПК с нуля под нейросети, ориентируйтесь на 16 ГБ VRAM (архитектура Blackwell) как на минимальный порог для современных архитектур без жесткого сжатия.

3. Программная часть: как настроить ComfyUI

Главное правило — начать с одного изображения (batch_size=1) и следить за пиковым потреблением памяти. В ComfyUI это задается в узле Empty Latent Image. Если вы получили ошибку CUDA out of memory, используйте Tiled VAE для декодирования или выгрузку компонентов в RAM.

Пошаговый запуск

Пример рассчитан на Windows 11, видеокарту NVIDIA и локальную установку ComfyUI через Comfy Desktop.

1. Проверка видеокарты: Откройте Диспетчер задач (Ctrl+Shift+Esc), раздел «Производительность». Проверьте полный объем выделенной памяти GPU.
2. Установка ComfyUI: Скачайте установщик с официального сайта ComfyUI, запустите, выберите вариант Standalone и папку на SSD.
3. Подключение модели: Скачайте файл sd_xl_base_1.0.safetensors (около 6,94 ГБ). Поместите его в папку models/checkpoints.
4. Загрузка схемы: Перетащите PNG с официальной базовой схемой ComfyUI на рабочее поле (схема записана в метаданных).
5. Настройка параметров: В узле Load Checkpoint выберите модель. В узле Empty Latent Image задайте разрешение 1024x1024 и batch_size=1. В KSampler выставьте steps=25, cfg=7, seed=42.
6. Генерация: Нажмите Run (или Ctrl+Enter). Следите за расходом видеопамяти в Диспетчере задач во время выполнения.

Для скачивания весов моделей используйте официальные репозитории, например Stable Diffusion XL на HuggingFace. Подробная документация по установке доступна на официальном сайте ComfyUI.

Что делать, если видеопамяти не хватает (OOM)

• Уменьшите батч и разрешение: Установите batch_size = 1, верните базовое разрешение модели (512 для SD 1.5, 1024 для SDXL).
• Tiled VAE: Замените стандартный узел VAE Decode на «VAE Decode (Tiled)». Это снизит пик расхода памяти при декодировании (начните с tile_size = 512, overlap = 64).
• Выгрузка в RAM: Использование флага --lowvram (в Comfy Desktop: Manage → Startup Args). Программа начнет хранить неиспользуемые компоненты в оперативной памяти, но генерация замедлится.

Форматы весов: FP16, FP8, GGUF

FP16 и BF16 используют по 16 бит на число, но различаются диапазоном и точностью. Переход с FP16 на BF16 сам по себе не уменьшает объём весов вдвое. FP8 использует 8-битное представление и может сократить память, занятую весами.

Под «квантованием GGUF» обычно подразумевают квантованные веса в файле GGUF. Сам GGUF — формат хранения, а не единая точность. Проверяйте вариант квантования (Q4, Q8) и совместимость загрузчика. Для архитектуры Blackwell (RTX 50-й серии) родная поддержка FP8 работает значительно быстрее и стабильнее.

4. Обучение LoRA: сколько VRAM нужно

Для обучения LoRA требуется больше памяти, чем для простой генерации, так как нужно хранить градиенты и состояния оптимизатора. Ориентиры для SD 1.5: 11 ГБ VRAM на RTX 2080 Ti при FP16 и накоплении градиентов. Для DreamBooth без LoRA — рецепт для 16 ГБ с 8-битным Adam и gradient checkpointing.

Это примеры конкретных настроек обучения, а не универсальные минимумы. Переносить эти объёмы на SDXL или FLUX нельзя — они потребуют значительно больше памяти. Если вы планируете тренировать собственные стили и персонажей, закладывайте от 24 ГБ VRAM (например, RTX 4090 или RTX 5090).

Техническую документацию по обучению моделей можно найти в руководстве Diffusers.

5. Какое железо закрывает задачи локального ИИ

Для домашней ИИ-станции требуется процессор с хорошей пропускной способностью памяти и видеокарта с 16 ГБ VRAM. Дорогой процессор не решает проблему нехватки видеопамяти, но 32–64 ГБ оперативной памяти DDR5 в двухканале необходимы, чтобы быстро подгружать выгруженные из VRAM компоненты моделей.

Двухканальный режим памяти здесь критически важен. Он удваивает пропускную способность обмена данными с кэшем процессора, что убирает фризы при кэшировании весов ИИ-моделей на диск. Дорогой процессор сам по себе не решает проблему нехватки VRAM, но платформа должна обеспечивать быструю подгрузку данных.

Наш инженер Алексей Мартынов лично тестировал платформы AM5 и LGA1851 в связке с RTX 5060 Ti 16 ГБ и гонял их в OCCT и FurMark 8 часов — температуры не превысили 75 °C.

Если планируется работа с тяжелыми моделями, стоит рассмотреть сборку на RTX 5070. Для профессиональных задач, требующих более 24 ГБ VRAM, используются рабочие станции на базе RTX 5090 или серверные решения.