Не кожній команді потрібна стійка, трифазне живлення й серверна кімната. Часто задача звучить простіше: тримати модель поруч, працювати з нею щодня й нікуди не віддавати дані. Для цього є башта під стіл з однією картою на 96 ГБ.
Чому 96 ГБ на одній карті це важливо
Модель, яка вміщається в пам'ять однієї карти, працює просто: завантажив і рахуєш. Щойно вона перестає вміщатися, починається інша інженерія: розділення шарів між картами, обмін проміжними результатами, налаштування, яке з'їдає дні. На 96 ГБ спокійно живуть моделі до 70 мільярдів параметрів у чотирибітному квантуванні, а моделі до 32B поміщаються у більш точних форматах.
Ще одна різниця, яку помічають не одразу. У станції під столом карта та сама RTX PRO 6000 Blackwell, що й у серверах, тільки в робочому виконанні з власним охолодженням. Це не урізана версія: пам'ять і обчислювальні блоки ті самі.
Конфігурація
Наступний крок після DGX Spark
Багато хто починає з DGX Spark: коробка на 128 ГБ уніфікованої пам'яті, яка стоїть на столі й дає спробувати великі моделі без серверної. Обмеження в неї одне й відоме: пропускна здатність пам'яті 273 ГБ/с. Модель на 70B у щільному форматі видає одиниці токенів за секунду, і для роботи це повільно.
Станція на RTX PRO 6000 знімає саме це обмеження: у Blackwell пам'ять GDDR7 з пропускною здатністю в кілька разів вищою. Модель того ж розміру починає відповідати зі швидкістю, придатною для щоденної роботи, а не для демонстрації.
Spark лишається корисним: він тихий, компактний і добре тримає роль пристрою для експериментів. Станція потрібна тоді, коли модель із іграшки стала робочим інструментом.
Що дає Threadripper PRO замість звичайного процесора
Три речі, кожна з яких критична саме для цієї задачі. Пам'ять із корекцією помилок: тривалий розрахунок не має падати через одну перевернуту комірку. Вісім каналів пам'яті замість двох: дані до карти йдуть швидше. І багато ліній PCIe, завдяки яким друга карта, швидкий диск і мережа не забирають лінії одне в одного.
Тридцять два ядра тут не для рендерингу, а для підготовки даних. Токенізація, завантаження датасету, попередня обробка зображень: усе це процесорна робота, і поки вона йде, карта простоює.
Куди зростати
- Друга карта RTX PRO 6000 Max-Q: разом 192 ГБ відеопам'яті. Версія Max-Q споживає менше й краще уживається в башті вдвох.
- Пам'ять до 512 ГБ, коли датасети перестають вміщатися.
- Блок живлення взято з запасом одразу, тому апгрейд не потребує заміни корпусу й БЖ.
Кому підходить, а кому ні
Підходить
- Локальний запуск моделей до 70B, коли дані не можна виносити назовні.
- Дотренування під свою предметну область на невеликих датасетах.
- Комп'ютерний зір: навчання детекторів, обробка відео, синтетичні дані.
- Команди без серверної кімнати: станція працює від звичайної розетки й стоїть у кабінеті.
Краще подивитись на інше
- Кілька людей одночасно: одна карта швидко стає чергою, тут виграє сервер із поділом через MIG.
- Навчання з нуля на великому корпусі: потрібні спільна пам'ять і кілька прискорювачів.
Часті питання
Чи шумить така станція в кабінеті?
Під навантаженням чутно, але це рівень потужного робочого комп'ютера, а не стійки. Серверні машини в кабінет ставити не можна взагалі: там наскрізний продув і зовсім інша гучність.
Вистачить звичайної розетки?
Так, з однією картою. Якщо плануєте другу, варто перевірити лінію: пікове споживання підбирається до півтори кіловат.
Чому пам'ять ECC, вона ж дорожча?
Бо розрахунок іде годинами. Помилка в одному біті псує результат тихо, без падіння програми, і ви дізнаєтесь про неї в кінці.
Чи можна поставити дві звичайні RTX PRO 6000 замість Max-Q?
Технічно так, практично краще Max-Q: у неї нижче споживання й тепловиділення, а в башті дві повнопотужні карти стоять впритул і заважають одна одній дихати.
Що з цього є в нас
- ETE AI Workstation: станція з цієї статті
- ETE AI Server RTX PRO: та сама карта, чотири штуки, у стійці
- ETE AI Server H200: коли задача переросла одну машину
- Відеокарти NVIDIA: RTX PRO 6000 і версія Max-Q окремо
