Рішення під задачу

З п'ятнадцяти моделей Nutanix NX карти беруть одинадцять, а стеля на вузол це чотири H100 або L40S у NX-9151-G9. Розібрали, які вузли підтримують GPU, скільки віртуалок виходить на карту через MIG і vGPU, і чому L40S на апаратні слайси не ділиться взагалі. Плюс те, про що мовчать презентації: MIG вимикає NVLink, а жива міграція вимагає однакового заліза на обох хостах.

MIG ріже карту апаратно, vGPU ділить час і потребує ліцензії на кожного користувача. Розбираємо, скільки віртуальних машин виходить на RTX PRO 6000, RTX PRO 5000 і L40S, які профілі та ліцензії для цього потрібні, на яких гіпервізорах працює MIG-backed vGPU і чому карта з MIG у даташиті може не вмикати його на практиці.

Паспортні 600 Вт на карті це вимога до блока живлення, а не споживання машини. Зібрали виміряні числа для станцій на одну, дві й чотири карти, розібрали sense-піни 12VHPWR і 12V-2x6 і пояснили, чому RTX PRO 6000 у сервері часто впирається в 450 Вт замість 600. Плюс розрахунок під українську лінію на 16 ампер.

Ваги моделі рахуються в одну дію, а KV-кеш з'їдає ще стільки ж і більше: 70B із контекстом на 128 тисяч токенів це 180 ГБ на одну людину. Розбираємо офіційні формули NVIDIA й показуємо, скільки паралельних сесій витягне карта на 32, 48, 72, 96 і 141 ГБ. Плюс дві пастки, через які модель не стартує на карті, куди вона за арифметикою влазить.