Приёмочные критерии

Совместимость и испытания

Результаты относятся к конкретному серверу, его BOM и программной среде. Публичных результатов испытаний готовых изделий этой серии пока нет.

Результаты конкретного образца

Измеренные испытания

Опубликованных измерений готовых YasnoCore H200-4 и H200-8 в этом досье пока нет. Для публикации отчёта фиксируются экземпляр, редакция комплектации, методика, программная среда и исходные логи.

Демонстрационные формы, справочные показатели другого оборудования и расчётные сценарии не включаются в раздел измеренных результатов.

Расчётный прогноз · 18.11.2026

Прогноз производительности H200-4 и H200-8

Сценарная оценка генерации LLM после обработки входного текста. Числа рассчитаны по ресурсам GPU и явно заданным коэффициентам эффективности; испытания серверов для этого прогноза не проводились.

Это ориентир для планирования. Диапазон не является измеренным доверительным интервалом или гарантированным минимумом. Время первого токена, очередь, p95 и полный цикл «запрос → ответ» здесь не прогнозируются.

BF16 · вход 2 048 токенов · ответ 256 токенов · активных запросов на копию модели: 32.

4 × NVIDIA H200 NVL

YasnoCore H200-4

1 копия модели · TP4 на копию

Совокупная генерация при выбранной нагрузке

1 115–2 045 ток/с

Одновременно активных запросов на сервер
32
Один запрос без очереди, B=1
41–74 ток/с
Веса + KV-кэш на копию модели
165,3 / 451,2 ГБ бюджета

По расчёту памяти помещается; загрузка движком отдельно не проверена.

8 × NVIDIA H200 NVL

YasnoCore H200-8

2 копии модели · TP4 на копию

Совокупная генерация при выбранной нагрузке

1 896–3 885 ток/с

Одновременно активных запросов на сервер
64
Один запрос без очереди, B=1
41–74 ток/с
Веса + KV-кэш на копию модели
165,3 / 451,2 ГБ бюджета

По расчёту памяти помещается; загрузка движком отдельно не проверена.

RAM 2 ТБ: модель и KV-кэш целиком в HBM; системная RAM в формуле скорости не участвует. Выгрузка весов на CPU не рассматривается.

H200-8 использует две независимые группы по четыре GPU. Для 70B считаются две копии TP4, для 8B — восемь копий TP1. Ускорение одного запроса за счёт TP8 не заявляется. Все прогнозы условны до подтверждения мостов, питания, охлаждения и работы без снижения частот; особенно для H200-8.

Базовые сценарии для сравнения

Вход 2 048, ответ 256 токенов; BF16 для весов и KV-кэша. В столбцах — совокупные выходные токены/с сервера при заполнении всех копий модели.

МодельЗапросов на копиюH200-4, ток/сH200-8, ток/сКопий H200-4 / H200-8
Llama 3.1 8B Instruct · BF161293–587499–1 1154 / 8 копий; TP1
Llama 3.1 8B Instruct · BF16325 971–11 94210 151–22 6904 / 8 копий; TP1
Llama 3.1 70B Instruct · BF16141–7469–1411 / 2 копий; TP4
Llama 3.1 70B Instruct · BF16321 115–2 0451 896–3 8851 / 2 копий; TP4
Методика, коэффициенты и ограничения прогноза

Оценка ограничивается меньшим из двух ориентиров: пропускной способностью HBM и вычислительной производительностью BF16. Считается установившаяся генерация вблизи конца контекста, без prefill, спекулятивного декодирования и повторного использования префиксов. Полный объём весов принят как консервативная оценка трафика: вся входная embedding-таблица не читается на каждом шаге. Это упрощённая модель; отдельные задержки запуска ядер, коллективных операций TP, ОС и планировщика не измерены.

Q_HBM = B × TP × BW × η_HBM / (2P + B × KV_на_токен × C)
Q_compute = TP × BF16_dense × η_compute / (2P + 4 × layers × hidden × C)
Q_копии = min(Q_HBM, Q_compute); Q_сервера = Q_копии × число_копий × коэффициент_масштабирования

BW = 4,8 ТБ/с на H200 NVL. BF16 dense = 835,5 Тфлопс на GPU — половина указанного NVIDIA пика с разреженностью. Наши допущения: η_HBM 25–50% для 8B/TP1 и 30–55% для 70B/TP4; η_compute 15–35%. Для H200-8 дополнительно принят коэффициент 85–95% к сумме независимых копий. Коэффициенты не получены из замеров этой сборки и не откалиброваны по MLPerf.

P рассчитано из архитектуры: 8 030 261 248 / 70 553 706 496 параметров. Веса BF16 занимают около 16,1 / 141,1 ГБ; KV-кэш — 131 072 / 327 680 байт на токен одной последовательности. C = вход + 256, B — одновременно активные последовательности на копию. При расчёте памяти 20% HBM зарезервировано под движок и прочие расходы; это плановый резерв, а не доказанный максимум размещения. ГБ и ТБ/с используются в десятичной системе.

Если веса и KV-кэш выходят за этот бюджет HBM, скорость не показывается. Ни успешная загрузка модели, ни качество ответов, ни линейное масштабирование реального сервера из расчёта не следуют. RAM 512 ГБ / 1 ТБ / 2 ТБ влияет на размещение данных и задачи CPU, но не меняет этот прогноз GPU-resident decode.

Опубликованный бенчмарк H200 NVL для справки

Dell XE7745, 8 × H200 NVL, Llama 2 70B FP8: MLPerf Inference v5.0 Interactive Server — 16 134,35 выходных токенов/с; p99 TTFT 397,02 мс и p99 TPOT 39,79 мс. Это фактический результат другой системы с другими CPU, точностью, моделью и нагрузкой. Он не является результатом YasnoCore и не использован как прямой множитель нашего BF16-прогноза. Длины запросов переменные; это не фиксированный тест 2 048 / 256.

Первичный журнал MLCommons ↗

Источники и данные расчёта

В JSON сохранены входные параметры, формулы, сценарные коэффициенты и все рассчитанные варианты. CSV содержит те же сценарии; статус каждой строки указывает, что это расчёт.

Фиксируем конфигурацию

Серийные номера, CPU, артикулы и карта DIMM, GPU и мосты, PCIe-топология, накопители, сеть, версии BIOS/BMC, драйвер, CUDA и ОС. Перед тестом сохраняем полный аппаратный отчёт.

Проверяем ограничения

Подключение GPU и NVLink, пропускную способность, ошибки PCIe, ECC и Xid, температуры, частоты, throttling, мощность и работу согласованной схемы резервирования БП.

Как сравнивать LLM-бенчмарки

ПараметрУсловие сравненияСохраняемый результат
Модель и точностьОдинаковые веса, tokenizer, ревизия и BF16/FP16 либо одна и та же квантизацияИдентификаторы, параметры запуска
Контекст и ответыЗаданные входная и выходная длины; фактическое число токенов сохраняетсяРаспределение длин, OOM и ошибки
ПараллельностьОдинаковые concurrency, batching и политика кэша; прогрев отделёнАгрегатные output tokens / общее время
ЗадержкаПотоковый ответ и одинаковое сетевое окружениеTTFT, TPOT, p50 и p95
Качество и устойчивостьОдинаковый набор задач и согласованный длительный нагрузочный циклОшибки, качество ответов, мощность, температуры

Четыре и восемь GPU сравниваются при одинаковых условиях. Результат одного GPU и теоретические пики не заменяют измерение полного сервера.

Три отдельных набора подтверждений

Соответствие продукции

Применимые технические регламенты, серия, модификации, доказательная база и зарегистрированный документ в требуемой форме.

H200 NVLink и QSC

OEM-поддержка, точные мосты и конфигурация. Если закупка требует NVIDIA Qualified System Catalog, проверяется конкретная запись, а не только семейство платформ.

Средства защиты

Отдельные заключения разработчиков СЗИ для полной конфигурации, версии BIOS, ревизии платы, ОС и СЗИ. Эти сведения привязываются к исполнению.