Результаты относятся к конкретному серверу, его BOM и программной среде. Публичных результатов испытаний готовых изделий этой серии пока нет.
Результаты конкретного образца
Измеренные испытания
Опубликованных измерений готовых YasnoCore H200-4 и H200-8 в этом досье пока нет. Для публикации отчёта фиксируются экземпляр, редакция комплектации, методика, программная среда и исходные логи.
Демонстрационные формы, справочные показатели другого оборудования и расчётные сценарии не включаются в раздел измеренных результатов.
Расчётный прогноз · 18.11.2026
Прогноз производительности H200-4 и H200-8
Сценарная оценка генерации LLM после обработки входного текста. Числа рассчитаны по ресурсам GPU и явно заданным коэффициентам эффективности; испытания серверов для этого прогноза не проводились.
Это ориентир для планирования. Диапазон не является измеренным доверительным интервалом или гарантированным минимумом. Время первого токена, очередь, p95 и полный цикл «запрос → ответ» здесь не прогнозируются.
BF16 · вход 2 048 токенов · ответ 256 токенов · активных запросов на копию модели: 32.
4 × NVIDIA H200 NVL
YasnoCore H200-4
1 копия модели · TP4 на копию
Совокупная генерация при выбранной нагрузке
1 115–2 045 ток/с
Одновременно активных запросов на сервер
32
Один запрос без очереди, B=1
41–74 ток/с
Веса + KV-кэш на копию модели
165,3 / 451,2 ГБ бюджета
По расчёту памяти помещается; загрузка движком отдельно не проверена.
8 × NVIDIA H200 NVL
YasnoCore H200-8
2 копии модели · TP4 на копию
Совокупная генерация при выбранной нагрузке
1 896–3 885 ток/с
Одновременно активных запросов на сервер
64
Один запрос без очереди, B=1
41–74 ток/с
Веса + KV-кэш на копию модели
165,3 / 451,2 ГБ бюджета
По расчёту памяти помещается; загрузка движком отдельно не проверена.
RAM 2 ТБ: модель и KV-кэш целиком в HBM; системная RAM в формуле скорости не участвует. Выгрузка весов на CPU не рассматривается.
H200-8 использует две независимые группы по четыре GPU. Для 70B считаются две копии TP4, для 8B — восемь копий TP1. Ускорение одного запроса за счёт TP8 не заявляется. Все прогнозы условны до подтверждения мостов, питания, охлаждения и работы без снижения частот; особенно для H200-8.
Базовые сценарии для сравнения
Вход 2 048, ответ 256 токенов; BF16 для весов и KV-кэша. В столбцах — совокупные выходные токены/с сервера при заполнении всех копий модели.
Модель
Запросов на копию
H200-4, ток/с
H200-8, ток/с
Копий H200-4 / H200-8
Llama 3.1 8B Instruct · BF16
1
293–587
499–1 115
4 / 8 копий; TP1
Llama 3.1 8B Instruct · BF16
32
5 971–11 942
10 151–22 690
4 / 8 копий; TP1
Llama 3.1 70B Instruct · BF16
1
41–74
69–141
1 / 2 копий; TP4
Llama 3.1 70B Instruct · BF16
32
1 115–2 045
1 896–3 885
1 / 2 копий; TP4
Методика, коэффициенты и ограничения прогноза
Оценка ограничивается меньшим из двух ориентиров: пропускной способностью HBM и вычислительной производительностью BF16. Считается установившаяся генерация вблизи конца контекста, без prefill, спекулятивного декодирования и повторного использования префиксов. Полный объём весов принят как консервативная оценка трафика: вся входная embedding-таблица не читается на каждом шаге. Это упрощённая модель; отдельные задержки запуска ядер, коллективных операций TP, ОС и планировщика не измерены.
BW = 4,8 ТБ/с на H200 NVL. BF16 dense = 835,5 Тфлопс на GPU — половина указанного NVIDIA пика с разреженностью. Наши допущения: η_HBM 25–50% для 8B/TP1 и 30–55% для 70B/TP4; η_compute 15–35%. Для H200-8 дополнительно принят коэффициент 85–95% к сумме независимых копий. Коэффициенты не получены из замеров этой сборки и не откалиброваны по MLPerf.
P рассчитано из архитектуры: 8 030 261 248 / 70 553 706 496 параметров. Веса BF16 занимают около 16,1 / 141,1 ГБ; KV-кэш — 131 072 / 327 680 байт на токен одной последовательности. C = вход + 256, B — одновременно активные последовательности на копию. При расчёте памяти 20% HBM зарезервировано под движок и прочие расходы; это плановый резерв, а не доказанный максимум размещения. ГБ и ТБ/с используются в десятичной системе.
Если веса и KV-кэш выходят за этот бюджет HBM, скорость не показывается. Ни успешная загрузка модели, ни качество ответов, ни линейное масштабирование реального сервера из расчёта не следуют. RAM 512 ГБ / 1 ТБ / 2 ТБ влияет на размещение данных и задачи CPU, но не меняет этот прогноз GPU-resident decode.
Опубликованный бенчмарк H200 NVL для справки
Dell XE7745, 8 × H200 NVL, Llama 2 70B FP8: MLPerf Inference v5.0 Interactive Server — 16 134,35 выходных токенов/с; p99 TTFT 397,02 мс и p99 TPOT 39,79 мс. Это фактический результат другой системы с другими CPU, точностью, моделью и нагрузкой. Он не является результатом YasnoCore и не использован как прямой множитель нашего BF16-прогноза. Длины запросов переменные; это не фиксированный тест 2 048 / 256.
В JSON сохранены входные параметры, формулы, сценарные коэффициенты и все рассчитанные варианты. CSV содержит те же сценарии; статус каждой строки указывает, что это расчёт.
Серийные номера, CPU, артикулы и карта DIMM, GPU и мосты, PCIe-топология, накопители, сеть, версии BIOS/BMC, драйвер, CUDA и ОС. Перед тестом сохраняем полный аппаратный отчёт.
Проверяем ограничения
Подключение GPU и NVLink, пропускную способность, ошибки PCIe, ECC и Xid, температуры, частоты, throttling, мощность и работу согласованной схемы резервирования БП.
Как сравнивать LLM-бенчмарки
Параметр
Условие сравнения
Сохраняемый результат
Модель и точность
Одинаковые веса, tokenizer, ревизия и BF16/FP16 либо одна и та же квантизация
Идентификаторы, параметры запуска
Контекст и ответы
Заданные входная и выходная длины; фактическое число токенов сохраняется
Распределение длин, OOM и ошибки
Параллельность
Одинаковые concurrency, batching и политика кэша; прогрев отделён
Агрегатные output tokens / общее время
Задержка
Потоковый ответ и одинаковое сетевое окружение
TTFT, TPOT, p50 и p95
Качество и устойчивость
Одинаковый набор задач и согласованный длительный нагрузочный цикл
Ошибки, качество ответов, мощность, температуры
Четыре и восемь GPU сравниваются при одинаковых условиях. Результат одного GPU и теоретические пики не заменяют измерение полного сервера.
Три отдельных набора подтверждений
Соответствие продукции
Применимые технические регламенты, серия, модификации, доказательная база и зарегистрированный документ в требуемой форме.
H200 NVLink и QSC
OEM-поддержка, точные мосты и конфигурация. Если закупка требует NVIDIA Qualified System Catalog, проверяется конкретная запись, а не только семейство платформ.
Средства защиты
Отдельные заключения разработчиков СЗИ для полной конфигурации, версии BIOS, ревизии платы, ОС и СЗИ. Эти сведения привязываются к исполнению.