End-to-End-KI-Lösungen

1. S&P Global Market Intelligence 451 Research. Der Stand der Modernisierung von Rechenzentren in einer KI-gestützten Welt. Im Auftrag von AMD. 2025. https://www.amd.com/en/solutions/data-center/insights/data-center-modernization-in-an-ai-driven-world.html.
2. Vergleich zu SPECrate®2017_int_base basierend auf veröffentlichten Wertungen von www.spec.org vom 10.10.2024. 2P AMD EPYC 9965 (3100 SPECrate®2017_int_base, 384 Kerne gesamt, 500 W TDP, 14.813 CPU $),6,200 SPECrate®2017_int_base/CPU W, 0,200 SPECrate®2017_int_base/CPU $, (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20241004-44979.html); 2P AMD EPYC 9755 (2720 SPECrate®2017_int_base, 256 Kerne gesamt, 500 W TDP, 12.984 CPU $), 5,440 SPECrate®2017_int_base/CPU W, 0,209 SPECrate®2017_int_base/CPU $ (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44824.html); 2P AMD EPYC 9754 (1950 SPECrate®2017_int_base, 256 Kerne gesamt, 360 W TDP, 11.900 CPU $), 5,417 SPECrate®2017_int_base/CPU W, 0,164 SPECrate®2017_int_base/CPU $ (https://www.spec.org/cpu2017/results/res2023q2/cpu2017-20230522-36617.html); 2P AMD EPYC 9654 (1810 SPECrate®2017_int_base, 192 Kerne gesamt, 360 W TDP, 11.805 CPU $), 5,028 SPECrate®2017_int_base/CPU W, 0,153 SPECrate®2017_int_base/CPU $ (https://www.spec.org/cpu2017/results/res2024q1/cpu2017-20240129-40896.html); 2P Intel Xeon Platinum 8592+ (1130 SPECrate®2017_int_base, 128 Kerne gesamt, 350 W TDP, 11.600 CPU $) 3,229 SPECrate®2017_int_base/CPU W, 0,097 SPECrate®2017_int _base/CPU $ (https://spec.org/cpu2017/results/res2023q4/cpu2017-20231127-40064.html); 2P Intel Xeon 6780E (1410 SPECrate®2017_int_base, 288 Kerne gesamt, 330 W TDP, 11.350 CPU $) 4,273 SPECrate® 2017_int_base/CPU W, 0,124 SPECrate®2017_int_base/CPU $ (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240811-44406.html). SPEC®, SPEC CPU®und SPECrate® sind eingetragene Marken der Standard Performance Evaluation Corporation. Weitere Informationen unter www.spec.org. Intel CPU TDP unter https://ark.intel.com/. (9xx5-002E)
3. Llama3.1-70B-Inferenz-Durchsatzergebnisse basierend auf internen Tests von AMD vom 01.09.2024. Llama3.1-70B-Konfigurationen: TensorRT-LLM 0.9.0, nvidia/cuda 12.5.0-devel-ubuntu22.04, FP8, Eingangs-/Ausgangs-Token-Konfigurationen (Anwendungsfälle): [BS=1024 E/A=128/128, BS=1024 E/A=128/2048, BS=96 E/A=2048/128, BS=64 E/A=2048/2048]. Ergebnisse in Token/Sekunde. 2P AMD EPYC 9575F (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1,5 TB 24 x 64 GB DDR5-6000, 1,0 Gbit/s 3 TB Micron_9300_MTFDHAL3T8TDP NVMe®, BIOS T20240805173113 (Determinism = Power, SR-IOV = On), Ubuntu 22.04.3 LTS, kernel = 5.15.0-117-generic (mitigations = off, cpupower frequency-set -g performance, cpupower idle-set -d 2, echo 3>/proc/syss/vm/drop_caches), 2P Intel Xeon Platinum 8592+ (128 Kerne gesamt) mit 8 x NVIDIA H100 80 GB HBM3, 1 TB 16 x 64 GB DDR5-5600, 3,2 TB Dell Ent NVMe® PM1735a MU, Ubuntu 22.04.3 LTS, kernel-5.15.0-118-generic (processor.max_cstate=1, intel_idle.max_cstate=0 mitigations = off, cpupowerfrequency-set -g performance), BIOS 2.1 (Max. Performance, SR-IOV = On), E/A-Token Batch-Größe EMR Turin relative Differenz 128/128 1024 814,678 1101,966 1,353 287,288 128/2048 1024 2120,664 2331,776 1,1211,112 2048/128 96 114,954 146,187 1,272 31,233 2048/2048 64 333,325 354,208 1,063 20,833 für eine durchschnittliche Durchsatzsteigerung von 1,197 x. Bei der Skalierung auf einen Cluster mit 1.000 Knoten (1 Knoten = 2 CPUs und 8 GPUs) bei einem Vergleich des AMD EPYC 9575F Systems mit dem Intel Xeon 8592+ System: 128/128 erzielt 287,288 mehr Token/s, 128/2048 erzielt 211,112 mehr Token/s, 2048/128 erzielt 31,233 mehr Token/s, 2048/2028 erzielt 20,833 mehr Token/s. Die Ergebnisse können abhängig von Faktoren wie Systemkonfiguration, Softwareversion und BIOS-Einstellungen variieren. (9xx5-014A)
4. Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht als Grundlage für die Entscheidungsfindung anstelle tatsächlicher Tests dienen. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.12 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 391.000 Einheiten von SPECrate2017_int_base-Performance (Stand 10. Oktober 2024). Bei dieser Schätzung wird ein älterer 2P-Server mit Intel Xeon Platinum_8280 mit 28 Kernen mit einer Bewertung von 391 verglichen mit einem 2P-Server mit EPYC 9965 (192 Kerne) und einer Bewertung von 3000 (https://www.spec.org/cpu2017/results/res2024q4/cpu2017-20240923-44837.pdf) sowie mit einem Vergleichs-Upgrade auf einen 2P-Server mit Intel Xeon Platinum 8592+ (64 Kerne) mit einer Bewertung von 1130 (https://spec.org/cpu2017/results/res2024q3/cpu2017-20240701-43948.pdf). Die tatsächliche SPECrate®2017_int_base-Bewertung für 2P EPYC 9965 kann je nach OEM-Veröffentlichung abweichen. Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „2024 International Country Specific Electricity Factors 10 – July 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency. Weitere Details unter https://www.amd.com/en/legal/claims/epyc.html#q=9xx5TCO-002a. (9xx5TCO-002A)
5. Dieses Szenario fußt auf vielen Annahmen und Schätzungen, und obwohl es auf internen Forschungen und bestmöglichen Näherungswerten von AMD basiert, dient es nur als Beispiel zur Veranschaulichung und sollte nicht als Grundlage für die Entscheidungsfindung anstelle tatsächlicher Tests dienen. Das AMD Server and Greenhouse Gas Emissions TCO (Total Cost of Ownership) Estimator Tool – Version 1.3 – vergleicht die benötigten AMD EPYC™ und Intel® Xeon® CPU-basierten Server für insgesamt 391000 Einheiten von SPECrate®2017_int_base-Performance (Stand 21. November 2024). Diese Schätzung vergleicht ein Upgrade von einem alten 2P-Server auf Basis von Intel Xeon Platinum_8280 mit 28 Kernen mit einem Wert von 391 (https://spec.org/cpu2017/results/res2020q3/cpu2017-20200915-23984.pdf) gegenüber einem 2P-Server auf Basis von EPYC 9555 (128 Kerne) mit einem Wert von 1630 (https://spec.org/cpu2017/results/res2024q4/cpu2017-20241104-45226.pdf). Schätzungen der Umweltauswirkungen auf der Grundlage dieser Daten unter Verwendung der länder- und regionenspezifischen Stromfaktoren aus „Country Specific Electricity Factors – 2024“ und „Greenhouse Gas Equivalencies Calculator“ der United States Environmental Protection Agency. Weitere Details unter https://www.amd.com/en/legal/claims/epyc.html#q=9xx5TCO-006. (9xx5TCO-006)

© 2025 Advanced Micro Devices, Inc. Alle Rechte vorbehalten. AMD, das AMD Pfeillogo, EPYC, Instinct, Pensando, Ryzen, ROCm und deren Kombinationen sind Marken von Advanced Micro Devices, Inc. Andere Produktnamen in diesem Dokument dienen nur zur Information und können Marken ihrer jeweiligen Inhaber sein. Bestimmte AMD Technologien erfordern möglicherweise die Ermöglichung oder Aktivierung durch Dritte. Die unterstützten Funktionen können je nach Betriebssystem variieren. Bitte informieren Sie sich beim Systemhersteller über spezifische Funktionen. Keine Technologie und kein Produkt kann vollständig sicher sein.