標題：
MI300X vs H100 vs H200 Benchmark Part 1: Training – CUDA Moat Still Alive
網址：
https://reurl.cc/oVyd9v
內文：
此篇為semianalysis 測試5個月比較
MI300X H100 H200實際使用的效能以及使用上的現況
下面放上作者的發現總結，詳細請看文章
1. 在紙上比較 FLOP/s 和 HBM 頻寬/容量類似於僅透過檢查百萬像素數來比較相機。判斷?
2. Nvidia 的開箱即用效能和體驗令人驚嘆，我們在基準測試期間沒有遇到任何 Nvidia 特
3. AMD 的開箱即用體驗非常難以使用，需要相當大的耐心和努力才能達到可用狀態。 在我們的大多數基準測試中，AMD PyTorch 的公共 AMD 穩定版本仍然存在問題，我們需要解決方法。
4 如果沒有多個 AMD 工程師團隊對我們遇到的 AMD 軟體錯誤進行分類和修復的支持，AMD 的結果將遠低於 Nvidia。
5 . 我們與 Sustainable Metal Cloud 合作在 256 H100 上運行非官方 MLPerf Training GPT-3 175B，以測試不同 VBoost 設定的效果
6. 對於 AMD 來說，公開穩定發布的軟體的真實世界性能與其紙面銷售的 TFLOP/s 相差甚遠。 Nvidia 的現實世界表現也低於其行銷 TFLOP/s，但相差不大。
7. 與 H100/H200 相比，MI300X 的總擁有成本 (TCO) 較低，但在 AMD 軟體的公共穩定版本上，MI300X 的每 TCO 訓練效能較差。如果使用 AMD 軟體的客製化開發版本，情況就會改變。
8. 訓練效能較弱，MI300X的矩陣乘法微基準測試表明，AMD公開發布的軟體在單節點訓練吞吐量上仍落後於Nvidia的H100和H200。
9. MI300X 的效能受到 AMD 軟體的阻礙。 BF16開發分支上的AMD MI300X軟體具有更好的效能 ，但尚未合併到AMD內部儲存庫的主要分支中。當它合併到主分支和 PyTorch 穩定版本時，Nvidia Blackwell 將已經可供所有人使用。
10. AMD 的訓練表現也受到阻礙，因為 MI300X 無法提供強大的橫向擴展效能。這是由於與Nvidia 對其Nvidia 集體通訊庫(NCCL)、InfiniBand/Spectrum-X 網路結構和交換器的強大整合相比，其ROCm 計算通訊庫(RCCL) 較弱，且AMD 與網路和交換硬體的垂直集成程度較低。
11. 許多 AMD AI 庫都是 NVIDIA AI 庫的分支，導致結果不佳和相容性問題。
12. AMD 客戶傾向於僅使用手動製作的核心進行推理，這意味著它們在非常狹窄的明確定義的用例之外的效能很差，並且不存在快速轉移工作負載的靈活性。
-----
Sent from JPTT on my Google Pixel 7 Pro.
--
