Intel khoe benchmark chip AI Gaudi2: Mạnh hơn Nvidia A100 khi nghiên cứu mô hình ngôn ngữ

Intel và startup nghiên cứu chip Habana Labs của họ vừa công bố kết quả benchmark MLPerf của con chip nghiên cứu machine learning Gaudi2. Với những con số được công bố, và khi Instinct MI300X của AMD chưa chính thức ra mắt, hiện giờ Nvidia (A100 và H100) chỉ có một đối thủ duy nhất cạnh tranh trên thị trường chip nghiên cứu AI, đấy chính là Intel, hay đúng hơn là Habana Labs Gaudi2.

Sử dụng giải pháp benchmark của họ, Intel cho rằng Gaudi2 có tỷ lệ hiệu năng/giá thành ngon hơn chip A100 thế hệ cũ của Nvidia, xét đến tác vụ tính toán FP16. Đến tháng 9, Habana Labs muốn hiệu năng FP8 của Gaudi2 phải vượt qua H100 mới nhất. Để dễ so sánh thì A100 giờ có giá bán khoảng 10 nghìn USD mỗi chip, và một chip H100 có giá tận… 40 nghìn USD.





Kết quả benchmark Gaudi2 được Intel chia sẻ cụ thể như thế này:

• Sử dụng 384 chip tăng tốc xử lý, thời gian huấn luyện GPT-31 là 311 phút.
• Khả năng scale quy mô hệ thống: Train mô hình GPT-3, hiệu năng khi dùng 384 chip tăng tới 95% so với khi dùng 256 chip xử lý cùng lúc.
• Phần mềm đã hoàn thiện hơn, sử dụng chip Gaudi2 xử lý mô hình BERT và ResNet, hiệu năng tăng lần lượt 10 và 4% so với số liệu benchmark tháng 11/2022.
• Những số liệu kể trên thu được mà không cần ép xung hay tùy chỉnh custom cho chip Gaudi2, tức là khách hàng doanh nghiệp và tổ chức nghiên cứu sẽ có được sức mạnh tương tự những gì Intel và Habana Labs đã làm được ngay sau khi mua chip về trang bị cho hệ thống train AI.

Không có phép so sánh cụ thể và chính xác, vì Nvidia quảng cáo A100 có thể train mô hình GPT-31 trong vòng 45 phút, nhưng cần số lượng GPU nhiều gấp mấy lần, tương ứng là chi phí để đầu tư phần cứng vận hành. Cách duy nhất để so sánh Gaudi2 và A100 không chỉ đơn giản là so benchmark một chip đơn lẻ như các sản phẩm tiêu dùng, mà phải so tổng chi phí vận hành, bao gồm cả tiền mua chip, tiền xây dựng hệ thống, chi phí vận hành hệ thống, điện năng tiêu thụ cho cả chip lẫn hệ thống làm mát…

Vấn đề lại nằm ở chỗ, bây giờ mọi phép so sánh đều không có mấy giá trị vì Nvidia làm chip không đủ bán, còn nhu cầu nghiên cứu AI nhờ cơn sốt ChatGPT thì vẫn đang phát triển rất mạnh. Dám chắc là sẽ có những đơn vị sẵn sàng chọn AMD Instinct MI300X hay Intel Gaudi2, vì không mua được Nvidia A100 hay H100.

Theo WCCFTech