Giá thuê GPU H100 giảm 70% do các mô hình mã nguồn mở và thị trường dư thừa

Giá thuê GPU H100 của Nvidia đã giảm mạnh khoảng 70%, từ 8-16 đô la mỗi giờ xuống còn 1-2 đô la mỗi giờ. Sự suy giảm này chủ yếu do sự gia tăng đáng kể về nguồn cung và sự phổ biến ngày càng tăng của các mô hình AI mã nguồn mở, điều này làm giảm nhu cầu phát triển các mô hình AI mới. Ban đầu, hiệu suất cao của H100 đã gây ra sự gia tăng nhu cầu và giá thuê, khi các công ty vội vàng huấn luyện các mô hình AI để thu hút nhà đầu tư. Tuy nhiên, khi nhiều đối thủ gia nhập thị trường, việc cung vượt cầu đã dẫn đến giảm giá. Các công ty đã đặt trước tài nguyên tính toán hiện đang xả bớt công suất thừa, góp phần vào tình trạng dư thừa. Các nhà phát triển AI lớn đã chuyển từ các nền tảng đám mây công cộng sang các trung tâm dữ liệu riêng, và việc giới thiệu các GPU thay thế giá rẻ từ các nhà cung cấp khác như AMD và Intel đã khiến giá giảm hơn nữa. Động lực thị trường hiện nay ủng hộ việc tinh chỉnh các mô hình hiện có hơn là phát triển các mô hình mới, góp phần làm giảm nhu cầu đối với các GPU hiệu suất cao như H100.