Startup Etched, trụ sở tại San Francisco, tuyên bố mẫu chip AI Sohu có sức mạnh gấp 20 lần so với H100 của Nvidia.
Công bố ngày 26/6, Sohu là một dạng mạch tích hợp dành riêng cho ứng dụng (ASIC). Theo Etched, chip đánh bại GPU H100 của Nvidia về khả năng suy luận trong mô hình ngôn ngữ lớn (LLM). Một hệ thống với 8 chip Sohu có thể đạt hiệu suất tương đương 160 H100.
Etched cho biết các hệ thống tăng tốc AI hiện tại, dù là CPU hay GPU, đều được thiết kế để hoạt động với các kiến trúc AI khác nhau. Chúng hỗ trợ nhiều mô hình khác nhau, như Mạng thần kinh tích chập (Convolution Neural Network), Mạng bộ nhớ ngắn hạn (Short-term Memory Network) hay mô hình không gian trạng thái (State Space Model).
“Bởi các mô hình này được điều chỉnh theo kiến trúc khác nhau, hầu hết chip AI hiện tại đều phân bổ phần lớn sức mạnh tính toán của chúng cho khả năng lập trình”, đại diện Etched giải thích.
Etched ước tính, GPU H100 của Nvidia chỉ sử dụng 3,3% số bóng bán dẫn cho tác vụ chính, còn 96,7% còn lại được sử dụng cho các tác vụ khác. Đây là sự lãng phí lớn, dù vẫn cần thiết trên các chip AI đa năng.
Do đó, công ty khởi nghiệp đưa vào Kiến trúc AI biến áp (kiến trúc Transformer) vào Sohu, cho phép phân bổ nhiều bóng bán dẫn hơn cho tính toán trí tuệ nhân tạo trên chip. Thay vì tạo một chip có thể đáp ứng mọi kiến trúc AI đơn lẻ, họ cố gắng tạo sản phẩm được tối ưu hóa để chạy một dạng mô hình AI cụ thể.
Thực tế, kiến trúc Transformer cũng là nền tảng của GPT (Generative Pre-trained Transformer), tương tự với Sora, Gemini, Stable Diffusion và Dall-E.
“Đây là canh bạc của chúng tôi”, Gavin Uberti của Etched nói với Reuters về việc đặt cược vào kiến trúc Transformer. “Nếu Transformer biến mất, công ty chúng tôi sẽ chết. Nhưng nếu tiếp tục tồn tại, chúng tôi có tiềm năng trở thành một trong những công ty lớn nhất mọi thời”.
Etched chưa công bố giá của Sohu. Trong khi đó, đối thủ Nvidia H100 hiện có giá 40.000 USD.
Tom’s Hardware đánh giá, các trung tâm xử lý dữ liệu có thể tiết kiệm hàng tỷ USD chi phí ban đầu và chi phí vận hành nếu Sohu đáp ứng được kỳ vọng. Sản phẩm này thậm chí đe dọa vị thế dẫn đầu của Nvidia. Tuy vậy, mọi thứ sẽ chỉ được chứng minh khi chip của Etched đi vào vận hành.
