एआई बड़े मॉडल प्रशिक्षण/अनुमान के संदर्भ में, एनवीआईडीआईए के ग्राफिक्स कार्ड निस्संदेह वर्तमान में सबसे अधिक उपयोग किए जाते हैं। एएमडी, इंटेल और गूगल जैसी कंपनियों के शेयर अतुलनीय हैं। सवाल यह है कि NVIDIA कहां अधिक मजबूत है? CUDA के पारिस्थितिक लाभों या AI ऑपरेटरों जैसे मापदंडों का उल्लेख करने की कोई आवश्यकता नहीं है। कृत्रिम विश्लेषण क्रमशः Google TPU v6e, AMD MI300X और NVIDIA H100/B200 का उपयोग करके तीन मौजूदा अनुमान समाधानों के वास्तविक प्रदर्शन की सीधे तुलना करता है।
कई परीक्षण हैं, लेकिन हमारे लिए व्यापक परीक्षण करना ही पर्याप्त है। 30Token/s की गति से प्रति मिलियन इनपुट और आउटपुट लागत। चालू मॉडल लामा 3.3 70बी है।
इस संबंध में,H100 की कीमत $1.06 है,H200 केवल $1.17 है, B200 TensorRT $1.23 है, B200 $1.45 है, AMD का MI300X $2.24 है, और Google का TPU v6e $5.13 है।
इसकी तुलना में, एएमडी की तुलना में एन-कार्ड का मूल्य/प्रदर्शन लाभ कम से कम 2 गुना है।Google की तुलना में, इसका लाभ लगभग 5 गुना है, और अंतर बहुत स्पष्ट है।
भले ही आप NVIDIA के नवीनतम और सबसे महंगे B200 ग्राफिक्स कार्ड का उपयोग करते हैं, लागत में वृद्धि बहुत स्पष्ट नहीं है। आख़िरकार, प्रदर्शन में काफी वृद्धि हुई है, और यह अभी भी AMD और Google पर एक बड़ा लाभ है।
अब यह कहा जा सकता है कि AMD और Google के मौजूदा AI कार्ड अभी भी काफी अलग हैं, लेकिन अगली पीढ़ी के दो उत्पादों में काफी सुधार हुआ है। AMD की MI400X श्रृंखला में अधिकतम 432GB HBM4 वीडियो मेमोरी है, और Google के TPU v7 का प्रदर्शन कई गुना बेहतर बताया गया है। यह मूल्यांकन परिणाम तब तक फिर से लिखा जा सकता है।
बेशक, NVIDIA शांत नहीं बैठेगा। रुबिन ग्राफिक्स कार्ड की अगली पीढ़ी भी जारी की गई है और अगले साल लॉन्च की जाएगी, जिससे अंतर और बढ़ने की उम्मीद है।