NVIDIA ने घोषणा की कि TensorRT AI अनुमान त्वरण ढांचा अब GeForce RTX ग्राफिक्स कार्ड पर उपलब्ध है, जिसका प्रदर्शन सीधे DirectML से दोगुना है।TensorRT NVIDIA द्वारा लॉन्च किया गया एक अनुमान अनुकूलक है, जो AI मॉडल की परिचालन दक्षता में काफी सुधार कर सकता है। इस बार, NVIDIA ने TensorRT को RTX प्लेटफ़ॉर्म पर पेश किया है, ताकि सभी RTX ग्राफ़िक्स कार्ड उपयोगकर्ता तेज़ AI प्रदर्शन का आनंद ले सकें।
NVIDIA के अनुसार, TensorRT न केवल देशी विंडोज एमएल का समर्थन करता है, बल्कि प्रत्येक एआई फ़ंक्शन को चलाने और संबंधित निष्पादन प्रदाता को डाउनलोड करने के लिए स्वचालित रूप से उपयुक्त हार्डवेयर का चयन भी कर सकता है, जिससे विकास प्रक्रिया बहुत सरल हो जाती है।
प्रदर्शन के मामले में,NVIDIA ने TensorRT और DirectML के बीच तुलनात्मक डेटा दिखाया: ComfyUI में, TensorRT का उपयोग करने वाले उपयोगकर्ता 2 गुना तक प्रदर्शन सुधार प्राप्त कर सकते हैं; DaVinci Resolve और Vegas Pro में, प्रदर्शन सुधार 60% तक पहुँच जाता है।
इसके अलावा, RTX के लिए TensorRT अन्य लाभ लाता है, जैसे 8x छोटी लाइब्रेरी फ़ाइल आकार और प्रत्येक GPU के लिए ऑन-द-फ़्लाई अनुकूलन। ये सुधार न केवल प्रदर्शन में सुधार करते हैं, बल्कि सॉफ़्टवेयर के भंडारण और प्रबंधन को भी अनुकूलित करते हैं।
RTX के लिए TensorRT को आधिकारिक तौर पर जून में लॉन्च किया जाएगा। NVIDIA भी अपने AI SDK का विस्तार जारी रख रहा है और वर्तमान में 150 से अधिक AI SDK के लिए समर्थन प्रदान कर रहा है। इस महीने पांच नए आईएसवी एकीकरण लॉन्च किए जाएंगे, जिनमें एलएम स्टूडियो, पुखराज वीडियो एआई, बिलिबिली, ऑटोडेस्क वीआरईडी और कैओस एनस्केप शामिल हैं।
