सार:
उसी दिन जब एंथ्रोपिक ने आधिकारिक तौर पर अपना आईपीओ प्रॉस्पेक्टस जमा किया, ओपनएआई ने एक नया मॉडल जीपीटी-6.1 टेरा जारी किया। यह तीन महीने से अधिक समय में टेरा श्रृंखला का पहला अपडेट है, और 29 सितंबर को GPT-6.1 Sol के रिलीज़ होने के बाद से 27 दिन बीत चुके हैं। OpenAI अपने आधिकारिक प्रचार में जोर देता है: "कम कीमत पर तेज़ और शक्तिशाली कंप्यूटर संचालन क्षमता प्रदान करना।"
लेकिन नेटिज़न्स इसे खरीदते नहीं दिख रहे हैं।
"यार, हमें ओपस 5.5 से बेहतर मॉडल की ज़रूरत है। किसी को परवाह नहीं है कि यह तेज़ या सस्ता है।"
इस नेटिज़न ने बिना औपचारिकता के कहा कि वह अब कोडेक्स सदस्यता सेवा का लगभग उपयोग नहीं करता है क्योंकि यह वास्तव में किसी काम की नहीं है।
पिछले समय में, एंथ्रोपिक ने क्लाउड ओपस 5.5 के साथ प्रोग्रामिंग और अन्य क्षेत्रों में बहुत अधिक ध्यान आकर्षित किया है। कई उपयोगकर्ता उम्मीद कर रहे थे कि ओपनएआई एक ऐसा मॉडल लेकर आएगा जो आमने-सामने की प्रतिस्पर्धा के लिए काफी शक्तिशाली होगा, लेकिन वे जिस चीज का इंतजार कर रहे थे वह एक मध्य-श्रेणी का मॉडल था जो लागत-प्रभावशीलता पर केंद्रित था।
मैं बस इतना कह सकता हूं कि निराश न होना कठिन है।
"मध्यम"
GPT-6.1 टेरा का एपीआई मूल्य प्रति मिलियन इनपुट टोकन के लिए US$1, कैश्ड इनपुट टोकन के लिए US$0.05 और आउटपुट टोकन के लिए US$5 है, जो पिछली पीढ़ी के इनपुट और आउटपुट कीमतों से क्रमशः 50% और लगभग 58% कम है, और GPT-6.1 Sol का केवल आधा है।
ओपनएआई द्वारा जारी आंकड़ों के अनुसार, टेरा ने प्रोग्रामिंग, विज़ुअल समझ और कंप्यूटर संचालन के मामले में पिछली पीढ़ी की तुलना में काफी सुधार किया है।
टर्मिनल-बेंच 4.0 परीक्षण में, जो एआई प्रोग्रामिंग एजेंटों की क्षमता को मापता है, टेरा की कार्य पूर्णता दर पिछली पीढ़ी के 21.5% से बढ़कर 50.3% हो गई।
एजेंट्स लास्ट एग्जाम टेस्ट में, टेरा ने 60.0% का स्कोर हासिल किया, जो क्लाउड ओपस 5.5 के 63.2% के करीब है।
ओपनएआई ने विशेष रूप से जोर दिया कि इस कंप्यूटर ऑपरेशन परीक्षण के उच्चतम अनुमान स्तर पर, टेरा ओपस 5.5 की कार्य लागत के लगभग नौवें हिस्से पर करीबी परिणाम प्राप्त करने में सक्षम था।
लेकिन तीसरे पक्ष की समीक्षाओं में, 6.1 टेरा का प्रदर्शन उत्कृष्ट नहीं है।
एक स्वतंत्र एआई मूल्यांकन एजेंसी, आर्टिफिशियल एनालिसिस के परीक्षणों के अनुसार, उच्चतम अनुमान गियर पर, टेरा का खुफिया सूचकांक 48 अंक है, जो पिछली पीढ़ी की तुलना में 6 अंक अधिक है, लेकिन फिर भी जीपीटी-6.1 सोल के 52 अंक से कम है, और क्लाउड ओपस 5.5 के 58 अंक जितना अच्छा नहीं है।
अपेक्षाकृत कहें तो, लागत दक्षता में सुधार अधिक स्पष्ट है।
कृत्रिम विश्लेषण में पाया गया कि इसकी व्यापक खुफिया समीक्षा में, टेरा पर एक कार्य को पूरा करने की औसत लागत $1.40 से गिरकर $0.40 हो गई, जो कि 70% से अधिक की गिरावट है।
स्पष्ट रूप से कहें तो, 6.1 टेरा संभवतः एक "हिट या मिस" मॉडल है। कीमत न तो अधिक है और न ही कम है, और क्षमताएं खराब नहीं हैं लेकिन ख़राब भी नहीं हैं। पिछली पीढ़ी की तुलना में यह वास्तव में एक सुधार है। लेकिन यह OpenAI के अपने Sol से भी आगे नहीं निकल पाया, Opus 5.5 से बराबरी करना तो दूर की बात है।
यह उन डेवलपर्स के लिए अच्छी खबर हो सकती है जिन्हें कम लागत वाले कॉलिंग मॉडल की आवश्यकता है।
लेकिन उन उपयोगकर्ताओं के लिए जो अगले सबसे शक्तिशाली मॉडल के साथ OpenAI के आने का इंतजार कर रहे हैं, मुझे डर है कि उन्हें केवल एक ही मूल्यांकन मिल सकता है: बस इतना ही?
वर्तमान में, टेरा एपीआई के माध्यम से खुला है, और प्लस, प्रो, एंटरप्राइज और एडू उपयोगकर्ता इसे चैटजीपीटी वर्क और कोडेक्स में भी उपयोग कर सकते हैं। लेकिन फिलहाल इसे सामान्य चैट वार्तालाप में नहीं बुलाया जा सकता.
रनिंग स्कोर से परे
GPT-6.1 टेरा को OpenAI की 28-दिवसीय निरंतर अद्यतन योजना में भी शामिल किया गया है, जो इस अवधि के दौरान जारी किया गया पहला नया मॉडल बन गया है।
टिबो ने कहा कि यह ओपनएआई का पहला मॉडल है जिसने लेखन, मॉडल व्यक्तित्व और उपयोगकर्ता की जरूरतों की विस्तृत समझ में महत्वपूर्ण प्रगति की है।
उन्होंने इस बात पर भी जोर दिया कि नए मॉडल का सभी पहलुओं, विशेषकर कंप्यूटर संचालन में अच्छा प्रदर्शन है। एपीआई और सदस्यता सेवाओं में, यह GPT-6.1 Sol की तुलना में दोगुना उपयोग प्रदान कर सकता है।
हालाँकि, टिबो के लेखन, व्यक्तित्व और नाजुक समझ पर विशेष जोर देने के लिए वर्तमान में पर्याप्त सार्वजनिक साक्ष्य की कमी है।
ओपनएआई की आधिकारिक विज्ञप्ति में दावा किया गया है कि टेरा स्पष्ट और अधिक प्राकृतिक पाठ उत्पन्न कर सकता है, लेकिन यह उपरोक्त तीन क्षमताओं के लिए एक विशेष तुलनात्मक परीक्षण प्रदान नहीं करता है, न ही यह मूल्यांकन परिणाम दिखाता है जो इसकी महत्वपूर्ण प्रगति को साबित करने के लिए पर्याप्त हैं।
क्या यह वास्तव में लिखने और उपयोगकर्ताओं को बेहतर ढंग से समझने में बेहतर है, मुझे डर है कि हमें वास्तविक उपयोग के बाद प्रतिक्रिया की प्रतीक्षा करनी होगी।
कंप्यूटर संचालन में सुधार अपेक्षाकृत सहज हैं। प्रचार वीडियो में, ओपनएआई ने चित्रों के आधार पर 3डी मॉडल बनाने की टेरा की क्षमता का प्रदर्शन किया।
हालाँकि, एक प्रमोशनल वीडियो आख़िरकार एक प्रमोशनल वीडियो ही होता है।
ओपनएआई ने आधिकारिक विज्ञप्ति में यह भी उल्लेख किया है कि टेरा ने जिन बेंचमार्क परीक्षणों में भाग लिया उनमें वास्तुशिल्प चित्रों के आधार पर 3डी मॉडल बनाना, फ्रेम दर फ्रेम एनिमेशन की जांच करना और समय कोड व्यवस्थित करना जैसे कार्य शामिल थे। आधिकारिक उत्पाद स्थिति के अनुसार, यह दैनिक कार्यों जैसे फॉर्म भरने और कैटलॉग प्रविष्टियों के साथ उत्पाद फ़ोटो का मिलान करने के लिए भी उपयुक्त है।
अल्ट्रामैन ने एक्स पर कहा: "जीपीटी-6.1 टेरा यहाँ है! यह कई चीजों में अच्छा है, लेकिन हम विशेष रूप से कंप्यूटर संचालन के इस नए युग की प्रतीक्षा कर रहे हैं।"
कार्य निष्पादन के अलावा, OpenAI ने मॉडल विश्वसनीयता में सुधार पर भी जोर दिया।
आधिकारिक तौर पर डिज़ाइन किए गए उच्च-कठिनाई तथ्यात्मक परीक्षण में, टेरा की तथ्यात्मक त्रुटि दर निम्न तर्क स्तर पर पिछली पीढ़ी के 53.6% से गिरकर 16.7% हो गई; उच्चतम तर्क स्तर पर, त्रुटि दर और गिरकर 4.3% हो गई।
बेशक, ये संख्याएँ OpenAI के आंतरिक परीक्षण से आती हैं।
नेटिज़न: मैं समझ नहीं पा रहा हूं
OpenAI के आधिकारिक उत्साह की तुलना में, नेटिज़ेंस का रवैया इतना विनम्र नहीं है।
"क्या ओपस 5.5 की जगह इसे चुनने का कोई कारण है?"
कुछ नेटिज़न्स ने सीधे OpenAI पर सवाल उठाया और कहा कि उन्हें वास्तव में एक अत्याधुनिक मॉडल की ज़रूरत है जो GPT-6 एस्ट्रा से अधिक मजबूत हो।
कुछ नेटिज़न्स ने सवाल किया कि अधिकारी ने अधिक बेंचमार्क क्यों नहीं दिए। अतीत में, उन्होंने बस एक टेबल फेंक दी थी।
इसके अलावा, कुछ नेटिज़न्स ने कहा कि उन्होंने नए मॉडल का अनुभव किया है, और कंप्यूटर संचालन क्षमताएं 6.1 सोल जितनी भी अच्छी नहीं हैं, और गति विज्ञापित जितनी तेज़ नहीं है।
"हमें एक बेहतर उत्पाद की ज़रूरत है, इस बेकार चीज़ की नहीं।"
इसी तरह का असंतोष रेडिट समुदाय में भी दिखाई दिया।
आर/कोडेक्स पर, एक नेटिज़न ने सीधे पोस्ट किया, जिसमें रिलीज़ को "लगभग क्लाउड के लिए एक विज्ञापन" बताया गया।
कुछ लोग सोचते हैं कि टेरा की अजीबता उसकी स्थिति में निहित है। एक नेटीजन ने बताया कि टेरा की एपीआई कीमत लूना से 10 गुना अधिक है।
यदि आप न्यूनतम लागत का लक्ष्य रख रहे हैं, तो आप लूना का उपयोग कर सकते हैं; यदि आपको एक मजबूत मॉडल की आवश्यकता है, तो सोल को चुनना अधिक उचित लगता है।
यहां तक कि OpenAI की नामकरण पद्धति की भी आलोचना की गई है। चूँकि प्रत्येक मॉडल का रिलीज़ समय एक समान नहीं है, और कुछ कार्यों पर विभिन्न मॉडलों का प्रदर्शन ओवरलैप होगा, कुछ उपयोगकर्ता टेरा, सोल और एस्ट्रा के बीच चयन करने को लेकर भ्रमित हो गए हैं।
इन संदेहों का सामना करते हुए, OpenAI के शोधकर्ता टेड सैंडर्स ने भी हैकर न्यूज़ पर स्पष्टीकरण दिया। उन्होंने कहा कि टेरा तकनीकी संचार में सोल और एस्ट्रा से बेहतर हो सकता है, दृश्य समझ और कंप्यूटर संचालन में समान, और तेज़, लेकिन अधिकांश अन्य कार्यों में थोड़ा कमतर।
सब्सक्राइबरों के लिए, उन्होंने यह भी स्वीकार किया: "यह कोई बड़ी रिलीज़ नहीं है।"
बेशक, समुदाय में ऐसे उपयोगकर्ता भी हैं जो टेरा की लागत दक्षता की पुष्टि करते हैं और मानते हैं कि बहुत कम लागत पर फ्लैगशिप मॉडल स्तर के करीब कार्यों को पूरा करने में सक्षम होना अपने आप में मूल्यवान है।
यह सिर्फ इतना है कि इस "त्रुटिहीन" टेरा की तुलना में, कई लोग पहले से ही अगले एस्ट्रा... और प्रतिद्वंद्वी फैबल 5.5 की प्रतीक्षा कर रहे हैं।
टिप्पणियाँ