डीपसीक का नया संस्करण शीर्ष एआई से कितनी दूर है?

सार:

इसी तरह, सभी 10 प्रोग्रामिंग कार्यों को सही ढंग से करने के लिए, डीपसीक के नए संस्करण की लागत क्लाउड ओपस 5.5 की 40% से कम थी, और प्रत्येक कार्य के लिए औसत प्रतीक्षा दो मिनट अधिक थी।

17 अक्टूबर को, डीपसीक ने V4.1-फ्लैश-1017 जारी किया, और कीमत अपरिवर्तित रही। इसके जारी होने के बाद, डेवलपर्स ने पहले ही इसका उपयोग गेम बनाने, वेब पेज बनाने और कोड को संशोधित करने के लिए किया है।

इसके वास्तविक स्तर का परीक्षण करने के लिए, डेवलपर इब्रागिम बदेर्टदीनोव ने अपने दैनिक कार्य से 10 कार्यों का चयन किया और डीपसीक वी4.1-फ्लैश-1017 के उच्च अनुमान गियर और ओपस 5.5 और जीपीटी-6 एस्ट्रा के निम्न गियर का उपयोग करके प्रोग्रामिंग टूल के एक ही सेट में तीन बार अलग-अलग मॉडल चलाए।

वास्तविक परीक्षण के बाद, सभी तीन मॉडलों ने परीक्षण पास कर लिया, लेकिन बिलिंग और समय लेने के कारण अंतर बढ़ गया: डीपसीक ने प्रति कार्य केवल औसतन यूएस$0.045 खर्च किया, जो ओपस के यूएस$0.1168 और जीपीटी-6 एस्ट्रा के लगभग यूएस$0.26 से काफी कम था; हालाँकि, ओपस और जीपीटी को पूरा होने में क्रमशः 37 सेकंड और 55 सेकंड लगे, लेकिन डीपसीक को 2 मिनट और 38 सेकंड लगे।

ये 10 कार्य सभी छोटे पैमाने के हैं। एक पूर्ण परियोजना के रूप में, क्या डीपसीक, जीपीटी और क्लाउड के बीच का अंतर केवल थोड़ी देर प्रतीक्षा करने का मामला है?

01 में सभी दस प्रश्न पास कर लिए, डीपसीक ने पैसे बचाए, ओपस ने समय बचाया

इब्रागिम ने जिन विषयों को चुना, वे एजेंटों के उपयोग के अपने स्वयं के तीन महीने के रिकॉर्ड से आए थे, जिसमें डेटा प्रोसेसिंग, बैक-एंड, फ्रंट-एंड और तैनाती, पायथन और टाइपस्क्रिप्ट का उपयोग करना शामिल था। उन्होंने उन कार्यों को चुना जिन्हें वह आमतौर पर एक घंटे से भी कम समय में पूरा कर सकते थे, और फिर उनमें स्वचालित जाँच कार्यक्रम जोड़े।

उन्होंने बताया कि एक सरलीकृत उदाहरण डेटा के एक बैच को स्थानीय डेटा तालिका में आयात करना है। सफलतापूर्वक आयात करने के अलावा, प्रोग्राम को डुप्लिकेट रिकॉर्ड को छोड़ना, परस्पर विरोधी संख्याओं को अस्वीकार करना और असंतोषजनक डेटा की रिपोर्ट करना भी होगा; पुराने डेटा को प्रतिस्थापित करते समय, यह लेखन के बीच में मूल सामग्री को नष्ट नहीं कर सकता है। परीक्षण खाली इनपुट, डेटा विरोध, मूल फ़ाइल भ्रष्टाचार आदि की जाँच करेगा।

सभी तीन मॉडल इन जांचों में सफल रहे, लेकिन डीपसीक ने और कदम उठाए।

पाई प्रोग्रामिंग टूल पर चलने पर, डीपसीक प्रति कार्य औसतन 15.3 कदम उठाता है, ओपस 3.7 कदम उठाता है, और जीपीटी-6 एस्ट्रा 6.5 कदम उठाता है। डीपसीक का कुल टोकन उपयोग लगभग 547,000 है, और ओपस का लगभग 31,000 है।

मैं बहुत उपयोग करता हूं, लेकिन बिल नहीं बढ़ता। इब्रागिम ने बताया कि लगभग सभी डीपसीक इनपुट कैश को हिट करते हैं, और रिकॉर्ड की गई कैश हिट दर 97.9% तक पहुंच गई। 547,000 टोकन मॉडल द्वारा नए नहीं लिखे गए थे। इतने लंबे उत्तर में वह सामग्री शामिल थी जो कई दौर की कॉलों में बार-बार भेजी गई थी। सस्ते कैश्ड इनपुट ने इस परीक्षण की लागत को प्रति परीक्षण 5 सेंट से कम रखा।

उपयोगकर्ताओं के लिए, इन दो मिनटों का कोई प्रभाव पड़ेगा या नहीं यह इस बात पर निर्भर करता है कि वे स्क्रीन के सामने इंतजार कर रहे हैं या नहीं। कार्य सौंपने और फिर अन्य कार्य करने के बाद, प्रतीक्षा करना कोई बाधा नहीं हो सकता है; यदि आप परिणाम देखने के तुरंत बाद अगले दौर का संशोधन करना चाहते हैं, तो परीक्षणों के इस सेट में ओपस और जीपीटी की गति अधिक उपयोगी है। यहां जो तुलना की गई है वह एपीआई के माध्यम से कार्यों को पूरा करने की लागत है, न कि चैटजीपीटी या क्लाउड सदस्यता पैकेज के लिए मासिक शुल्क।

नए संस्करण में भी पिछले संस्करण की तुलना में सुधार किया गया है। इब्रागिम ने पहले परीक्षण के लिए फ्लैश के सितंबर संस्करण की उच्चतम अनुमान सेटिंग का उपयोग किया था, और प्रत्येक परीक्षण के लिए 4 मिनट और 30 सेकंड के औसत समय के साथ 30 रन में से 28 बार पास किया था। इस बार, हाई-एंड सेटिंग के नए संस्करण का उपयोग करते हुए, यह सभी 30 बार पास हुआ, और समय घटकर 2 मिनट और 38 सेकंड हो गया।

02 मैंने $0.38 में बीएमडब्ल्यू बनाई, लेकिन एक सामान्य वेब पेज चलाने में 40 मिनट लगे

डीपसीक इस बार जो दिखाना चाहता है वह सिर्फ एक फ़ंक्शन भरना नहीं है। आधिकारिक तौर पर जारी किए गए मामलों में फॉरबिडन सिटी 3डी दृश्य, एक वेब रेसिंग गेम और गोडोट के साथ निर्मित "पोर्टल 2" पुनरुत्पादन प्रदर्शन शामिल हैं। कंपनी का कहना है कि नया संस्करण स्व-प्रतिक्रिया के साथ सुदृढीकरण सीखने के माध्यम से परियोजनाओं को शुरू से पूरा करने की क्षमता में सुधार करता है।

डेवलपर फैबियानो फ़िरमो ने उनसे बीएमडब्ल्यू एम5 का 3डी मॉडल बनाने के लिए थ्री.जेएस का उपयोग करने के लिए कहा। उन्होंने जो तस्वीर पोस्ट की, उसमें डिस्प्ले पेज पर एक लाल कार दिखाई देती है, जिसके आगे रंग विकल्प हैं।

उनके मुताबिक, इस बार उन्होंने केवल एक रिमाइंडर दिया, जिसकी कीमत $0.38 थी और इसमें 1 घंटा 10 मिनट का समय लगा।

कुछ उपयोगकर्ताओं ने "रॉकेट लीग" जैसा एक गेम भी प्रदर्शित किया, जहां कारें मैदान पर फुटबॉल खेलती हैं। एक्स यूजर मार्केट्स एंड मेहेम ने टिप्पणी की कि भौतिकी प्रभाव सामान्य रूप से काम करते हैं और यह खेलने योग्य है, लेकिन इसे अभी भी चमकाने की जरूरत है। जो कोई पहले किसी वेब पेज या गेम का प्रोटोटाइप बनाना चाहता है, उसके लिए मॉडल परीक्षा स्कोर की तुलना में इन डेमो का उपयोग देखना आसान है।

हालाँकि, एक 3डी कार देखने के लिए एक घंटे से अधिक इंतजार करने को तैयार होने का मतलब यह नहीं है कि आप एक सामान्य वेब पेज बनाने के लिए इतना लंबा इंतजार करने को तैयार हैं।

डेवलपर एलेक्स कार्टर ने कहा कि उन्होंने डीपसीक हार्नेस को एक साधारण लैंडिंग पेज बनाने के लिए कहा, जिसे चलाने में 41 मिनट लगे; अगले दो वेब पेज कार्यों में क्रमशः 43 मिनट और 40 मिनट लगे। उन्होंने सोचा कि मॉडल स्मार्ट, सस्ता और अच्छी तरह से प्रस्तुत किया गया था, लेकिन पेजों पर वर्षों का काम था और आमतौर पर इसे दस मिनट में पूरा किया जा सकता था।

डेवलपर अनबग में भी ऐसी ही भावना है: मॉडल अधिक स्मार्ट हो गया है, लेकिन बहुत लंबे समय तक सोचना और कार्रवाई करने में देरी करना आसान है। एक अन्य उपयोगकर्ता एलशायब ने इस बात पर जोर दिया कि उनकी शिकायत प्रति सेकंड आउटपुट शब्दों की संख्या के बारे में नहीं थी, बल्कि यह थी कि मॉडल ने कार्य करने से पहले सोचने में बहुत समय लिया।

एपीआई प्लेटफ़ॉर्म ओमनियाकी के एक परीक्षण ने इस लंबे तर्कपूर्ण आउटपुट को रिकॉर्ड किया। प्रोग्राम लिखने के लिए फ़्लैश के नए संस्करण की आवश्यकता होती है जो पायथन ऑपरेशन नियमों के अनुसार अभिव्यक्तियों की गणना करता है, और तैयार पार्सिंग टूल को कॉल नहीं कर सकता है। मॉडल को सभी 30 निरीक्षण उपयोग मामलों को पारित करने में लगभग 88 सेकंड का समय लगा; लगभग 20,700 टोकन आउटपुट में से, लगभग 19,700 को सामग्री माना गया।

लेकिन फ़्लैश सभी कार्यों के लिए धीमा नहीं है। ओम्नियाकी के एक अन्य परीक्षण में, इसने एक इनवॉइस ईमेल से 10 फ़ील्ड निकाले जो जर्मन और अंग्रेजी में मिश्रित थे, और 5.2 सेकंड में उन सभी का सही उत्तर दिया; दो शहरों में मौसम और समय के बारे में पूछने के लिए टूल कॉल 2.6 सेकंड में पूरी हो गई। ओम्नियाकी स्वयं मॉडल एपीआई बेचता है, और परीक्षणों का प्रत्येक सेट केवल एक बार चलाया जाएगा।

बीएमडब्ल्यू मॉडलिंग और लैंडिंग पेज के ये उदाहरण एक ही विषय पर तीन मॉडलों की तुलना नहीं हैं। डीपसीक का तैयार उत्पाद कितना है और इसे बाद में कितनी बार संशोधित किया जाएगा, अभी भी समान आवश्यकताओं के तहत जीपीटी और क्लाउड के साथ तुलना करने की आवश्यकता है।

03 गियर कम करने के बाद, यह एक मिनट तेज हो गया और तीन और विफलताएँ हुईं

चूंकि उच्च अनुमान सेटिंग में लंबा समय लगता है, अगर इसे कम किया जाए तो क्या होगा? इब्रागिम ने इसका परीक्षण भी किया.

पीआई में, डीपसीक के नए संस्करण को कम सेटिंग में समायोजित करने के बाद, प्रति आइटम औसत समय 2 मिनट और 38 सेकंड से घटाकर 1 मिनट और 31 सेकंड कर दिया जाता है, और लागत यूएस$0.045 से घटाकर यूएस$0.0257 कर दी जाती है। हालाँकि, 30 में से 3 रन असफल रहे।

उच्च स्तर पर प्राप्त सभी पासों को बरकरार नहीं रखा जा सकता।

इस निम्न स्तर पर, मैंने डीपसीक के अपने हार्नेस पर स्विच किया, और परिणाम फिर से बदल गए: यह 30 रनों में 29 बार पास हुआ, पाई से दो अधिक। इब्रागिम के रिकॉर्ड के अनुसार, आधिकारिक उपकरण वातावरण ने मॉडल को एक सीमा स्थिति को संभालने में मदद की जो पीआई में छूट गई थी।

टूल्स के दो सेट मॉडल के साथ अलग-अलग तरह से काम करते हैं। डीपसीक हार्नेस सीधे फाइलों को पढ़ने और संपादित करने के लिए उपकरण प्रदान करता है, जबकि पाई मुख्य रूप से मॉडल को कमांड लाइन के माध्यम से संचालित करने की अनुमति देता है; पूर्व के सिस्टम प्रॉम्प्ट शब्द भी लंबे हैं। इस बार उपकरण बदलने के बाद, टोकन का उपयोग लगभग 75% बढ़ गया, और खर्च किया गया औसत समय 1 मिनट और 31 सेकंड से बढ़कर 1 मिनट और 53 सेकंड हो गया। टूल के दोनों सेटों में, केवल 9 कार्यों को लगातार तीन बार पूरा किया जा सकता है।

एक ही मॉडल के लिए, यदि आप अनुमान गियर और उपकरणों के सेट को बदलते हैं, तो गति, लागत और सफलता बदल जाएगी।

आप केवल दूसरों द्वारा पोस्ट किए गए परिणाम देखते हैं, लेकिन आपको यह भी जानना होगा कि उन्होंने किन सेटिंग्स का उपयोग किया है।

डीपसीक ने जारी होने पर यह भी स्पष्ट रूप से उल्लेख किया था कि इसमें डीपसीक हार्नेस, टेनसेंट कोडबडी और वर्कबडी जैसे अनुकूलित टूल थे, और हार्नेस उपयोगकर्ताओं को v0.2.1-rc.1 या उच्चतर में अपग्रेड करने की सिफारिश की थी।

यह अपडेट वेब पेजों, ऐप्स और एपीआई पर लॉन्च किया गया है। एपीआई कॉल अभी भी डीपसीक-फ्लैश का उपयोग करते हैं, और कीमत अपरिवर्तित रहती है; नए मॉडल वज़न को एमआईटी प्रोटोकॉल के तहत भी सार्वजनिक किया गया है।

हालाँकि, पिछला प्रोग्रामिंग परीक्षण मॉडल को एक टूल से जोड़कर पूरा किया गया था जो फ़ाइलों को पढ़ सकता है, कोड को संशोधित कर सकता है और चेक चला सकता है। इसे चैट विंडो में कोड का एक टुकड़ा लिखने के लिए कहना किसी प्रोजेक्ट को अपने हाथ में लेने के लिए कहने से अलग है। उपयोग का माहौल अलग है.

04समान प्रश्नों के सेट के लिए, GPT और क्लाउड सस्ते हो सकते हैं

ओपस और एस्ट्रा दो कंपनियों के प्रमुख हैं, और ओपनएआई और एंथ्रोपिक के भी सस्ते मॉडल हैं।

इब्रागिम परीक्षणों के एक ही सेट में, GPT-6 लूना का xhigh गियर और Haiku 5.5 का उच्च गियर सभी 30 बार पास हुए। प्रत्येक आइटम की औसत लागत क्रमशः केवल US$0.0145 और US$0.0208 थी, जो डीपसीक से कम है।

दोनों की औसत समय खपत क्रमशः 2 मिनट और 46 सेकंड और 2 मिनट और 08 सेकंड है।

इससे विकल्प अब केवल "महंगा GPT, क्लाउड" या "सस्ता डीपसीक" नहीं रह गया है। जो लोग पहले से ही छोटे कार्यों को निपटाने के लिए लूना या हाइकू का उपयोग करते हैं, वे फ्लैश पर स्विच करके और पैसे नहीं बचा पाएंगे।

कठिन कार्य इस सवाल को बदल देते हैं कि कितनी देर तक इंतजार करना चाहिए या नहीं कि आप परिणामों पर भरोसा कर सकते हैं या नहीं। एक्स उपयोगकर्ता यम ने कहा कि नए संस्करण को आज़माने के बाद, वह अभी भी मतिभ्रम के बारे में सबसे अधिक चिंतित हैं, विशेष रूप से कई फ़ाइलों में पुनर्निर्माण और वास्तुकला संशोधन के बारे में। वह डीपसीक को अपने स्वयं के समाधान को मंजूरी देने के बजाय परिवर्तनों की जांच करने के लिए एक और मॉडल का उपयोग करेगा। यह उसकी पसंद का उपयोग है, यह साबित करने के लिए उसी प्रश्न पर कोई परीक्षण नहीं है कि जीपीटी या क्लाउड अधिक विश्वसनीय है।

इसलिए, वर्तमान में सबसे ठोस प्रगति यह है कि डीपसीक के नए संस्करण ने वास्तविक छोटे प्रोग्रामिंग कार्यों के एक बैच में फ्लैगशिप मॉडल के समान निरीक्षण परिणाम दिए हैं।

बड़ी परियोजनाओं में कितने मैन्युअल सुधार की आवश्यकता है और क्या समस्याओं की मरम्मत की जा सकती है, यह निर्धारित करेगा कि यह प्रतिस्थापन कितनी दूर तक जा सकता है।

3डी कार बनाने और किसी प्रोजेक्ट को लंबे समय तक बनाए रखने के बीच अभी भी बहुत काम करना बाकी है।

इब्रागिम इस परीक्षा को और कठिन बनाने की भी तैयारी कर रहा है. उन्होंने पोस्ट के अंत में कहा कि अगला कदम अधिक कठिन कार्यों के एक समूह का चयन करना और विभिन्न उपकरणों और मॉडलों की तुलना करना होगा।