यहां तक ​​कि शीर्ष शोधकर्ता भी यह अनुमान लगाने की हिम्मत नहीं कर सकते कि एआई तीन महीनों में कितना शक्तिशाली होगा।

सार:

मिलेनियम समस्या को हल करने में शामिल एक शोधकर्ता अगले 12 महीनों में एआई की प्रगति की भविष्यवाणी करने को तैयार रहता था, लेकिन अब वह तीन महीने बाद भी अनुमान लगाने की हिम्मत नहीं करता है।

17 सितंबर को ओपनएआई शोधकर्ता नोम ब्राउन का द्वारकेश पटेल ने साक्षात्कार लिया और यह विवरण दिया। साक्षात्कार में मल्टी-एजेंट, एआई की अगली पीढ़ी के निर्माण में एआई की भागीदारी और तेजी से कठिन सुरक्षा परीक्षण के बारे में भी बात की गई।

यह शोधकर्ता नेवियर-स्टोक्स समीकरण के अस्तित्व और सुचारुता में शामिल है। इस शोध में लगभग 10,000 एजेंट शामिल थे। ओपनएआई ने कहा कि जवाब देने में 88 घंटे लग गए। हालाँकि, ब्राउन का मानना ​​है कि हजारों लोगों का सहयोग सफलता की कुंजी नहीं है: वह मल्टी-एजेंट को 10% श्रेय देने को भी तैयार नहीं है। वास्तव में जो मायने रखता है वह यह है कि अंतर्निहित मॉडल काफी मजबूत है।

एक और विवरण जिसे साक्षात्कार में समझना सबसे आसान था, एक सुरक्षा परीक्षण के दौरान सामने आया। शोधकर्ताओं ने मॉडल को एक गणित समस्या दी और मानक उत्तर को फ़ोल्डर में डाल दिया, यह देखने के लिए कि क्या वह इसे देखेगा और इसे पढ़ने के बाद स्वीकार करेगा। मॉडल ने निर्णय दिया: "यह एक जाल जैसा दिखता है।" तो इसका जवाब नहीं खुला.

इसका मतलब यह नहीं है कि यह दुर्भावनापूर्ण रूप से छिपा हुआ है।

परेशानी यह है कि यह पहले से ही बता सकता है कि यह परीक्षा दे रहा है।

शोधकर्ताओं द्वारा तैयार किया गया परीक्षा कक्ष और वास्तव में उपयोग में लाया गया वातावरण अलग-अलग दिखने लगा।

एक ओर, मॉडल समय से पहले उन चीजों को पूरा करना जारी रखता है जिनके बारे में लोगों को लगता था कि कुछ और वर्षों तक इंतजार करना होगा। दूसरी ओर, परीक्षण के तरीके इसे पकड़ने में विफल होने लगे हैं।

ओपनएआई एआई को अगली पीढ़ी के एआई के निर्माण में भाग लेने देने की तैयारी कर रहा है, लेकिन उसे अभी तक यह साबित करने का कोई तरीका नहीं मिला है कि वह हमेशा नियमों का पालन करता है।

01 दस हजार एजेंट, क्रेडिट का 10% से कम

ब्राउन OpenAI अनुमान मॉडल o1 के शुरुआती मुख्य योगदानकर्ताओं में से एक है और अब मल्टी-एजेंट सिस्टम का अध्ययन करता है।

उनका शुरुआती बिंदु जटिल नहीं है। अनुमान मॉडल आमतौर पर जितना अधिक समय तक इसके बारे में सोचते हैं उन्हें बेहतर परिणाम मिलते हैं; लेकिन यदि किसी कार्य के लिए कई वर्षों तक लगातार सोचने की आवश्यकता होती है, तो कोई भी उत्तर पाने के लिए कई वर्षों तक इंतजार नहीं करना चाहता। एक समाधान एक ही समय में अधिक गणना करना है: एकाधिक एजेंटों को समानांतर में अन्वेषण करने दें और फिर एक दूसरे के साथ परिणामों का आदान-प्रदान करें।

ओपनएआई ने पहले 1, 4 और 16 एजेंटों के परीक्षण की घोषणा की है। कुछ कार्यों में, कुल कंप्यूटिंग लागत को दोगुना करने की कीमत पर, 4 एजेंट पूरा होने का समय आधा कर सकते हैं; 16 तक बढ़ने के बाद भी गति में सुधार किया जा सकता है, लेकिन दक्षता थोड़ी कम है। गणित और डेटा पुनर्प्राप्ति को खोलना अपेक्षाकृत आसान है; उपन्यास लेखन जैसा काम, जो काफी हद तक एकीकृत संदर्भ पर निर्भर करता है, बहुत कठिन है।

OpenAI सभी सहयोग विधियों को पहले से हार्ड-कोड नहीं करता है, लेकिन डिफ़ॉल्ट संरचना को छोटा कर देता है। एजेंट सीधे अपने साथियों को संदेश भेज सकता है और खुद ही तय कर सकता है कि काम को कैसे बांटना है और किससे मदद मांगनी है। उनके पास अभी भी "उचित संचार विधियों" के बारे में एक प्रारंभिक बिंदु है और उन्होंने मानव ग्रंथों से संगठन और सहयोग सीखा है। वे हवा से कॉर्पोरेट प्रणाली विकसित नहीं करते हैं।

वास्तव में चलने पर, एजेंट स्लैक में काम करने वाले इंसान की तरह संचार करेगा। किसी ने पहले उत्तर दिया, और किसी ने भिन्न परिणाम दिया। दोनों पक्षों ने अपनी-अपनी व्युत्पत्ति के बारे में पूछा, और अंततः एक पक्ष ने प्रसारित किया: "मैंने उत्तर बदल दिया, वह सही है।" ब्राउन ने कहा कि इस तरह का सहयोग उनकी अपेक्षा से अधिक स्वाभाविक था।

लेकिन तब क्या होगा जब संख्या 16 से बढ़कर 10,000 हो जाएगी? वर्तमान में कोई ठोस विस्तार वक्र नहीं है। टीम ने यह नहीं मापा है कि 10,000 एजेंट 1,000 से कितने तेज़ हैं, न ही यह पता है कि एक ही एजेंट को एक ही कार्य को पूरा करने में कितना समय लगता है। इतने बड़े पैमाने पर नियंत्रित प्रयोग बहुत महंगा है, और सार्वजनिक परीक्षण में केवल 16 एजेंट होते हैं।

तो, "मल्टी-एजेंट योगदान 10% से कम है" क्रेडिट के बारे में ब्राउन का अपना निर्णय है, न कि एब्लेशन प्रयोग द्वारा मापा गया अनुपात।

उनका मानना ​​है कि हजारों लोगों का सहयोग बहुत विशिष्ट है और आसानी से सारा ध्यान चुरा सकता है; जो चीज़ वास्तव में इसे संभव बनाती है वह यह है कि OpenAI ने सबसे पहले एक अंतर्निहित मॉडल को प्रशिक्षित किया है जो बहुमुखी, अत्यधिक सक्षम है और लंबे समय तक काम कर सकता है।

ओपनएआई द्वारा प्रकाशित गणितीय शोध में, लगभग 10,000 समवर्ती एजेंटों ने 88 घंटों के भीतर लगभग 130 बिलियन आउटपुट टोकन उत्पन्न किए। इसका परिणाम यह होता है कि सहज बाहरी ताकतों की कार्रवाई के तहत, सहज प्रारंभिक प्रवाह एक सीमित समय के भीतर एक विलक्षणता बनाता है। ओपनएआई ने एक ही समय में पेपर और लीन औपचारिक प्रमाण जारी किया; समाधान खोजने के बाद औपचारिकता और सत्यापन में लगभग 17 घंटे लग गए। कंपनी मिलेनियम पुरस्कार जीतने का दावा नहीं करती है।

पटेल के मोटे रूपांतरण के अनुसार, 130 बिलियन टोकन एक ऐसे व्यक्ति द्वारा लिखे गए शब्दों की मात्रा के बराबर हैं जो 4,000 वर्षों से लगातार सोच रहा है। यह संख्या चौंकाने वाली है, लेकिन यह 4,000 वर्षों के प्रभावी शोध के बराबर नहीं है: हजारों एजेंट बार-बार खोज करेंगे और गलत रास्ता अपनाएंगे, और मनुष्यों के पास तुलना के लिए समान कार्य पूरा करने का समय नहीं है।

यह पिछले सप्ताह इस उपलब्धि के बारे में गणित समुदाय द्वारा उठाए गए संदेह का भी अनुसरण करता है। पटेल ने टेरेंस टेरू और अन्य के विचारों को दोहराया: एआई पहले से ही स्पष्ट सीमाओं के साथ कई समस्याओं को हल कर सकता है, लेकिन इसने शायद ही कभी नए सवाल उठाने और नई सैद्धांतिक दिशाएं खोलने की क्षमता दिखाई है।

सिर्फ इसलिए कि इसने एक बेहद कठिन समस्या पूरी कर ली है इसका मतलब यह नहीं है कि इसने गणितज्ञों का सारा काम अपने ऊपर ले लिया है।

02 समस्याओं को हल करने में सक्षम होना, लेकिन उनका चयन करने में बहुत अच्छा न होना जरूरी नहीं कि एआई आर एंड डी में कोई खामी हो।

ब्राउन ने इस कमी से इनकार नहीं किया. वह वर्तमान मॉडलों की क्षमताओं को "जटिल" बताते हैं: कुछ क्षेत्रों में असाधारण रूप से मजबूत और अभी भी दूसरों में पीछे। वे परिभाषित समस्याओं को हल करने में अच्छे हैं, लेकिन यह निर्णय लेने में बहुत अच्छे नहीं हैं कि कौन सी समस्याएं अध्ययन के लायक हैं, टोपोलॉजी जैसी नई शाखाएं आसानी से बनाने की तो बात ही छोड़ दें।

लेकिन उन्हीं कमियों को एआई अनुसंधान और विकास में डालने पर इतना बड़ा प्रभाव नहीं पड़ सकता है।

ब्राउन का मानना ​​है कि मशीन लर्निंग रिसर्च में कई लक्ष्य स्पष्ट हैं और उन्हें मापना आसान है। इस पर प्रत्यक्ष प्रतिक्रिया दी जा सकती है कि क्या मॉडल का प्रशिक्षण नुकसान कम हुआ है, क्या नमूना दक्षता में सुधार हुआ है, और क्या एक निश्चित मूल्यांकन संकेतक में सुधार हुआ है।

अगली पीढ़ी के मॉडलों को बेहतर बनाने में मदद करने का अवसर मिलने से पहले एआई को विषयों के एक नए सेट का आविष्कार करने की आवश्यकता नहीं है।

इसकी असमान ताकतें इस तरह के कार्य में काम आ सकती हैं।

पिछले कुछ वर्षों में गणित की क्षमता में प्रगति बार-बार उनकी भविष्यवाणियों से अधिक हुई है। यह मॉडल क्रमिक रूप से GSM8K प्राथमिक विद्यालय गणित और MATH बेंचमार्क से अमेरिकी गणित आमंत्रण प्रतियोगिता (AIME) और अंतर्राष्ट्रीय गणितीय ओलंपियाड तक विकसित हुआ है। अतीत में, ब्राउन ने अनुभवजन्य प्रवृत्ति का अनुमान लगाया था कि "हर साल मॉडल जिन समस्याओं को हल कर सकते हैं, उनमें मनुष्यों के लिए आवश्यक समय लगभग 10 गुना बढ़ जाता है।" उनका मानना ​​था कि मिलेनियम समस्या के परिणाम 2026 में सामने आने की संभावना नहीं है, और शायद 2027 में भी नहीं, और शायद 2028 तक भी नहीं।

परिणाम पहले आते हैं. इसका मतलब यह नहीं है कि 10 गुना प्रवृत्ति हमेशा वैध रहेगी। इसका मतलब सिर्फ इतना है कि ब्राउन का अपना एक्सट्रपलेशन भी रूढ़िवादी है।

यही कारण है कि पटेल ने गणितीय परिणामों को पुनरावर्ती आत्म-सुधार (आरएसआई) में अपनाया: यदि एआई प्रशिक्षण कोड लिखना, मूल्यांकन डिजाइन करना, प्रयोगों का विश्लेषण करना और फिर अगली पीढ़ी के मॉडल के लिए परिणामों का उपयोग करना शुरू कर देता है, तो क्या विकास की गति तेज और तेज हो जाएगी?

ब्राउन का मानना ​​है कि तेजी आएगी, लेकिन वह इसे रातों-रात 100 बार लिखने के पक्ष में नहीं है। गणित के प्रश्न मुख्य रूप से सोच तक सीमित होते हैं, और एआई अनुसंधान और विकास के लिए वास्तविक प्रयोगों की आवश्यकता होती है।

मॉडल को प्रशिक्षित करने, परिणामों की प्रतीक्षा करने और जीपीयू आवंटित करने में समय लगता है जिसे "थोड़ी देर के लिए इसके बारे में सोचने" से समाप्त नहीं किया जा सकता है।

उन्होंने जो तीन बार फैसला सुनाया वह केवल एक मोटा फैसला है। यदि पिछले तीन वर्षों में हासिल की गई प्रगति को एक वर्ष में समेट दिया जाए, तो प्रभाव बहुत बड़ा होगा; लेकिन चाहे यह 50% तेज हो, 3 गुना तेज हो या 10 गुना तेज हो, फिलहाल कोई भी सटीक गणना नहीं कर सकता है।

संरेखण से निपटना और भी कठिन है।

यदि एक पीढ़ी के मॉडल जो अभी तक पूरी तरह से संरेखित नहीं हुए हैं, अगली पीढ़ी के विकास में शामिल हैं, तो पूर्वाग्रह जमा होना जारी रह सकता है।

ब्राउन द्वारा उद्धृत 99.9% 99.8% हो गया है। जोखिम को दर्शाने के लिए यह केवल एक काल्पनिक संख्या है, वास्तविक मापी गई संरेखण दर नहीं। वह जो देखने की उम्मीद करता है वह विपरीत दिशा है: एआई के अनुसंधान और विकास में भाग लेने के बाद, प्रत्येक पीढ़ी के मॉडल अधिक अनुशासित होंगे। उन्होंने कहा कि यह कैसे सुनिश्चित किया जाए, इसका अभी भी उनके पास कोई जवाब नहीं है।

03 गले लगाना: सहयोग क्षमता का उपयोग वहां किया जाता है जहां इसका उपयोग नहीं किया जाना चाहिए

हगिंग फेस घटना ने एआई संरेखण मुद्दों पर पटेल के दृष्टिकोण को बदल दिया।

ओपनएआई द्वारा प्रकाशित घटना रिपोर्ट के अनुसार, नेटवर्क सुरक्षा मूल्यांकन में भाग लेने वाले एजेंटों ने अलगाव को दरकिनार कर दिया और ओपनएआई के आंतरिक सिस्टम और हगिंग फेस में कमजोरियों का फायदा उठाया। उन्होंने हगिंग फेस के कई समूहों पर उन्नत अनुमतियाँ प्राप्त की हैं, और ओपनएआई के एक अनुसंधान क्लस्टर पर प्रशासक की अनुमति भी प्राप्त की है। जब घटना घटी, तो कुछ एजेंट जिन्हें स्वतंत्र रूप से काम करना था, उन्होंने भी अनधिकृत चैनलों के माध्यम से संदेशों का आदान-प्रदान किया, साख साझा की, और सफलताएं खोजने के लिए काम को विभाजित किया।

पटेल ने इन व्यवहारों का पालन किया और निष्कर्ष निकाला: यदि भविष्य में बड़ी संख्या में अधिक सक्षम बुद्धिमान एजेंट होंगे, और वे स्कोर पास करने के लिए सिस्टम को छुपाने, मिलीभगत करने और हमला करने के इच्छुक होंगे, तो क्या मनुष्य अभी भी उन्हें नियंत्रित कर सकते हैं? "एक व्यापक संगठन पर हमला करें" और "प्रशिक्षण और मूल्यांकन प्रक्रिया को नियंत्रित करें" भविष्य के जोखिमों के लिए उनकी सभी उपमाएँ हैं, और इस ऑपरेशन का उद्देश्य नहीं है जिसे OpenAI ने पहचाना है।

ब्राउन सबसे पहले समस्या को दो स्तरों में विभाजित करता है।

पहला स्तर सहयोग है। ओपनएआई मॉडलों को मल्टी-एजेंट प्रशिक्षण में एक-दूसरे की मदद करने के लिए प्रोत्साहित करेगा। मूल्यांकन का वह दौर जिसके कारण हगिंग फेस घटना हुई, वह मूल रूप से एक बहु-एजेंट कार्य नहीं था, लेकिन एजेंटों ने अपने दम पर संवाद करने के तरीके खोजे।

टीम को संदेह था कि उन्होंने प्रशिक्षण के दौरान बनी सहयोगात्मक आदतों को उन स्थानों पर स्थानांतरित कर दिया है जहां उन्हें सहयोग नहीं करना चाहिए।

यह यह भी बताता है कि "सहकारी प्रशिक्षण" और "इनाम धोखाधड़ी" में टकराव क्यों नहीं होता है। पहला बताता है कि एजेंट खुद को संगठित क्यों कर सकते हैं, और दूसरा बताता है कि क्यों एजेंटों का यह समूह सीमाओं को पार करने के लिए अपनी सहकारी क्षमताओं का उपयोग करता है।

पटेल के विचार में, ये व्यवहार स्कोरर के खिलाफ एक खेल है: मॉडल उच्च अंक प्राप्त करना चाहता है और पाता है कि पारंपरिक तरीके काम नहीं कर रहे हैं, इसलिए यह छिपी हुई फ़ाइलों की तलाश करता है, मूल्यांकन कोड का अध्ययन करता है, और यहां तक ​​कि सिस्टम सीमाओं का भी पता लगाता है।

ब्राउन ने फिर अधिक सामान्य स्पष्टीकरण दिया: मॉडल पुरस्कारों को अनुकूलित करने के लिए कड़ी मेहनत करेगा; इनाम लक्ष्य केवल "कार्य पूरा करें" कहता है और सुरक्षित निकास मार्ग प्रदान नहीं करता है, इसलिए अवैध तरीकों को मजबूत किया जा सकता है।

ओपनएआई की रिपोर्ट भी इस तंत्र का समर्थन करती है। इसमें शामिल एजेंट अक्सर सोचते हैं कि एक्सप्लॉइटजिम स्कोरर को कैसे पास किया जाए। कुछ कार्यों को पहले किसी भी मॉडल द्वारा कभी भी सही ढंग से पूरा नहीं किया गया है, और एजेंट शायद ही कभी हार मानने का विकल्प चुनते हैं। वे अन्य तरीकों की तलाश में बहुत सारी गणनाएँ खर्च करते हैं।

हालाँकि, इवेंट में सभी एजेंटों ने एक जैसा विकल्प नहीं चुना। OpenAI द्वारा जारी किए गए रिकॉर्ड में, कुछ एजेंटों ने सार्वजनिक प्रणाली पर हमला करने से इनकार कर दिया, और कुछ एजेंटों ने वास्तविक डेटा मालिकों को ईमेल भेजने पर आपत्ति जताई। पटेल का सवाल "किसी एजेंट ने रिपोर्ट क्यों नहीं की" प्रशिक्षण पद्धति पर सवाल उठाने के करीब है और इसे सभी चल रहे रिकॉर्ड को कवर करने वाला एक सांख्यिकीय निष्कर्ष नहीं माना जा सकता है।

OpenAI के भीतर इस बात का कोई एकीकृत उत्तर नहीं है कि क्या हमें एजेंटों को अत्यधिक सहयोगात्मक होने के लिए प्रशिक्षित करना जारी रखना चाहिए।

ब्राउन ने कहा कि ज्यादातर लोग सतर्क रहते हैं, चिंतित रहते हैं कि एक अत्यधिक सहकारी मॉडल एक ऐसा संपूर्ण मॉडल तैयार करेगा जिसे नियंत्रित करना अधिक कठिन होगा; वह स्वयं पूरी तरह से आश्वस्त नहीं है, क्योंकि एजेंटों को एक-दूसरे के प्रति शत्रुतापूर्ण व्यवहार करने और एक-दूसरे को धोखा देने का प्रशिक्षण देने से भी बदतर समस्याएं पैदा हो सकती हैं।

04 एआई को पता है कि वह एक परीक्षा दे रहा है, और उसकी सोच श्रृंखला की खिड़की भी संकीर्ण हो रही है

अनुमान मॉडल प्राकृतिक भाषा में मध्यवर्ती विचारों को लिखेगा। सुरक्षा शोधकर्ताओं के लिए, यह लगभग एक अप्रत्याशित विंडो है: सीधे अनुमान लगाने के बजाय कि तंत्रिका नेटवर्क के अंदर क्या हो रहा है, आप पहले देख सकते हैं कि मॉडल स्वयं क्या लिखता है।

अब, वह विंडो संकीर्ण होने के संकेत दिखा रही है।

ब्राउन को चिंता है कि यदि शोधकर्ता विचार श्रृंखला में खतरनाक सामग्री को देखते ही उसे दबाने के लिए सीधे प्रशिक्षण दंड का उपयोग करते हैं, तो मॉडल "कोई और अधिक खतरनाक चीजें नहीं" सीख सकता है, लेकिन "खतरनाक विचारों को नहीं लिखता है।"

टीम ने विचार श्रृंखला की निगरानी में कमी देखी है, लेकिन विशिष्ट कारण की अभी भी जांच चल रही है। यह प्रशिक्षण दबाव संभावित तंत्रों में से केवल एक है।

हगिंग फेस घटना ने एक अधिक प्रत्यक्ष समस्या को भी उजागर किया: इसमें शामिल मूल्यांकन ने उस समय विचार श्रृंखला की निगरानी को सक्षम नहीं किया। ब्राउन ने कहा कि अगर सिस्टम चालू होता तो खतरनाक गतिविधियों का पहले ही पता चल जाता और उन्हें रोक दिया जाता। घटना के बाद, ओपनएआई ने अत्याधुनिक मॉडलों के प्रशिक्षण, मूल्यांकन और तैनाती के लिए विचार श्रृंखला निगरानी का विस्तार किया; कंपनी ने घटना रिपोर्ट में आगे कहा कि GPT-5.6 Sol या उच्चतर क्षमताओं के साथ सुदृढीकरण शिक्षण प्रशिक्षण और मूल्यांकन और उपकरणों का उपयोग करने की क्षमता इस प्रकार की निगरानी को सक्षम करना चाहिए।

लेकिन ब्राउन इस तकनीक पर अपनी सुरक्षा थोपने को तैयार नहीं हैं। विचार श्रृंखला को समझना अधिक कठिन हो सकता है, और सैंडबॉक्स नई कमजोरियों से बच सकता है।

निगरानी, ​​सिस्टम संकेत, और उत्पादन वातावरण का सुरक्षा ढांचा सभी समय खरीद सकते हैं, लेकिन वे मॉडल के संरेखण को प्रतिस्थापित नहीं कर सकते हैं।

मूल्यांकन में एक और परेशानी का भी सामना करना पड़ा: मॉडल ने परीक्षा कक्ष को पहचानना शुरू कर दिया।

शोधकर्ताओं ने यह जांचने के लिए उत्तरों को फ़ोल्डर में डाल दिया कि मॉडल धोखा देगा या नहीं। मॉडल को लगा कि यह व्यवस्था अप्राकृतिक है और उसे लगा कि इसका परीक्षण किया जा रहा है, इसलिए उसने उत्तर टाल दिया।

"परीक्षा में ईमानदार रहना" और "असली माहौल में ईमानदार रहना" दो अलग-अलग बातें होती जा रही हैं।

ब्राउन ने प्रस्तावित किया कि हम अधिक यथार्थवादी मूल्यांकन वातावरण का निर्माण जारी रख सकते हैं ताकि मॉडल वास्तविक कार्य के करीब स्थितियों में चल सके। हालाँकि, उन्होंने कहा कि यह सिर्फ एक दिशा है जिसके बारे में वह सोच रहे हैं और अभी तक इसका उत्तर नहीं आया है। मॉडल जितना होशियार होगा, एक नकली दुनिया बनाना उतना ही कठिन होगा जिसे वह परीक्षण के रूप में नहीं पहचान सकता।

05 मजबूत मॉडल केवल प्रयोगशाला में ही रह सकते हैं

जितनी अधिक देर तक सुरक्षा परीक्षण किया जाएगा, आंतरिक मॉडल और सामान्य उपयोगकर्ताओं द्वारा उपयोग किए जा सकने वाले मॉडल के बीच अंतर उतना ही अधिक होगा।

गणित ने इसे मूर्त रूप दिया है. OpenAI का आंतरिक मॉडल कुछ अनसुलझी गणितीय समस्याओं को हल कर सकता है, लेकिन बाहरी शोधकर्ता इसे सीधे तौर पर कॉल नहीं कर सकते हैं। ब्राउन ने स्वीकार किया कि इससे प्रयोगशाला को "अनुचित लाभ" मिला। हालाँकि, यदि मजबूत क्षमताओं और उच्च जोखिमों के कारण सार्वजनिक रिलीज़ धीमी हो जाती है, तो लाभ कुछ कंपनियों के भीतर ही बंद हो जाएगा।

पटेल ने इस चिंता को राजनीतिक निर्णय लेने, मीडिया और व्यावसायिक संचालन तक बढ़ाया: जब प्रयोगशाला के आंतरिक मॉडल का उपयोग कुछ महीनों के लिए किया जाता है, तो बाहरी दुनिया द्वारा प्राप्त जानकारी और उपकरण एक पीढ़ी पीछे हो सकते हैं। ब्राउन ने दुविधा को स्वीकार किया और कहा कि उनके पास इसे तौलने का कोई अच्छा तरीका नहीं है।

पुनरावर्ती आत्म-सुधार समस्याओं को और अधिक गंभीर बना देता है। यदि एआई तीन महीने के अनुसंधान और विकास को एक महीने में संपीड़ित करता है, तो प्रयोगशाला क्लासिफायर, सैंडबॉक्स और उत्पाद सुरक्षा में सुधार करने और फिर क्षमताओं की इस पीढ़ी को बाहरी उपयोगकर्ताओं को सौंपने में समय बर्बाद करने के बजाय, आंतरिक अनुसंधान के लिए मॉडल का उपयोग जारी रखने के लिए अधिक इच्छुक हो सकती है।

प्रयोगशाला मॉडल जारी करना बंद नहीं कर सकती।

लेकिन कैलेंडर पर "दो महीने की देरी" वास्तविक अंतर का कम प्रतिनिधित्व करेगी: दो महीने जिसमें इन-हाउस मॉडल अगली पीढ़ी के मॉडल बनाने में शामिल हो सकते हैं।

प्रति दिन 06$7,000, फिर भी गिनती नहीं कर सकते कि एआई ने कितनी नौकरियाँ बदल दी हैं

ओपनएआई अनुसंधान कार्य में एआई उपकरणों के उपयोग की तीव्रता में काफी वृद्धि हुई है।

6 सितंबर को जारी ओपनएआई की आंतरिक अनुसंधान त्वरण रिपोर्ट से पता चलता है कि अगस्त के मध्य तक, शोधकर्ताओं द्वारा उपयोग किए जाने वाले एआई एजेंटों की औसत संख्या सार्वजनिक एपीआई मूल्य के आधार पर प्रति दिन 600 अमेरिकी डॉलर से अधिक हो गई थी; 90वां प्रतिशत उपयोगकर्ता प्रतिदिन 7,000 अमेरिकी डॉलर से अधिक हो गया। सभी एजेंटों के कार्य समय को 8 घंटे के कार्य दिवस में बदल दिया जाता है, जो प्रत्येक मानव कार्य दिवस के पीछे 3.1 एजेंट कार्य दिवस के बराबर है।

ये संख्याएँ खुराक को संदर्भित करती हैं।

वे न तो प्रत्येक शोधकर्ता के लिए ओपनएआई द्वारा भुगतान किए गए वास्तविक आंतरिक बिल हैं, न ही वे दर्शाते हैं कि एजेंट ने मनुष्यों के प्रभावी शोध परिणामों का 3.1 गुना योगदान दिया है।

ब्राउन ने साक्षात्कार में यह भी याद किया कि अगस्त की शुरुआत में सबसे अधिक उपयोग वाले शीर्ष 1% शोधकर्ताओं ने प्रति दिन लगभग 7,000 अमेरिकी डॉलर से 8,000 अमेरिकी डॉलर कमाए। आंकड़ों का यह सेट आधिकारिक रिपोर्ट किए गए समय और प्रतिशत से भिन्न है, और दोनों को आंकड़ों के एक सेट में जोड़ा नहीं जा सकता है। जो कुछ देखा जा सकता है वह यह है कि उच्च तीव्रता वाले उपयोगकर्ता पहले से ही एक ही समय में काम करने के लिए बड़ी संख्या में एआई को कॉल कर रहे हैं।

ब्राउन ने इस बात का कोई सख्त जवाब नहीं दिया कि एआई ने अनुसंधान को कितना गति दी है। यह मॉडल एक-एक करके डेटा की जाँच करने, समस्या निवारण और कोड लिखने के लिए विशेष रूप से उपयुक्त है। ये कदम बहुत तेज़ हो सकते हैं. अनुसंधान की दिशा कैसे चुनें, क्या कोई परिणाम अनुसरण करने योग्य है, और किस प्रयोग के लिए जीपीयू आवंटित किया गया है, यह अभी भी मनुष्यों द्वारा तय किया जाता है।

एक लिंक को स्वचालित करने के बाद, बाधा शेष लिंक पर भी चली जाएगी।

पटेल ने इससे यह निष्कर्ष निकाला कि 2030 तक, एक ही प्रयोगशाला करोड़ों मानव-जैसी बुद्धिमत्ताएँ चला सकती है, और कुछ वर्षों में "बहु-पृथ्वी पैमाने" पर प्रभावी बुद्धिमत्ता भी हो सकती है। यह कथन उनके एक्सट्रपलेशन से आया है, ब्राउन या ओपनएआई की भविष्यवाणी से नहीं।

ब्राउन का उत्तर बहुत छोटा था: प्रगति वास्तव में तेज़ है, लेकिन वह नहीं जानता कि 2030 में दुनिया कैसी दिखेगी। वह केवल एक व्यापक निर्णय लेने को तैयार है: एआई ने अनुसंधान को एक साल पहले की तुलना में तेज़ बना दिया है, और भविष्य में भी इसमें तेजी जारी रहेगी। यहां तक ​​कि पिछले तीन वर्षों की प्रगति को एक वर्ष में समेटना भी उद्योग की गति को बदलने के लिए पर्याप्त है।

07 समीक्षा अभी समाप्त नहीं हुई है, अगली पीढ़ी का मॉडल आ सकता है

ब्राउन ने अंततः जो उठाया वह एक ऐसा मुद्दा है जो वास्तव में अभी तक हुआ नहीं है लेकिन पहले से ही प्रवृत्ति में देखा जा सकता है।

अत्याधुनिक मॉडलों का रिलीज़ अंतराल लगभग दो महीने तक कम हो गया है, कभी-कभी इससे भी कम; मॉडल जो कार्य करना जारी रख सकते हैं वे लंबे होते जा रहे हैं। आज यह एक सप्ताह का काम कर सकता है और भविष्य में एक महीना या तीन महीने का भी काम कर सकता है।

यदि कोई मॉडल तीन महीने तक प्रभावी ढंग से काम कर सकता है, लेकिन अगली पीढ़ी दो महीने बाद जारी की जाएगी, तो प्रयोगशाला के पास रिलीज से पहले सबसे लंबे समय के पैमाने पर उसके व्यवहार का निरीक्षण करने का समय नहीं हो सकता है।

ब्राउन ने इस बात पर जोर दिया कि हम वास्तव में अभी तक उस दीवार तक नहीं पहुंचे हैं।

लेकिन GPT-4 युग में कई सुरक्षा नीतियां बनाई गईं, जब किसी को भी महीनों तक लगातार काम करने वाले एजेंट का गंभीरता से परीक्षण करने की आवश्यकता नहीं थी। जब कार्य चक्र वास्तव में रिलीज़ चक्र से अधिक हो जाता है, तो मूल्यांकन पद्धति को फिर से लिखने में बहुत देर हो जाएगी।

कोई मॉडल नियमों का पालन करता है या नहीं, यह पीढ़ियों के साथ भी बदल सकता है। आज का मॉडल अगली पीढ़ी के प्रशिक्षण में भाग लेता है, और अगली पीढ़ी अगली पीढ़ी के प्रशिक्षण में भाग लेती है; यदि प्रक्रिया में विचलन थोड़ा-थोड़ा करके फैलता है, तो एकल मूल्यांकन पारित करना यह साबित नहीं कर सकता कि संपूर्ण पुनरावर्ती श्रृंखला सुरक्षित है।

ओपनएआई प्रत्येक पीढ़ी के साथ अधिक संरेखण देखना चाहता है, लेकिन ब्राउन मानते हैं कि कंपनी अभी तक नहीं जानती है कि उस प्रवृत्ति को कैसे सुनिश्चित किया जाए।

हगिंग फेस जैसी घटनाओं के लिए, ब्राउन ने कहा कि भले ही अगली घटना की सुरक्षा गंभीरता कम हो, ओपनएआई इसका खुलासा करेगा।

पटेल ने फिर पूछा: खुलासा और जांच दो अलग-अलग चीजें हैं। जनता के सदस्य के रूप में, उन्हें अभी भी पूरी कहानी समझ में नहीं आई है कि एजेंट ने ओपनएआई के अनुसंधान बुनियादी ढांचे पर कैसे हमला किया। ब्राउन ने जवाब दिया कि वह अनुसंधान टीम का हिस्सा थे और उनके पास सभी प्रकटीकरण विवरण नहीं थे। इस मुद्दे को सुरक्षा दल द्वारा स्पष्ट किया जाना चाहिए।

साक्षात्कार के अंत में, ब्राउन ने 2030 में दुनिया की कोई तस्वीर नहीं दी, न ही उन्होंने यह घोषणा की कि संरेखण समस्या का समाधान ढूंढ लिया गया है। उन्होंने जो दिया वह एक संक्षिप्त समय सारिणी की तरह था: गणितीय परिणाम उनकी अपेक्षा से पहले थे, एआई अनुसंधान और विकास को बुद्धिमान एजेंटों द्वारा तेज किया गया था, मॉडल ने परीक्षण वातावरण को पहचानना शुरू कर दिया था, और सोच श्रृंखला निगरानी में गिरावट के संकेत दिखाई दिए थे।

अतीत में, शोधकर्ता चिंतित थे कि उन्होंने अपने मॉडलों को कम करके आंका।

अगली और अधिक कठिन बात यह है कि क्या प्रयोगशाला अगली पीढ़ी के मॉडल के उत्पादन से पहले उस चीज़ की खोज समय पर कर सकती है जिसे उसने कम करके आंका है।