सार:
इस गर्मी में, OpenAI की टीमें यह समझने के लिए संघर्ष कर रही थीं कि उनका AI कंपनी के अंदर और बाहर सुरक्षा उल्लंघनों का कारण क्यों बन रहा है। इस अवधि के दौरान, सीईओ सैम ऑल्टमैन सहित कई वरिष्ठ अधिकारियों ने स्टार्ट-अप गुडफ़ायर के साथ कई बैठकें कीं। एंथ्रोपिक-समर्थित गुडफ़ायर की तकनीक का उद्देश्य उन अंतर्निहित कारणों को समझना है कि एआई मॉडल कुछ खास तरीकों से क्यों व्यवहार करते हैं और एआई को हाथ से निकलने से कैसे रोका जाए।

गुडफायर सीईओ एरिक हो (बाएं) और ओपनएआई सीईओ सैम ऑल्टमैन।
मामले से परिचित दो लोगों ने खुलासा किया कि बातचीत प्रक्रिया के दौरान, OpenAI के एक कार्यकारी ने
$5 बिलियन से अधिक
जुटाने की पेशकश की कंपनी इस दो साल पुरानी स्टार्ट-अप कंपनी का उचित मूल्य पर अधिग्रहण करेगी, या अन्य प्रकार के व्यावसायिक सहयोग में प्रवेश करेगी। गुडफायर ने फरवरी में एक फंडिंग राउंड पूरा किया, जिसमें निजी प्लेसमेंट में कंपनी का मूल्य 1.25 बिलियन डॉलर था, और 5 बिलियन डॉलर की पेशकश उस मूल्यांकन के लिए एक बड़ा प्रीमियम दर्शाती है।अधिग्रहण अंततः सफल नहीं हुआ। वार्ता की यह श्रृंखला, जो पहले कभी रिपोर्ट नहीं की गई है, दर्शाती है कि एआई-संचालित सुरक्षा घटनाओं में वृद्धि के साथ, एंथ्रोपिक और ओपनएआई दोनों "अपने द्वारा निर्मित एआई तकनीक को नियंत्रित करने की क्षमता" के बारे में चिंतित हैं। तंत्र व्याख्या, एक समय अलोकप्रिय उद्योग दिशा, अब बहुत अधिक ध्यान आकर्षित कर रही है।
मामले से परिचित लोगों में से एक ने कहा कि बातचीत टूटने का एक मुख्य कारण यह है कि गुडफायर प्रबंधन का मानना है कि यदि वह स्वतंत्र विकास बनाए रखता है और कई एआई कंपनियों को प्रौद्योगिकी निर्यात करता है, तो कंपनी का मूल्य 5 बिलियन डॉलर से अधिक होगा।
ओपनएआई, एंथ्रोपिक और गूगल के सभी अधिकारी स्वीकार करते हैं कि एआई व्यवहार की निगरानी के पारंपरिक तरीकों की विश्वसनीयता कम हो रही है, और परिणामस्वरूप गुडफायर का सॉफ्टवेयर तेजी से मूल्यवान हो गया है। इसका तकनीकी मार्ग ओपनएआई जैसे डेवलपर्स के पारंपरिक समाधान से अलग है: पारंपरिक समाधान मॉडल अनुमान के दौरान विचार श्रृंखला आउटपुट के पाठ को पढ़ना है, जबकि एआई के वास्तविक व्यवहार को बारीकी से देखना है। (नीचे गुडफ़ायर सीईओ के साथ साक्षात्कार देखें)
नए एआई विकास जैसे ओपनएआई के एस्ट्रा मॉडल के पीछे की गुप्त तकनीक मॉडल द्वारा सोच श्रृंखला सूचना आउटपुट की मात्रा को संकुचित कर देगी, जिससे निगरानी और अधिक कठिन हो जाएगी।
हाल के महीनों में एआई सुरक्षा घटनाएं एक के बाद एक घटित हुई हैं (प्रसिद्ध हगिंग फेस घुसपैठ की घटना भी शामिल है, जो ओपनएआई की तकनीक के कारण हुई थी और यहां तक कि ओपनएआई के कुछ सिस्टम पर भी आक्रमण किया गया था)। OpenAI जैसे बड़े मॉडल निर्माताओं के लिए, मजबूत सुरक्षा सुरक्षा बनाना अत्यावश्यक है।
एक बार जब उनका अपना एआई कॉर्पोरेट और सरकारी प्रणालियों पर आक्रमण करता है और आर्थिक नुकसान का कारण बनता है, तो ओपनएआई और एंथ्रोपिक जैसी कंपनियों को भारी कानूनी मुआवजे या यहां तक कि मुकदमा चलाने का जोखिम भी उठाना पड़ सकता है।
गुडफ़ायर की मुख्य विशेषज्ञता
mech interp
है . विचार श्रृंखला निगरानी से भिन्न, गुडफ़ायर और मार्टियन जैसे प्रतिस्पर्धी उत्पादों का सॉफ़्टवेयर सीधे मॉडल के अंदर चल रही गणितीय गणनाओं का अवलोकन करता है। गुडफायर ने यह भी स्वीकार किया कि इस तकनीक की वर्तमान परिपक्वता विचार श्रृंखला निगरानी जितनी अच्छी नहीं है; कुछ एआई शोधकर्ता यह भी मानते हैं कि इसकी वैज्ञानिक अनुसंधान कठोरता अन्य मशीन लर्निंग अनुसंधान दिशाओं की तुलना में कमजोर है।
लेकिन गुडफायर के सह-संस्थापक और मुख्य वैज्ञानिक टॉम मैकग्राथ ने एक यूट्यूब साक्षात्कार में कहा कि स्टार्टअप की तकनीक तेजी से दोहराई जाएगी और लागत विचार श्रृंखला निगरानी की तुलना में बहुत कम होगी - बाद वाले को किसी अन्य मॉडल द्वारा विचार श्रृंखला आउटपुट को पढ़ने के लिए एक बड़े मॉडल को चलाने की आवश्यकता होती है। उनका अनुमान है कि अगले छह महीनों के भीतर, व्याख्या-आधारित निगरानी समाधान विचार श्रृंखला निगरानी की क्षमताओं को पकड़ लेंगे।
सैन फ्रांसिस्को स्टार्टअप अपने सिलिको उत्पाद के लिए व्यवसायों को वार्षिक सदस्यता बेचता है, जो विभिन्न अनुसंधान प्रयोगों को स्वचालित रूप से संचालित करने के लिए एआई एजेंटों को तैनात करता है, जैसे कि यह पता लगाना कि क्या कोई मॉडल साइबर हमला शुरू करने का प्रयास कर रहा है। इसके ग्राहकों में राकुटेन और एआई न्यूरोसाइंस व्यवसाय प्राइमा मेंटे शामिल हैं। गुडफ़ायर ने राजस्व उत्पन्न किया है, लेकिन सटीक आकार का खुलासा नहीं किया गया है।
तंत्र की व्याख्या के लिए मॉडल भार (एआई मॉडल बनाने वाले संख्यात्मक पैरामीटर) तक गहरी पहुंच की आवश्यकता होती है, जिसे प्रमुख निर्माताओं द्वारा सख्ती से गोपनीय रखा जाता है। इसलिए, कुछ गुडफ़ायर कर्मचारी ग्राहक कंपनियों में काम करने के लिए साइट पर मौजूद रहेंगे।
जानकार सूत्रों से पता चला कि ओपनएआई और गुडफ़ायर के बीच बातचीत के दौरान, ऑल्टमैन ने गुडफ़ायर शोधकर्ता निक कैमरटा के शोध परिणामों पर विशेष ध्यान दिया। कम्माराटा ने एक बार OpenAI में काम किया था। पिछले महीने उन्होंने एक लेख प्रकाशित किया था जो सर्कल में व्यापक रूप से प्रसारित हुआ था, "न्यूरल नेटवर्क्स आर क्लियर एंड इंटरप्रेटेबल।" उन्होंने प्रस्तावित किया कि तंत्र व्याख्या की मदद से, शोधकर्ता एआई मॉडल के अंदर अरबों न्यूरॉन्स (मॉडल के अंदर गणितीय संचालन इकाइयां) को पहले की तुलना में अधिक आसानी से समझ सकते हैं। कई शोधकर्ताओं का मानना है कि इस तरह की समझ बेहतर प्रदर्शन वाले मॉडल विकसित करने में मदद कर सकती है।
कई प्रमुख बड़ी मॉडल कंपनियों ने तंत्र व्याख्या अनुसंधान टीमों की स्थापना की है; इस क्षेत्र के अग्रदूतों में से एक के रूप में, एंथ्रोपिक इस दिशा में विशेष रूप से सक्रिय रहा है।
क्रिस ओला को तंत्र व्याख्या के क्षेत्र का संस्थापक माना जाता है। उन्होंने 2020 में ओपनएआई छोड़ने के बाद एंथ्रोपिक की सह-स्थापना की, और अब क्लाउड-विकसित उद्यम में व्याख्यात्मक अनुसंधान का नेतृत्व करते हैं। एंथ्रोपिक ने पिछले साल गुडफायर में अपना निवेश पूरा किया, यह अपने इतिहास में पहली बार है कि एंथ्रोपिक ने किसी बाहरी स्टार्टअप में सीधी हिस्सेदारी ली है। सीईओ डारियो अमोदेई ने उस समय कहा था: "यह निवेश हमारे विश्वास का प्रतिनिधित्व करता है कि तंत्र की व्याख्या ब्लैक बॉक्स न्यूरल नेटवर्क को समझने योग्य और नियंत्रणीय प्रणालियों में बदलने के लिए सबसे आशाजनक है।"
भर्ती जानकारी से पता चलता है कि ओपनएआई संरेखण और व्याख्या के क्षेत्र में शोधकर्ताओं की भी भर्ती कर रहा है; इस साल की शुरुआत में, ओपनएआई ने साइबर हमलों और जैविक हथियारों से संबंधित दुर्भावनापूर्ण सवालों का जवाब देने जैसे मॉडल के खतरनाक आउटपुट की पहचान करने के लिए सुरक्षा प्रक्रिया में व्याख्यात्मक तकनीक को एकीकृत किया। ओपनएआई के करीबी लोगों का कहना है कि कंपनी के भीतर शोधकर्ताओं के बीच व्याख्यात्मक दिशा के प्रति उत्साह बढ़ रहा है।
टिप्पणियाँ