विदेशी मीडिया ने खबर दी कि मेटा GPT-4 को बेंचमार्क करने के लिए एक नए ओपन सोर्स बड़े मॉडल के विकास में तेजी ला रहा है, और मापदंडों की संख्या Llama2 से कई गुना बड़ी है। क्या मेटा एआई समुदाय को फिर से नष्ट करने जा रहा है? विदेशी मीडिया "वॉल स्ट्रीट जर्नल" के अनुसार, मेटा एक नए बड़े भाषा मॉडल के विकास को आगे बढ़ा रहा है। इसकी क्षमताएं पूरी तरह से GPT-4 के अनुरूप होंगी और अगले साल लॉन्च होने की उम्मीद है।
खबर में इस बात पर भी विशेष रूप से जोर दिया गया है कि मेटा का नया बड़ा भाषा मॉडल Llama2 से कई गुना बड़ा होगा, और यह संभवतः खुला स्रोत होगा और मुफ्त व्यावसायिक उपयोग का समर्थन करेगा।
चूंकि मेटा ने "संयोग से" वर्ष की शुरुआत में LlaMA को जुलाई में Llama2 के ओपन सोर्स रिलीज़ के लिए लीक कर दिया, मेटा ने धीरे-धीरे इस AI लहर में अपनी अनूठी स्थिति पाई - AI ओपन सोर्स समुदाय का बैनर।
01
कार्मिक झटका इसमें लगातार उतार-चढ़ाव आते रहते हैं और मॉडल क्षमताएं त्रुटिपूर्ण होती हैं। हम मुख्य तालिका पर लौटने के लिए ओपन सोर्स पर भरोसा करते हैं
वर्ष की शुरुआत में, OpenAI ने GPT-4 के साथ प्रौद्योगिकी उद्योग में विस्फोट करने के बाद, Google और Microsoft ने भी अपने स्वयं के AI उत्पाद लॉन्च किए।
मई में, अमेरिकी नियामकों ने एआई प्रौद्योगिकी के विकास पर चर्चा करने के लिए एक गोलमेज बैठक आयोजित करने के लिए अग्रणी कंपनियों के सीईओ को आमंत्रित किया, जिन्हें वे उस समय एआई उद्योग के लिए प्रासंगिक मानते थे।
OpenAI, Google और Microsoft सभी को आमंत्रित किया गया था, और यहां तक कि स्टार्टअप एंथ्रोपिक भी शामिल था, लेकिन मेटा मौजूद नहीं था। उस समय मेटा की अनुपस्थिति पर आधिकारिक प्रतिक्रिया थी: "हम केवल एआई उद्योग में शीर्ष कंपनियों को आमंत्रित करते हैं।"
मेटा के साथ अच्छी चीजें नहीं हुईं, लेकिन परेशानियां आती रहीं।
सबसे पहले, जून की शुरुआत में कांग्रेस की ओर से सीधे जिओ झा को एक जांच पत्र भेजा गया था, जिसमें उनसे मार्च में LlaMA रिसाव के कारणों और परिणामों को स्पष्ट करने के लिए सख्त शब्दों में पूछा गया था।
अगले महीनों में, Llama2 की रिलीज़ के बाद भी, मेटा ने जिस AI टीम को बनाने में बहुत पैसा खर्च किया था, वह अभी भी धीरे-धीरे टूट रही थी।
Llama2 की स्वीकृति में, इस शोध को शुरू करने वाली चार उल्लिखित टीमों में से तीन ने इस्तीफा दे दिया है, और वर्तमान में केवल एडौर्डग्रेव अभी भी मेटा में है।
उद्योग के दिग्गज हे कैमिंग भी मेटा छोड़ देंगे और शिक्षा जगत में लौट आएंगे।
द इंफॉर्मेशन के हालिया ब्रेकिंग आर्टिकल के अनुसार, मेटा की AI टीम आंतरिक कंप्यूटिंग शक्ति के लिए प्रतिस्पर्धा के कारण लगातार घर्षण का सामना कर रही है, और कर्मचारी एक के बाद एक छोड़ रहे हैं।
इस संदर्भ में, जिओ झा को भी यह अच्छी तरह से जानना चाहिए कि मेटा का अपना बड़ा भाषा मॉडल वास्तव में उद्योग के सबसे अत्याधुनिक GPT-4 के साथ प्रतिस्पर्धा करने में असमर्थ है।
चाहे वह विभिन्न दिशाओं में बेंचमार्क परीक्षणों से हो या उपयोगकर्ता प्रतिक्रिया से, Llama2 और GPT-4 के बीच का अंतर अभी भी अपेक्षाकृत बड़ा है।
विभिन्न बेंचमार्क परीक्षणों में, ओपन सोर्स Llama2 और GPT-4 के बीच अभी भी एक बड़ा अंतर है
TAGPH 28
नेटिज़न्स का वास्तविक अनुभव भी लगातार इस बात पर जोर देता है कि GPT-4 अभी भी Llama2
से बहुत आगे है, इसलिए जिओ झा ने मेटा को सीधे ओपन सोर्स मॉडल के लिए सड़क पर चलने देने का फैसला किया।
शायद ज़ियाओझा के पीछे तर्क यह है: मेटा मॉडल में औसत क्षमताएं हैं और यह बंद-स्रोत वाले बड़े लोगों को हरा नहीं सकता है, इसलिए इसे छिपाने का कोई मतलब नहीं है। फिर बस स्रोत खोलें और एआई समुदाय को उद्योग में अपने उत्पादों के प्रभाव का विस्तार करने के लिए अपने स्वयं के मॉडल के आधार पर पुनरावृत्ति जारी रखने दें।
और जिओ झा ने सार्वजनिक रूप से एक से अधिक बार कहा है कि ओपन सोर्स समुदाय के स्वयं के मॉडल की पुनरावृत्ति उनकी तकनीकी टीम को भविष्य में और अधिक प्रतिस्पर्धी उत्पाद विकसित करने के लिए प्रेरित करेगी।
जिओ झा ने फ्रिडमैन के पॉडकास्ट में जोर दिया कि खुला स्रोत मेटा को समुदाय से प्रेरणा लेने की अनुमति देता है, और मेटा भविष्य में एक बंद स्रोत मॉडल लॉन्च कर सकता है। देखें: https://lexfridman.com/mark-zuckerberg-2/
और तथ्यों ने साबित कर दिया है कि मेटा की पसंद वास्तव में सही है।
हालाँकि यह कंप्यूटिंग संसाधनों और तकनीकी ताकत के मामले में Google और OpenAI से कमतर है, फिर भी मेटा के Llama2 जैसे ओपन सोर्स मॉडल ओपन सोर्स समुदाय के लिए अपनी अपील में किसी से पीछे नहीं हैं। चूंकि Llama2 धीरे-धीरे AI ओपन सोर्स समुदाय का "तकनीकी आधार" बन गया है, मेटा ने उद्योग में अपना स्वयं का पारिस्थितिक स्थान भी ढूंढ लिया है।
सबसे स्पष्ट संकेत यह है कि सितंबर में होने वाली AI पर कांग्रेस की बंद कमरे की बैठक में, जिओ झा अंततः नियामकों का अतिथि बन गया। Google और OpenAI जैसी उद्योग की सबसे अत्याधुनिक कंपनियों के सीईओ के साथ, उन्होंने AI उद्योग के विनियमन पर अपनी आवाज व्यक्त करने के लिए एक प्रतिनिधि के रूप में कार्य किया।
यदि अगले वर्ष मेटा द्वारा लॉन्च किया गया नया मॉडल प्रगति करना जारी रख सकता है और GPT-4 जैसी समान क्षमताएं हासिल कर सकता है, तो एक ओर, यह ओपन सोर्स समुदाय को बंद स्रोत दिग्गजों के साथ अंतर को कम करने की अनुमति देगा, इस कथन की पुष्टि करता है कि "ओपन सोर्स समुदाय और के बीच का अंतर उद्योग में सबसे उन्नत स्तर लगभग एक वर्ष का है।"
दूसरी ओर, जिओ झा ने साक्षात्कार में यह भी खुलासा किया कि यदि भविष्य में बड़े मॉडल क्षमताओं में और सुधार किया जाता है, तो मेटा अपना स्वयं का क्लोज्ड-सोर्स मॉडल लॉन्च कर सकता है। यदि नया मॉडल उद्योग SOTA से आगे बढ़ सकता है, तो यह मेटा द्वारा अपना स्वयं का क्लोज्ड-सोर्स मॉडल लॉन्च करने से बहुत दूर नहीं हो सकता है।
हालांकि ऐसा लगता है कि मेटा अस्थायी रूप से AI की इस लहर में पिछड़ गया है, जिओ झा की महत्वाकांक्षा सिर्फ एक अनुयायी बनने की इच्छुक नहीं है।
"एआई बिग थ्री" यान लेकुन के मार्गदर्शन में, मेटा भी पूरे उद्योग को नष्ट करने की तैयारी कर रहा है।
02
Meta का भविष्य
तो, इस प्रसिद्ध रहस्यमय बड़े मॉडल के बाद जो GPT-4 को टक्कर दे सकता है, मेटाएआई का भविष्य कैसा दिखेगा?
क्योंकि अभी तक कोई विशेष जानकारी नहीं है, हम केवल कुछ अनुमान लगा सकते हैं, जैसे कि MetaAI के मुख्य वैज्ञानिक LeCun के दृष्टिकोण से शुरू करना।
लोकप्रिय GPT हमेशा कृत्रिम बुद्धिमत्ता विकास मार्ग रहा है जिसकी LeCun ने आलोचना की और तिरस्कार किया।
इस साल 4 फरवरी को, LeCun ने स्पष्ट रूप से कहा, "मानव-स्तरीय AI की राह पर, बड़े भाषा मॉडल पूरी तरह से एक टेढ़ी सड़क हैं।"
उनका मानना है कि संभाव्यता के आधार पर ऑटोरिग्रेशन उत्पन्न करने वाला यह बड़ा मॉडल अधिकतम 5 वर्षों तक जीवित नहीं रहेगा, क्योंकि ये कृत्रिम बुद्धिमत्ता केवल बड़ी मात्रा में पाठ पर प्रशिक्षित हैं, और वे वास्तविक दुनिया को नहीं समझ सकते हैं।
इसलिए ये मॉडल न तो योजना बना सकते हैं और न ही तर्क कर सकते हैं, उनमें केवल प्रासंगिक सीखने की क्षमताएं हैं।
गंभीरता से कहें तो, एलएलएम में प्रशिक्षित इन कृत्रिम बुद्धिमत्ता में लगभग कोई "बुद्धि" नहीं है।
LeCun एक "विश्व मॉडल" की आशा कर रहा है जो AGI की ओर ले जा सकता है।
विश्व मॉडल सीख सकता है कि दुनिया कैसे काम करती है, अधिक तेज़ी से सीख सकती है, जटिल कार्यों को पूरा करने की योजना बना सकती है, और किसी भी समय अपरिचित नई स्थितियों पर प्रतिक्रिया दे सकती है।
यह एलएलएम से अलग है जिसके लिए बहुत अधिक पूर्व प्रशिक्षण की आवश्यकता होती है। विश्व मॉडल अवलोकनों से पैटर्न ढूंढ सकता है, नए वातावरण के अनुकूल हो सकता है और मनुष्यों की तरह नए कौशल में महारत हासिल कर सकता है।
LLM के क्षेत्र में निरंतर सुधार और गहनता की OpenAI की रणनीति की तुलना में, मेटा विविध मॉडल विकास के लिए प्रयास करता है।
इस साल 14 जून को, मेटा ने एक "मानव जैसा" कृत्रिम बुद्धिमत्ता मॉडल I-JEPA जारी किया, जो LeCun के विश्व मॉडल विज़न के प्रमुख भागों पर आधारित इतिहास का पहला AI मॉडल भी है।
पेपर पता: https://arxiv.or g/abs/2301.08243
I-JEPA अमूर्त अभ्यावेदन को समझने में सक्षम है पर्यवेक्षित शिक्षण के माध्यम से छवियां और सामान्य ज्ञान प्राप्त करें।
और I-JEPA को सहायता के रूप में अतिरिक्त मैन्युअल उत्पादन ज्ञान की आवश्यकता नहीं है।
उसके बाद, मेटा ने वॉइसबॉक्स लॉन्च किया, जो मेटाएआई द्वारा प्रस्तावित एक नई विधि - फ्लो मैचिंग पर आधारित एक नई सफल भाषण पीढ़ी प्रणाली है।
यह छह भाषाओं में भाषण को संश्लेषित कर सकता है, डीनोइज़िंग, सामग्री को संपादित करने और ऑडियो शैलियों को परिवर्तित करने जैसे संचालन कर सकता है।
Meta ने सार्वभौमिक सन्निहित AIagents भी जारी किया।
भाषा-निर्देशित कौशल समन्वय (एलएससी) के माध्यम से, रोबोट आंशिक रूप से पूर्व-मैप किए गए वातावरण में स्वतंत्र रूप से घूम सकता है और चुन सकता है।
मेटा मल्टी-मोडल मॉडल के विकास में भी भिन्न है।
ImageBind, पहला कृत्रिम बुद्धिमत्ता मॉडल जो छह अलग-अलग तौर-तरीकों से जानकारी को जोड़ने में सक्षम है।
यह मशीन को व्यापक समझ क्षमता प्रदान करता है, तस्वीरों में वस्तुओं को उनकी ध्वनि, त्रि-आयामी आकार, तापमान और गति पैटर्न से जोड़ता है।
MetaAI और CMU_Robotics द्वारा संयुक्त रूप से विकसित रोबोएजेंट रोबोटों को विभिन्न प्रकार के गैर-तुच्छ कौशल हासिल करने और उन्हें सैकड़ों जीवन परिदृश्यों में बढ़ावा देने की अनुमति देता है।
साथ ही, इन सभी परिदृश्यों में क्षेत्र में पिछले काम की तुलना में कम डेटा का परिमाण होता है।
इस बार सामने आए मॉडल के बारे में, कुछ नेटिज़न्स ने उम्मीद जताई कि वे सोर्स कोड खोलना जारी रखेंगे।
हालांकि, कुछ नेटिज़ेंस ने कहा कि मेटा 2024 की शुरुआत तक प्रशिक्षण शुरू नहीं करेगा।
लेकिन संतुष्टिदायक बात यह है कि मेटा ने फिर भी एक संकेत जारी किया कि वह अपनी मूल रणनीति का पालन करना जारी रखेगा।