मानवविज्ञानी इंजीनियरों ने चेतावनी दी: एआई जितना मजबूत होगा, मनुष्यों के लिए "संज्ञानात्मक आत्मसमर्पण" में पड़ना उतना ही आसान होगा

सार:

4 नवंबर को, एंथ्रोपिक की क्लाउड कोड टीम के एक इंजीनियर और Google प्रौद्योगिकी के पूर्व कार्यकारी, एडी उस्मानी ने हाल ही में सोशल प्लेटफॉर्म पर एक लंबा लेख प्रकाशित किया, उन्होंने इस घटना को

"संज्ञानात्मक आत्मसमर्पण"

कहा है। (संज्ञानात्मक समर्पण)।

उस्मानी ने 14 वर्षों से अधिक समय तक Google में काम किया है और Chrome डेवलपर अनुभव और Google क्लाउड AI से संबंधित व्यवसायों के लिए जिम्मेदार रहे हैं। वह वर्तमान में एंथ्रोपिक में क्लाउड कोड पर काम कर रहे हैं।

उस्मानी ने कहा कि वह एआई एजेंट वर्कफ़्लो के कट्टर समर्थक हैं और अक्सर अपने दैनिक कार्य में एक ही समय में कई एजेंट चलाते हैं। लेकिन उन्होंने एक ऐसे बदलाव की खोज की जो सतर्कता के लायक है:

जैसे-जैसे एआई मॉडल में सुधार जारी है, आउटपुट परिणामों में स्पष्ट त्रुटियां कम और कम होती जा रही हैं, जिससे मनुष्यों के लिए सतर्क रहना कठिन हो गया है।

अतीत में, लोगों को उत्तर पाने के लिए आमतौर पर सूचना संग्रह, विश्लेषण, निर्णय आदि की प्रक्रिया से गुजरना पड़ता था, लेकिन अब, यह प्रक्रिया कुछ सेकंड तक सीमित हो सकती है। एआई-जनित सामग्री अक्सर अच्छी तरह से संरचित, धाराप्रवाह रूप से व्यक्त की जाती है, और ज्यादातर मामलों में सही होती है, जिससे उपयोगकर्ताओं के लिए स्वतंत्र सोच और सत्यापन को छोड़ना आसान हो जाता है।

उन्होंने एआई के मानव उपयोग की स्थिति को तीन स्तरों में विभाजित किया: पहला है

"संज्ञानात्मक ऑफलोडिंग"

(संज्ञानात्मक ऑफलोडिंग), जिसका अर्थ है कि कार्य को पूरा करने के लिए एआई को सौंप दिया गया है, लेकिन यह अभी भी परिणामों के लिए जिम्मेदार है; दूसरा है

"निर्णय स्थगित करना"

(डेफरल), यानी, एआई आउटपुट को अब एक परिकल्पना के रूप में नहीं माना जाता है जिसे सत्यापित करने की आवश्यकता है, बल्कि सीधे काम के अगले चरण के आधार के रूप में उपयोग किया जाता है; अंतिम है

"संज्ञानात्मक समर्पण"

,

अर्थात्, AI का आउटपुट धीरे-धीरे उपयोगकर्ता का अपना निर्णय बन जाता है, और उपयोगकर्ता अब इसे जांचना भी आवश्यक नहीं समझता है।

उनमें से, "संज्ञानात्मक समर्पण" की अवधारणा सबसे पहले व्हार्टन स्कूल के शोधकर्ताओं स्टीवन शॉ और गिदोन नेव द्वारा प्रस्तावित की गई थी।

उस्मानी का मानना ​​है कि

यह परिवर्तन अक्सर अचानक नहीं होता है, बल्कि AI के निरंतर उपयोग की प्रक्रिया में धीरे-धीरे बनता है

<पी>.

उपयोगकर्ता पहली एआई रिपोर्ट को ध्यान से पढ़ सकते हैं, केवल दूसरी पर एक नज़र डाल सकते हैं, और यहां तक ​​कि तीसरी की रूपरेखा भी देख सकते हैं। अंततः, जब किसी विशिष्ट निष्कर्ष के बारे में पूछा जाता है, तो उपयोगकर्ता स्वयं को तर्क समझाने में असमर्थ पा सकते हैं।

उन्होंने इस घटना को "संज्ञानात्मक ऋण" से जोड़ा। सॉफ़्टवेयर विकास के क्षेत्र में, AI बड़ी मात्रा में कोड उत्पन्न कर सकता है, और सभी परीक्षण पास हो सकते हैं, लेकिन सिस्टम आर्किटेक्चर और कार्यान्वयन तर्क के बारे में टीम के सदस्यों की समझ लगातार कम हो रही है। ऐसा एक दिन पहले नहीं हुआ था जब सिस्टम को संशोधित करने की आवश्यकता थी, जब डेवलपर्स को पता चला कि कोई भी वास्तव में यह नहीं समझता था कि कुछ सुविधाएं कैसे काम करती हैं।

हालाँकि, उस्मानी का मानना ​​​​नहीं है कि डेवलपर्स को एक विशाल कोड बेस के सभी विवरण याद रखने की ज़रूरत है। उन्होंने बताया कि क्लाउड कोड टीम जरूरत पड़ने पर विशिष्ट कोड मॉड्यूल की समझ को फिर से स्थापित करने के लिए एआई का भी उपयोग करेगी। जो वास्तव में महत्वपूर्ण है वह हर समय सब कुछ जानना नहीं है, बल्कि वह जानना है जो आप नहीं जानते हैं और उसे फिर से समझने की क्षमता रखना है।

जहां तक ​​"संज्ञानात्मक समर्पण" से बचने का सवाल है, उस्मानी ने सुझाव दिया,

एआई से जटिल प्रश्न पूछने से पहले, मनुष्यों को उत्तर देने के लिए पूरी तरह से एआई पर निर्भर रहने के बजाय अपनी प्रारंभिक धारणाएं बनानी चाहिए।

भले ही प्रारंभिक अनुमान सटीक न हो, यह उपयोगकर्ताओं को एआई परिणाम प्राप्त करते समय स्वतंत्र निर्णय के लिए आधार बनाए रखने में मदद कर सकता है।

उन्होंने यह भी सुझाव दिया कि

उपयोगकर्ताओं को मॉडल से केवल यह पूछने के बजाय कि वह अपने उत्तर में कितना आश्वस्त है, सक्रिय रूप से ऐसे सबूतों की तलाश करनी चाहिए जो एआई के निष्कर्ष को पलट सकते हैं।

विवादास्पद मुद्दों के लिए, विभिन्न मॉडल विपरीत स्थितियों से तर्क प्रस्तुत कर सकते हैं, और फिर मनुष्य व्यापक निर्णय ले सकते हैं।

सॉफ़्टवेयर विकास के क्षेत्र में, उस्मानी का मानना ​​है कि एआई युग में बाधा कोड लिखने से लेकर यह सत्यापित करने तक स्थानांतरित हो रही है कि कोड सही है या नहीं।

वर्तमान में, AI एजेंट स्वतंत्र रूप से कोड लिख सकते हैं, परीक्षण चला सकते हैं, त्रुटि संदेश पढ़ सकते हैं और परीक्षण पास होने तक उन्हें बार-बार संशोधित कर सकते हैं। लेकिन समस्या यह है कि परीक्षण स्वयं भी एआई द्वारा लिखे जा सकते हैं। यदि परीक्षण तर्क और कोड में समान त्रुटियां हैं, भले ही सभी परीक्षण पास हो जाएं, यह साबित नहीं हो सकता कि सॉफ़्टवेयर में कोई समस्या नहीं है।

इसलिए, उन्होंने इस बात पर जोर दिया कि डेवलपर्स को न केवल इस बात पर ध्यान देना चाहिए कि परीक्षण पास होता है या नहीं, बल्कि यह भी स्पष्ट करना चाहिए कि परीक्षण क्या साबित करता है और कौन से जोखिम कवर नहीं किए जाते हैं। एआई द्वारा दिए गए परिणामों के लिए, स्वीकृति मानदंड एआई द्वारा उत्पन्न प्रतीत होने वाले उचित सारांश के बजाय वास्तविक परीक्षण परिणाम, ऑपरेशन लॉग, स्क्रीनशॉट इत्यादि जैसे सत्यापन योग्य साक्ष्य होना चाहिए।

उस्मानी ने यह भी प्रस्तावित किया कि डेवलपर्स को एजेंट से कार्य के निष्पादन के दौरान स्वायत्त रूप से लिए गए निर्णयों, अपनाई गई धारणाओं और जिन शर्तों को नजरअंदाज किया गया, उन्हें स्पष्ट रूप से सूचीबद्ध करने की आवश्यकता होनी चाहिए, क्योंकि ये सामग्री आमतौर पर अंतिम कार्य सारांश में दिखाई नहीं देती है।

जैसे ही AI एक साथ अधिक से अधिक कार्य करने में सक्षम होता है, एक और समस्या उत्पन्न होने लगती है। उस्मानी इसे

"ऑर्केस्ट्रेशन टैक्स"

कहते हैं (ऑर्केस्ट्रेशन टैक्स), अर्थात, जिस गति से एआई परिणाम उत्पन्न करता है और जिस गति से मनुष्य सावधानीपूर्वक समीक्षा कर सकते हैं और उनकी जिम्मेदारी लेने के लिए तैयार हो सकते हैं, के बीच का अंतर।

जब एआई द्वारा उत्पन्न कार्य परिणाम जमा होते रहेंगे और मनुष्यों के पास उनकी समीक्षा करने के लिए पर्याप्त समय नहीं होगा, तो एजेंटों की संख्या में वृद्धि जारी रखने से समस्या का समाधान नहीं होगा। उनका मानना ​​है कि इस मामले में, टीम को स्वचालित सत्यापन तंत्र में सुधार करना चाहिए या कार्य निर्माण की गति को उचित रूप से कम करना चाहिए।

उस्मानी ने यह भी चेतावनी दी कि

एआई के उच्च स्तर के स्वचालन के कारण मनुष्य धीरे-धीरे अपने मूल कौशल का अभ्यास करना छोड़ सकते हैं।

उनका सुझाव है कि डेवलपर्स हर हफ्ते एआई का उपयोग किए बिना कुछ कोड लिखने का प्रयास करें, हर महीने उन कौशलों पर दोबारा गौर करें जिनका उन्होंने अभ्यास करना बंद कर दिया है, और निर्णय लें कि कौन सी क्षमताएं अभी भी बनाए रखने लायक हैं।

उन्होंने आंतरिक इंजीनियरों और शोधकर्ताओं द्वारा एआई के उपयोग पर एंथ्रोपिक के शोध का भी हवाला दिया, जिसमें बताया गया कि एक "पर्यवेक्षण विरोधाभास" है: क्लाउड के पर्यवेक्षण के लिए प्रोग्रामिंग क्षमताओं की आवश्यकता होती है, लेकिन एआई का अत्यधिक उपयोग इन क्षमताओं को ख़राब कर सकता है।

उस्मानी ने इस बात पर जोर दिया कि इन विचारों का मतलब यह नहीं है कि एआई का उपयोग कम किया जाना चाहिए। उन कार्यों में कोई समस्या नहीं है जहां त्रुटि की लागत कम है, पूरी तरह से एआई को सौंप दिया गया है, लेकिन जब निवेश, करियर विकल्प, उत्पाद सुरक्षा, या अन्य लोगों को प्रभावित करने वाले प्रमुख निर्णयों की बात आती है, तो मनुष्यों को अभी भी महत्वपूर्ण निर्णय अधिकार बनाए रखना चाहिए।

उनके विचार में, भविष्य के एआई मॉडल इंसानों की तुलना में त्रुटियां ढूंढने में बेहतर हो सकते हैं, लेकिन इससे मानवीय जिम्मेदारी खत्म नहीं होती है।

कौन से उत्पाद विकसित करने हैं, वे क्यों विकसित करने लायक हैं, वे किसे प्रभावित करेंगे और वे इसके लिए क्या कीमत चुकाने को तैयार हैं, यह तय करने के लिए अभी भी मानवीय विकल्पों की आवश्यकता होती है।

उन्होंने लेख के अंत में निष्कर्ष निकाला: "

आप काम और अधिकांश समीक्षा कार्य एआई को सौंप सकते हैं, लेकिन आप जिम्मेदारी भी नहीं सौंप सकते।

”