नेचर मेडिसिन में प्रकाशित एक हालिया अध्ययन में पाया गया कि चैटजीपीटी हेल्थ, मेडिकल परिदृश्यों के लिए ओपनएआई द्वारा लॉन्च किया गया एक चैटबॉट, मामलों की ग्रेडिंग (ट्राइजिंग) करते समय अक्सर चिकित्सा आपात स्थिति की गंभीरता को कम आंकता है। शोध दल ने सिस्टम में 60 वास्तविक दुनिया के चिकित्सा मामलों को शामिल किया और दिशानिर्देशों और अनुभव के आधार पर तीन चिकित्सकों के निर्णयों के साथ इसकी ट्राइएज सिफारिशों की तुलना की।
परिणामों से पता चला कि जिन मामलों में डॉक्टरों ने तुरंत आपातकालीन विभाग में जाना चाहिए, उनमें से ChatGPT हेल्थ में 51.6% का निर्धारण "24 से 48 घंटों के भीतर डॉक्टर को देखने" के लिए किया गया था, जो तथाकथित "निम्न ग्रेड" है। आपात्कालीन के रूप में वर्गीकृत स्थितियों में मधुमेह केटोएसिडोसिस, आसन्न श्वसन विफलता और अन्य गंभीर बीमारियाँ शामिल हैं जिनका यदि तुरंत इलाज नहीं किया गया तो मृत्यु हो सकती है। अध्ययन के प्रमुख लेखक और न्यूयॉर्क शहर के माउंट सिनाई अस्पताल में मूत्रविज्ञान के व्याख्याता अश्विन रामास्वामी ने कहा कि कुछ प्रशिक्षण वाला कोई भी डॉक्टर यह मान लेगा कि ऐसे रोगियों को तुरंत आपातकालीन विभाग में ले जाया जाना चाहिए, लेकिन चैटबॉट यात्रा की सिफारिश करने से पहले "स्थिति के गंभीर होने की प्रतीक्षा कर रहा था"। हालाँकि, स्ट्रोक जैसी आपात स्थितियों के लिए, जिनमें बहुत विशिष्ट लक्षण होते हैं, ChatGPT हेल्थ ने इस अध्ययन में 100% सटीक वर्गीकरण हासिल किया।
अध्ययन में यह भी देखा गया कि सिस्टम ने विभिन्न जनसांख्यिकीय विशेषताओं के तहत कैसा प्रदर्शन किया: प्रत्येक मामले को 16 वेरिएंट में बनाया गया था, जिससे मरीज का लिंग, नस्ल और अन्य जानकारी बदल गई, लेकिन डिज़ाइन के अनुसार, वैरिएंट की परवाह किए बिना निष्कर्ष समान होना चाहिए। अध्ययन में लिंग या नस्ल के आधार पर परिणामों में व्यवस्थित पूर्वाग्रह का कोई सबूत नहीं मिला।
अध्ययन में यह भी पाया गया कि चैटजीपीटी हेल्थ में गैर-जरूरी मामलों के साथ विपरीत समस्या थी: इसने डॉक्टरों की तुलना में 64.8% गैर-जरूरी मामलों को "ओवर-ग्रेड" कर दिया, जैसे कि एक मरीज को जिसके गले में केवल तीन दिनों से खराश थी, उसे 24 से 48 घंटों के भीतर घरेलू देखभाल द्वारा दिखाने के लिए कहना। रामास्वामी ने कहा कि उन्हें विभिन्न परिदृश्यों में मॉडल की सिफारिशों के पीछे के तर्क को देखने के लिए संघर्ष करना पड़ा, उन्होंने कहा कि इसके जोखिम संबंधी निर्णय नैदानिक जोखिम के "एक तरह से उलटे, लगभग विपरीत" थे।
आत्मघाती विचार या आत्म-नुकसान के जोखिम वाली स्थितियों में चैटजीपीटी हेल्थ का प्रदर्शन इसी तरह असंगत था। ओपनएआई की नीति में कहा गया है कि जब कोई उपयोगकर्ता आत्मघाती विचार व्यक्त करता है, तो चैटबॉट को उन्हें 988, राष्ट्रीय आत्महत्या और संकट हॉटलाइन पर कॉल करने के लिए निर्देशित करना चाहिए, और चैटजीपीटी हेल्थ उसी तंत्र का पालन करता है। लेकिन इस अध्ययन में, सिस्टम ने कभी-कभी 988 पर कॉल करने का सुझाव दिया जब इसकी आवश्यकता नहीं थी, लेकिन जब यह वास्तव में आवश्यक था तो सलाह देने में विफल रहा।
अध्ययन के निष्कर्षों के जवाब में, ओपनएआई के प्रवक्ता ने कहा कि कंपनी चिकित्सा क्षेत्र में कृत्रिम बुद्धिमत्ता के अनुप्रयोग पर शोध का स्वागत करती है, लेकिन उनका मानना है कि इस अध्ययन का डिज़ाइन चैटजीपीटी हेल्थ के विशिष्ट उपयोग या अपेक्षित उपयोग परिदृश्यों का प्रतिनिधित्व नहीं करता है। ओपनएआई के अनुसार, चैटजीपीटी हेल्थ का इंटरेक्शन मॉडल उपयोगकर्ताओं को किसी एक विवरण पर एक बार निर्णय लेने के लिए उस पर निर्भर रहने के बजाय, अधिक पृष्ठभूमि जानकारी प्रदान करने के लिए प्रश्न पूछना जारी रखने के लिए प्रोत्साहित करता है। वर्तमान में, ChatGPT हेल्थ अभी भी केवल सीमित उपयोगकर्ताओं के लिए खुला है। OpenAI मॉडल की सुरक्षा और विश्वसनीयता में सुधार जारी रख रहा है और अभी तक इसे पूरी तरह से बढ़ावा नहीं दिया है। आधिकारिक जानकारी इस बात पर भी जोर देती है कि उत्पाद "निदान या उपचार के लिए नहीं है", बल्कि एक अधिक सुरक्षित मंच पर बनाया गया है जो उपयोगकर्ताओं को अधिक संवेदनशील व्यक्तिगत चिकित्सा जानकारी अपलोड करने की अनुमति देता है।
इस साल जनवरी में OpenAI द्वारा जारी एक रिपोर्ट से पता चला है कि दुनिया भर में 40 मिलियन से अधिक लोगों ने स्वास्थ्य संबंधी सवालों के जवाब देने के लिए ChatGPT का उपयोग किया है। हर सप्ताह चिकित्सा बीमा से संबंधित लगभग 2 मिलियन बातचीत होती हैं। अधिकांश स्वास्थ्य परामर्श डॉक्टरों के सामान्य परामर्श घंटों के बाहर होते हैं, और हर हफ्ते 500,000 से अधिक संदेश उन क्षेत्रों से आते हैं जो अस्पताल से 30 मिनट से अधिक की ड्राइव पर हैं। शोधकर्ता बताते हैं कि एआई उपकरण इन लोगों के लिए बहुत आकर्षक हैं क्योंकि इन्हें प्राप्त करना कम लागत वाला है, प्रश्नों और उत्तरों की संख्या की कोई सीमा नहीं है, और उपयोगकर्ता उन सभी दस्तावेज़ों और विवरणों को अपलोड कर सकते हैं जिन पर वे चर्चा करना चाहते हैं। रामास्वामी के विचार में, बहुत से लोग न केवल सलाह की तलाश में हैं, बल्कि एक "चिकित्सा साथी" इंटरैक्टिव अनुभव की भी तलाश कर रहे हैं।
हालाँकि, कई विशेषज्ञ जो शोध में शामिल नहीं थे, उन्होंने आगाह किया कि वर्तमान चैटबॉट्स की चिकित्सा क्षमताओं को कम करके आंका नहीं जाना चाहिए। यूसीएलए हेल्थ सिस्टम के एक प्रशिक्षु जॉन माफ़ी ने कहा कि जीवन सुरक्षा को प्रभावित करने वाले किसी भी एआई चिकित्सा उत्पाद को बड़े पैमाने पर प्रचारित करने से पहले यह साबित करने के लिए कठोर यादृच्छिक नियंत्रित परीक्षणों से गुजरना होगा कि लाभ जोखिमों से अधिक हैं। विशेषज्ञ आमतौर पर मानते हैं कि चैटबॉट कई परिदृश्यों में उपयोगी स्वास्थ्य जानकारी प्रदान कर सकते हैं, लेकिन डॉक्टरों के आमने-सामने के फैसले को प्रतिस्थापित करना अभी भी मुश्किल है।
ड्यूक विश्वविद्यालय में बायोस्टैटिस्टिक्स और कंप्यूटर विज्ञान विभाग में सहायक प्रोफेसर मोनिका अग्रवाल ने बताया कि बाहरी दुनिया में अभी भी बड़े पैमाने के भाषा मॉडल के प्रशिक्षण डेटा और प्रशिक्षण विधियों की पारदर्शी समझ का अभाव है, और कई मौजूदा मूल्यांकन संकेतक (जैसे लाइसेंसिंग परीक्षाओं में उच्च अंक) सीधे उनकी वास्तविक चिकित्सा क्षमता का प्रतिनिधित्व नहीं करते हैं। उन्होंने यह भी उल्लेख किया कि बड़े भाषा मॉडल "प्रलोभन" कर रहे हैं और उपयोगकर्ता की राय को प्रतिध्वनित करते हैं, भले ही वे राय गलत हों, जो मरीजों की मौजूदा गलतफहमियों और पूर्वाग्रहों को मजबूत कर सकती हैं। माफ़ी ने कहा कि एआई उपकरण "आपको खुश करने के लिए डिज़ाइन किए गए हैं", लेकिन डॉक्टरों को कभी-कभी ऐसी बातें कहनी पड़ती हैं जो मरीज़ सुनना नहीं चाहते हैं।
इस सवाल पर कि क्या चिकित्सा सलाह प्रदान करने के लिए चैटबॉट्स पर भरोसा करना सुरक्षित है, रामास्वामी का विचार है कि, कम से कम वर्तमान चरण में, इसका उत्तर नहीं है, विशेष रूप से आपातकालीन स्थितियों में, एआई पर भरोसा नहीं किया जाना चाहिए, बल्कि डॉक्टरों या आपातकालीन सेवाओं से पहले संपर्क किया जाना चाहिए। सिंगापुर में एआई अनुसंधान नेटवर्क, ARISE के कार्यकारी निदेशक एथन गोह का मानना है कि कई विशिष्ट स्थितियों में, AI वास्तव में सुरक्षित और व्यवहार्य सुझाव दे सकता है, लेकिन कुंजी यह है कि उपयोगकर्ताओं को इसकी सीमाओं के बारे में पता होना चाहिए और इसे डॉक्टरों के विकल्प के रूप में नहीं मानना चाहिए। विशेषज्ञ इस बात पर जोर देते हैं कि भविष्य की सुरक्षित दिशा चिकित्सा संस्थानों और प्रौद्योगिकी कंपनियों के बीच घनिष्ठ सहयोग के माध्यम से उपकरणों के निरंतर विनियमन और सुधार के साथ डॉक्टरों के साथ मिलकर एआई का उपयोग करना है।
रामास्वामी ने कहा कि यदि मॉडल क्षमताओं में सुधार जारी रहता है, तो दूरदराज के क्षेत्रों या दुर्लभ चिकित्सा संसाधनों वाले वैश्विक स्वास्थ्य परिदृश्यों में "रोगी-एआई-डॉक्टर" तीन-पक्षीय सहयोग संबंध की स्थापना से मरीजों को ठोस लाभ मिल सकता है। लेकिन इससे पहले, जीवन को वास्तव में प्रभावित करने वाले निर्णय लेने से पहले इन प्रणालियों पर पर्याप्त कठोर मूल्यांकन और प्रतिबंध कैसे लगाए जाएं, यह अभी भी चिकित्सा और प्रौद्योगिकी उद्योगों के सामने एक कठिन समस्या है।