WWDC सम्मेलन लिक्विड डिज़ाइन, उसके ऑपरेटिंग सिस्टम के लिए आगामी नई विज़ुअल डिज़ाइन भाषा पर केंद्रित था, और Apple ने AI फाउंडेशन मॉडल की अगली पीढ़ी की भी घोषणा की जो डिवाइस और क्लाउड दोनों का समर्थन करेगी। सम्मेलन के बाद, टेक दिग्गज एक विस्तृत तकनीकी रिपोर्ट के माध्यम से ऐप्पल की एआई रणनीति को बेहतर ढंग से समझने के लिए तैयार है, जो उपयोगकर्ताओं और तकनीकी समुदाय को उसके मॉडलों के प्रशिक्षण और अनुकूलन प्रक्रिया के बारे में जानकारी देगा। ऐप्पल ने रिपोर्ट में इस बात पर जोर दिया कि मॉडलों को प्रशिक्षित करते समय वह वास्तव में गोपनीयता और दक्षता पर ध्यान केंद्रित करता है।
हालाँकि यह कृत्रिम बुद्धिमत्ता के वर्तमान क्षेत्र में बहुत महत्वपूर्ण नहीं है, Apple ने अपने मूल मॉडल पर "Apple इंटेलिजेंस बेसिक लैंग्वेज मॉडल - 2025 तकनीकी रिपोर्ट" नामक एक विस्तृत रिपोर्ट जारी की है, जो नवीनतम कृत्रिम बुद्धिमत्ता मॉडल के प्रमुख तत्वों का गहन परिचय प्रदान करती है। यह रिपोर्ट मॉडल आर्किटेक्चर से लेकर प्रशिक्षण चरण, प्रशिक्षण के बाद के चरण और मॉडल को कैसे ठीक किया जाए, लगभग सब कुछ कवर करती है। रिपोर्ट गोपनीयता उल्लंघनों से बचते हुए मॉडल दक्षता बढ़ाने के लिए मॉडल तकनीकी सुधार सुनिश्चित करने के लिए उपयोग की जाने वाली विधियों की भी पड़ताल करती है।
जबकि Apple ने पहले डेवलपर्स के लिए उपलब्ध ऑन-डिवाइस AI मॉडल और उसके पास मौजूद 3 बिलियन पैरामीटर साझा किए हैं, सीमा यह है कि इसकी संरचना अब तक विरल रही है। कथित तौर पर दक्षता बढ़ाने के लिए मॉडल को कई भागों में विभाजित किया गया है। पहले भाग को ब्लॉक 1 कहा जाता है और इसमें 60% से अधिक मुख्य बिल्डिंग ब्लॉक (जिन्हें परिवर्तन परतें कहा जाता है) शामिल हैं। एआई तब भाषा के मुख्य भावों को समझता है और प्रतिक्रियाएँ उत्पन्न करता है।
दूसरा भाग, जिसे ब्लॉक 2 कहा जाता है, दो मेमोरी-गहन तकनीकी घटकों को हटाने के कारण अधिक हल्का है: कुंजी और मूल्य प्रक्षेपण। इस रणनीति की बदौलत, Apple मॉडल की मेमोरी फ़ुटप्रिंट को लगभग 38% तक कम करने में सक्षम था और यहां तक कि मॉडल के प्रतिक्रिया समय को भी तेज़ कर दिया। कंपनी इस बात पर विचार कर रही है कि अपने एआई मॉडल के प्रदर्शन को मूल रूप से कैसे बेहतर बनाया जाए, और कुछ साल पहले उन्होंने एक ऐसे मॉडल को चलाने का विचार खोजा जो डिवाइस की मेमोरी क्षमता से बड़ा हो। हालाँकि उन्होंने अंततः स्थापित समाधान नहीं अपनाया, वे हार्डवेयर सीमाओं और अन्य चुनौतियों से निपटने के तरीकों की तलाश कर रहे हैं।
AI मॉडल के सर्वर पक्ष के संबंध में, Apple यह सुनिश्चित करता है कि उसका निजी क्लाउड कंप्यूटिंग सिस्टम एक अनुकूलित आर्किटेक्चर को अपनाए। इस दृष्टिकोण को पैरेलल ऑर्बिट मिक्स्ड एक्सपर्ट्स (पीटी-एमओई) कहा जाता है, और यह एक चतुर रणनीति है, जो सीधे शब्दों में कहें तो बड़े एआई मॉडल को छोटे भागों में तोड़ देती है जिन्हें विशेषज्ञ कहा जाता है। अब, मॉडल को विशेषज्ञों के मिश्रण में विभाजित करके, मॉडल को हर बार पूरी तरह से चलाने की आवश्यकता नहीं है; इसके बजाय, यह केवल वर्तमान कार्य से संबंधित विशेषज्ञों पर ही ध्यान केंद्रित कर सकता है। डोमेन विशेषज्ञता वाले मॉडल के केवल उन्हीं हिस्सों को सक्रिय किया जाता है, जिससे प्रदर्शन में बचत होती है और दक्षता बढ़ती है।
इसके अलावा, ऐप्पल ने "पैरेलल ट्रैक ट्रांसफार्मर" नामक एक नया ट्रांसफार्मर आर्किटेक्चर भी डिजाइन किया है, जिसमें कई स्वतंत्र रूप से चलने वाले ट्रैक हैं जो केवल प्रमुख बिंदुओं पर एक साथ काम करते हैं। इस वजह से, यह मॉडल सिस्टम-व्यापी विलंबता का अनुभव नहीं करता है। टेक दिग्गज ने ऐप्पल इंटेलिजेंस के सबसे बड़े दर्द बिंदुओं में से एक को भी संबोधित किया है: सीमित भाषा समर्थन।
नए मॉडल के साथ, Apple ने अपनी बहु-भाषा क्षमताओं में उल्लेखनीय सुधार किया है। भाषा समर्थन का विस्तार करने के लिए, Apple ने प्रशिक्षण प्रक्रिया में गैर-अंग्रेजी डेटा का अनुपात 8% से बढ़ाकर 30% कर दिया है, जिसमें वास्तविक सामग्री और AI-जनित सामग्री शामिल है, जिससे मॉडल की समझ में सुधार हुआ है और भाषाओं की एक विस्तृत श्रृंखला का समर्थन किया गया है। इससे लेखन उपकरण जैसी सुविधाएं बेहतर ढंग से काम करेंगी। नए AI सिस्टम को प्रशिक्षित करते समय, Apple अपने घरेलू वेब क्रॉलर Applebot द्वारा एकत्र किए गए वेब डेटा पर बहुत अधिक निर्भर करता है, जिसका उपयोग पिछले मॉडल में भी किया गया है। दिलचस्प बात यह है कि चूंकि ऐप्पल गोपनीयता का सम्मान करता है, अगर कोई वेबसाइट क्रॉल नहीं होना चाहती है, तो उसकी सामग्री का उपयोग नहीं किया जाएगा।
कंपनी अपने मॉडलों को प्रशिक्षित करने के लिए विभिन्न तकनीकों का उपयोग करती है; मुख्य रूप से प्रशिक्षण सामग्री के रूप में सार्वजनिक वेब डेटा का उपयोग करना। Apple अप्रासंगिक सामग्री को फ़िल्टर करता है और उपयोगी और प्रासंगिक डेटा सेट पर ध्यान केंद्रित करता है। इसी तरह, टेक दिग्गज लाइसेंस प्राप्त सामग्री के लिए प्रकाशकों पर निर्भर है, हालांकि इसने उन मीडिया कंपनियों के नामों का खुलासा किया है जिन पर यह भरोसा करती है। कंपनी सिंथेटिक डेटा एकत्र करने के लिए छोटे मॉडलों का भी उपयोग करती है, खासकर जब बेहतर फाइन-ट्यूनिंग के लिए छवि भाषा कार्यों, कोड या निर्देश निष्पादन की बात आती है।
इस बहु-दृष्टिकोण में दृश्य डेटा भी शामिल है, क्योंकि विशाल के पास स्क्रीनशॉट और हस्तलिखित नोट्स सहित 10 बिलियन से अधिक छवि-कैप्शन जोड़े हैं। यह बेहतर उपशीर्षक उत्पन्न करने के लिए अपने स्वयं के मॉडल का भी उपयोग करता है। ये सभी प्रशिक्षण विधियाँ Apple को अधिक स्मार्ट, अधिक शक्तिशाली मॉडल बनाने में मदद करती हैं। अपने AI मॉडलों के प्रशिक्षण के लिए Apple का दृष्टिकोण बहुत स्पष्ट है। यह एक संतुलन रणनीति है जो सुनिश्चित करती है कि सिस्टम अपने मूल मूल्य: गोपनीयता से समझौता किए बिना शक्तिशाली और बहुमुखी बना रहे।