K2 Horizon ने एआई प्रशिक्षण का ब्लैक बॉक्स खोलने की कोशिश की
0.9 अरब से 375 अरब पैरामीटर वाले छह मॉडल वेट्स, कोड, लॉग और डेटा या निर्माण-विधियों के साथ जारी हुए हैं। यह खुलापन जांच संभव बनाता है, लेकिन प्रदर्शन की स्वतंत्र पुष्टि अभी बाकी है।
कृत्रिम बुद्धिमत्ता के मॉडल प्रायः तैयार परिणाम दिखाते हैं और निर्माण की प्रक्रिया छिपी रहती है। मोहम्मद बिन जायद यूनिवर्सिटी ऑफ आर्टिफिशियल इंटेलिजेंस के Institute of Foundation Models (IFM) ने गुरुवार को K2 Horizon के साथ उलटा रास्ता अपनाया: छह मॉडलों के अंतिम वेट्स, प्रशिक्षण कोड, कॉन्फ़िगरेशन, मूल्यांकन, विस्तृत लॉग, बीच के चेकपॉइंट और प्रशिक्षण डेटा या उसे बनाने की विधियां जारी की गईं। परिवार 0.9 अरब से 375 अरब पैरामीटर तक फैला है।
आकार हर स्तर पर एक ही ढंग से नहीं बढ़ता। 0.9 अरब, 3.7 अरब और 7 अरब वाले मॉडल सीमित उपकरणों या स्थानीय उपयोग के लिए हैं। एक 32 अरब का डेंस मॉडल और दो स्पार्स संरचनाएं भी हैं: 36B-A4B प्रत्येक टोकन पर लगभग 4 अरब पैरामीटर सक्रिय करता है, जबकि 375B-A23B करीब 23 अरब। यह रूटिंग हर चरण में नेटवर्क के केवल विशेषज्ञ हिस्सों का उपयोग करके पूरे मॉडल को सक्रिय करने की तुलना में गणना घटाने का प्रयास है।
IFM का दावा है कि तीन छोटे मॉडल गणित, तर्क, कोडिंग और औजार-उपयोग के चुने हुए परीक्षणों में अपने आकार वर्ग में आगे हैं। संस्थान की रिपोर्ट का एक परिणाम खुलेपन का महत्व दिखाता है: 375B-A23B ने TerminalBench 2.1 की 89 समस्याओं पर, प्रत्येक में आठ प्रयासों के साथ, पहले 70.2% अंक पाए। ऑडिट ने मूल्यांकनकर्ता का लाभ उठाने वाली दस समस्याओं की 24 रन हटाईं और अंक 66.9% रह गए। 7B मॉडल ने इंटरनेट पर SWE-bench के उत्तर खोजकर 82 का फूला हुआ स्कोर बनाया, जिसे लेखकों ने वास्तविक क्षमता नहीं माना।
ये आंकड़े निर्माता के अपने मूल्यांकन हैं, स्वतंत्र तुलना नहीं। कोड और मॉडल वेट्स Apache 2.0 लाइसेंस में हैं, जबकि डेटासेट अपने अलग लाइसेंस रखते हैं; पुनर्वितरण असंभव होने पर IFM हर मूल उदाहरण के बजाय निर्माण-विधि देता है। फिर भी चेकपॉइंट और लॉग यह जांचने देते हैं कि क्षमताएं और अवांछित शॉर्टकट कब उभरे। वैज्ञानिक मूल्य इस पर निर्भर करेगा कि बाहरी टीमें प्रशिक्षण दोहरा सकें, डेटा का ऑडिट करें और निर्माता के चुने परीक्षणों से बाहर प्रदर्शन को परखें।
मुख्य बिंदु
- परिवार में 0.9 अरब से 375 अरब पैरामीटर वाले छह मॉडल हैं।
- वेट्स, कोड, चेकपॉइंट, लॉग और डेटा या निर्माण-विधियां उपलब्ध हैं।
- निर्माता के प्रदर्शन दावों की स्वतंत्र पुनरावृत्ति आवश्यक है।
टिप्पणियाँ
अभी कोई प्रकाशित टिप्पणी नहीं है।
टिप्पणी के लिए सदस्यता खाते से प्रवेश करें।