बढ़ती वैश्विक प्रतिस्पर्धा और हार्डवेयर आपूर्ति श्रृंखला के दबावों, खासकर उच्च-प्रदर्शन वाले GPU तक पहुँच के संबंध में, के बीच, AI दक्षता कई प्रौद्योगिकी फर्मों के लिए एक केंद्रीय फोकस बन गई है।
चीन की डीपसीक AI इसी सोच के अनुरूप खुद को स्थापित कर रही है, और विशुद्ध मॉडल पैमाने की बजाय आर्किटेक्चरल ऑप्टिमाइज़ेशन पर ज़ोर दे रही है, एक ऐसी रणनीति जिसे हाल ही में तकनीकी दिग्गज Tencent ने भी मान्य किया है। मार्च 2025 में अपनी Q4 2024 आय कॉल के दौरान, Tencent ने DeepSeek के मॉडलों को एकीकृत करके अपनी GPU आवश्यकताओं को कम करने की सूचना दी।
कंपनी के एक कार्यकारी ने कहा, “चीनी कंपनियाँ आमतौर पर दक्षता और उपयोगिता को प्राथमिकता देती हैं—GPU सर्वरों का कुशल उपयोग। और यह ज़रूरी नहीं कि विकसित की जा रही तकनीक की अंतिम प्रभावशीलता को कम कर दे। और मुझे लगता है कि डीपसीक की सफलता वास्तव में इस वास्तविकता का प्रतीक और पुष्टीकरण करती है—इसका प्रदर्शन करती है।” हालाँकि Tencent अभी भी WeChat जैसे ऐप्स में डीपसीक के एकीकरण के लिए NVIDIA के H20 चिप्स जैसे हार्डवेयर खरीदता है, यह बयान डीपसीक के कुशल डिज़ाइनों पर रणनीतिक निर्भरता को उजागर करता है।
डीपसीक का ओपन सोर्स अभियान शुरू
इस दक्षता-प्रथम दृष्टिकोण को सुदृढ़ करते हुए, डीपसीक ने X के माध्यम से एक नई ओपन-सोर्स पहल की घोषणा की। इस योजना को “छोटी लेकिन गंभीर प्रगति” बताते हुए, कंपनी ने सामुदायिक विकास को बढ़ावा देने के लिए अगले सप्ताह पाँच कोड रिपॉजिटरी जारी करने का इरादा जताया। साथ ही, उन्होंने यह भी कहा कि “कोई विशाल टॉवर नहीं – केवल शुद्ध गैराज-ऊर्जा और समुदाय-संचालित नवाचार” होगा। इस कार्यक्रम के तहत अनावरण किया गया पहला घटक FlashMLA है।
FlashMLA को मल्टी-हेड लेटेंट अटेंशन (MLA) डिकोडिंग कर्नेल के रूप में प्रस्तुत किया गया है, जो बेहतर दक्षता के लिए डिज़ाइन किए गए ट्रांसफॉर्मर अटेंशन मैकेनिज्म का एक रूपांतर है, जिसे विशेष रूप से NVIDIA के हॉपर GPU आर्किटेक्चर के लिए ट्यून किया गया है। GitHub पर MIT लाइसेंस के तहत उपलब्ध, डीपसीक द्वारा इस कर्नेल का वर्णन सर्विंग परिदृश्यों में “परिवर्तनीय-लंबाई अनुक्रमों के लिए डिज़ाइन किया गया” और “यह पहले से ही हमारे उत्पादन प्रणालियों को शक्ति प्रदान कर रहा है” के रूप में किया गया है।
यह BF16 और FP16 डेटा प्रकारों का समर्थन करता है और पेज्ड KVCache का उपयोग करता है—एक मेमोरी प्रबंधन तकनीक जो ट्रांसफॉर्मर मॉडल में कुंजी-मान स्थितियों के लिए संग्रहण को अनुकूलित करती है—जिसका आकार 64-ब्लॉक है। यह दृष्टिकोण निरंतर कैशिंग की तुलना में अधिक लचीले मेमोरी आवंटन की अनुमति देता है, जिससे अलग-अलग अनुक्रम लंबाई वाले समवर्ती अनुरोधों के लिए थ्रूपुट में संभावित रूप से सुधार होता है।
प्रदर्शन संबंधी दावे और तकनीकी आधार
DeepSeek, H800 SXM5 GPU पर चलने वाले FlashMLA के लिए पर्याप्त प्रदर्शन मीट्रिक्स का दावा करता है, जिसमें 3000 GB/s तक मेमोरी थ्रूपुट और 580 TFLOPS तक पहुँचने वाले कंप्यूट प्रदर्शन का हवाला दिया गया है, हालाँकि इन आँकड़ों के लिए विभिन्न कार्यभारों पर स्वतंत्र, वास्तविक सत्यापन आवश्यक है।
कथित तौर पर, इष्टतम प्रदर्शन के लिए CUDA 12.8 या उसके बाद के संस्करण की आवश्यकता होती है, हालाँकि संगतता PyTorch 2.0+ के साथ CUDA 12.3 से शुरू होती है। कंपनी FlashAttention 2&3 और NVIDIA की अपनी Cutlass लाइब्रेरी जैसी स्थापित परियोजनाओं से प्रेरणा लेती है।
GitHub रिपॉजिटरी अन्य हार्डवेयर प्लेटफ़ॉर्म के लिए तकनीक को अनुकूलित करने के सामुदायिक प्रयासों की ओर भी इशारा करती है, जिनमें MetaX (MetaX-MACA/FlashMLA), Moore Threads (MooreThreads/MT-flashMLA), Hygon DCU (OpenDAS/MLAttention), Intellifusion (Intellifusion/tyllm), Iluvatar Corex (Deep-Spark/FlashMLA), और AMD Instinct (AITER/MLA) शामिल हैं, जो अंतर्निहित तकनीकों में व्यापक पारिस्थितिकी तंत्र की रुचि का संकेत देते हैं।
प्रतिस्पर्धी और जटिल वातावरण में नेविगेट करना
यह ओपन-सोर्स रिलीज़ तब हुआ जब DeepSeek ने कथित तौर पर अपने अगले प्रमुख मॉडल, R2 के विकास समय को तेज कर दिया, और मई 2025 में लॉन्च होने की योजना से हटकर, संभवतः पहले लॉन्च किया जा रहा है, जैसा कि फरवरी के अंत में बताया गया था।
यह जल्दबाज़ी ओपनएआई, गूगल और एंथ्रोपिक जैसे वैश्विक एआई दिग्गजों के दबाव के साथ-साथ अलीबाबा के तेज़ी से विकसित हो रहे क्वेन मॉडल (जैसे क्यूडब्ल्यूक्यू-मैक्स-प्रीव्यू) से घरेलू प्रतिस्पर्धा से जुड़ी है। इन बाज़ार गतिशीलताओं को और जटिल बना रही हैं नियामक चुनौतियाँ, जिनमें अमेरिकी प्रतिबंध और यूरोप में डेटा प्रथाओं से संबंधित जाँच शामिल हैं। इसके अलावा, चीन में चिप की उपलब्धता को प्रभावित करने वाले अमेरिकी निर्यात नियंत्रणों को देखते हुए, डीपसीक की NVIDIA हार्डवेयर पर निर्भरता एक कारक बनी हुई है।
रणनीतिक अनिवार्यता के रूप में दक्षता
FlashMLA रिलीज़, जो कुशल अनुमान के एक मुख्य घटक पर केंद्रित है, डीपसीक की रणनीति के अनुरूप है, जिसमें केवल बड़े पैमाने पर पैरामीटर गणना के बजाय वास्तुशिल्पीय चतुराई के माध्यम से प्रतिस्पर्धा करने की रणनीति शामिल है, जिसका उदाहरण ओपनएआई के विशाल, महंगे GPT-4.5 जैसे संसाधन-गहन मॉडल हैं।
इस दिशा को 24 मार्च को बड़े डीपसीक-V3-0324 चेकपॉइंट के शांत, ओपन-वेट रिलीज़ से और भी पुष्ट किया गया, जो MLA का भी उपयोग करता है, और अप्रैल 2025 में सेल्फ-प्रिंसिपल्ड क्रिटिक ट्यूनिंग (SPCT) (arXiv पर उपलब्ध पेपर) पर शोध का प्रकाशन, जो एक अनुमान-समय संरेखण तकनीक है जिसका उद्देश्य मानव प्रतिक्रिया पर निर्भरता को कम करना है।
फ्लैशएमएलए जैसे घटकों को ओपन-सोर्स करके, डीपसीक संभवतः अपने दक्षता-उन्मुख आर्किटेक्चर के आसपास व्यापक रूप से अपनाने और विकास को बढ़ावा देने की उम्मीद करता है, जिससे संसाधन-विवश वातावरण में संभावित रूप से प्रतिस्पर्धात्मक लाभ का निर्माण हो सके।
स्रोत: विनबज़र / डिग्पू न्यूज़टेक्स