হপার জিপিইউ-এর জন্য দক্ষ ফ্ল্যাশএমএলএ কার্নেল ব্যবহার করে ডিপসিক ওপেন-সোর্স উদ্যোগ শুরু করেছে

তীব্রতর বৈশ্বিক প্রতিযোগিতা এবং হার্ডওয়্যার সরবরাহ শৃঙ্খলের চাপ, বিশেষ করে উচ্চ-কার্যক্ষমতাসম্পন্ন GPU-তে অ্যাক্সেস সম্পর্কিত, AI দক্ষতা অনেক প্রযুক্তি সংস্থার জন্য একটি কেন্দ্রীয় কেন্দ্রবিন্দুতে পরিণত হয়েছে।

চীনের DeepSeek AI এই আখ্যানের মধ্যে নিজেকে স্থান দিচ্ছে, নিছক মডেল স্কেলের চেয়ে স্থাপত্য অপ্টিমাইজেশনের উপর জোর দিচ্ছে, যা সম্প্রতি টেক জায়ান্ট টেনসেন্ট দ্বারা বৈধ একটি কৌশল। ২০২৫ সালের মার্চ মাসে ২০২৪ সালের চতুর্থ প্রান্তিকে আয়ের আহ্বানের সময়, টেনসেন্ট ডিপসিকের মডেলগুলিকে একীভূত করে তার GPU প্রয়োজনীয়তা হ্রাস করার কথা জানিয়েছে।

একজন কোম্পানির নির্বাহী উল্লেখ করেছেন, “চীনা কোম্পানিগুলি সাধারণত দক্ষতা এবং ব্যবহারকে অগ্রাধিকার দিচ্ছে — GPU সার্ভারের দক্ষ ব্যবহার। এবং এটি অগত্যা উন্নত প্রযুক্তির চূড়ান্ত কার্যকারিতাকে ক্ষতিগ্রস্ত করে না। এবং আমি মনে করি DeepSeek-এর সাফল্য সত্যিই একরকম প্রতীকী এবং দৃঢ় করে — সেই বাস্তবতাকে প্রমাণ করে।” যদিও টেনসেন্ট এখনও WeChat-এর মতো অ্যাপগুলিতে DeepSeek ইন্টিগ্রেশনের জন্য NVIDIA-এর H20 চিপের মতো হার্ডওয়্যার সংগ্রহ করে, বিবৃতিটি DeepSeek-এর দক্ষ ডিজাইনের উপর কৌশলগত নির্ভরতা তুলে ধরে।

DeepSeek-এর ওপেন সোর্স পুশ শুরু

এই দক্ষতা-প্রথম পদ্ধতিকে শক্তিশালী করে, DeepSeek X-এর মাধ্যমে একটি নতুন ওপেন-সোর্স উদ্যোগ ঘোষণা করেছে। এই পরিকল্পনাটিকে “ছোট কিন্তু আন্তরিক অগ্রগতি” ভাগ করে নেওয়ার পরিকল্পনা হিসাবে বর্ণনা করে, কোম্পানিটি সম্প্রদায়ের উন্নয়নকে উৎসাহিত করার জন্য পরের সপ্তাহে পাঁচটি কোড সংগ্রহস্থল প্রকাশ করার ইচ্ছা প্রকাশ করেছে, যোগ করেছে যে “কোনও আইভরি টাওয়ার থাকবে না – কেবল বিশুদ্ধ গ্যারেজ-শক্তি এবং সম্প্রদায়-চালিত উদ্ভাবন।” এই প্রোগ্রামের অধীনে উন্মোচিত প্রথম উপাদান হল FlashMLA।

FlashMLA একটি মাল্টি-হেড ল্যাটেন্ট অ্যাটেনশন (MLA) ডিকোডিং কার্নেল হিসাবে উপস্থাপিত হয়েছে, উন্নত দক্ষতার জন্য ডিজাইন করা ট্রান্সফরমার মনোযোগ প্রক্রিয়ার একটি বৈচিত্র্য, বিশেষভাবে NVIDIA-এর হপার GPU আর্কিটেকচারের জন্য টিউন করা হয়েছে। MIT লাইসেন্সের অধীনে GitHub-এ উপলব্ধ, DeepSeek কার্নেলটিকে পরিবেশন পরিস্থিতিতে “পরিবর্তনশীল-দৈর্ঘ্যের ক্রমগুলির জন্য ইঞ্জিনিয়ারড” হিসাবে বর্ণনা করেছে এবং “এটি ইতিমধ্যেই আমাদের উৎপাদন সিস্টেমগুলিকে শক্তিশালী করছে।”

এটি BF16 এবং FP16 ডেটা টাইপ সমর্থন করে এবং Paged KVCache ব্যবহার করে – ট্রান্সফরমার মডেলগুলিতে কী-মান অবস্থার জন্য স্টোরেজ অপ্টিমাইজ করার একটি মেমরি ম্যানেজমেন্ট কৌশল – যার 64-ব্লক আকার রয়েছে। এই পদ্ধতিটি সংলগ্ন ক্যাশিংয়ের তুলনায় আরও নমনীয় মেমরি বরাদ্দের অনুমতি দেয়, বিভিন্ন ক্রম দৈর্ঘ্যের সাথে সমসাময়িক অনুরোধগুলির জন্য সম্ভাব্য থ্রুপুট উন্নত করে।

পারফরম্যান্স দাবি এবং প্রযুক্তিগত ভিত্তি

DeepSeek H800 SXM5 GPU-তে চলমান FlashMLA-এর জন্য উল্লেখযোগ্য কর্মক্ষমতা মেট্রিক্স দাবি করে, 3000 GB/s পর্যন্ত মেমরি থ্রুপুট এবং 580 TFLOPS-এ পৌঁছানোর কম্পিউট কর্মক্ষমতা উল্লেখ করে, যদিও এই পরিসংখ্যানগুলি বিভিন্ন কাজের চাপ জুড়ে স্বাধীন, বাস্তব-বিশ্বের বৈধতা প্রয়োজন।

সর্বোত্তম পারফরম্যান্সের জন্য CUDA 12.8 বা তার পরবর্তী সংস্করণ প্রয়োজন বলে জানা গেছে, যদিও PyTorch 2.0+ এর পাশাপাশি CUDA 12.3 থেকে সামঞ্জস্য শুরু হয়। কোম্পানিটি FlashAttention 2&3 এবং NVIDIA এর নিজস্ব Cutlass লাইব্রেরির মতো প্রতিষ্ঠিত প্রকল্পগুলি থেকে অনুপ্রেরণা গ্রহণ করে।

GitHub সংগ্রহস্থলটি MetaX (MetaX-MACA/FlashMLA), Moore Threads (MooreThreads/MT-flashMLA), Hygon DCU (OpenDAS/MLAttention), Intellifusion (Intellifusion/tyllm), Iluvatar Corex (Deep-Spark/FlashMLA), এবং AMD Instinct (AITER/MLA) সহ অন্যান্য হার্ডওয়্যার প্ল্যাটফর্মের জন্য প্রযুক্তিটি অভিযোজিত করার সম্প্রদায়ের প্রচেষ্টার দিকেও ইঙ্গিত করে, যা অন্তর্নিহিত কৌশলগুলিতে বৃহত্তর ইকোসিস্টেমের আগ্রহের পরামর্শ দেয়।

প্রতিযোগিতামূলক এবং জটিল পরিবেশে নেভিগেট করা

ওপেন-সোর্স রিলিজটি ঘটে যখন ডিপসিক তার পরবর্তী প্রধান মডেল, R2 এর জন্য ডেভেলপমেন্ট টাইমলাইন ত্বরান্বিত করেছে বলে জানা গেছে, যা ২০২৫ সালের মে মাসে পরিকল্পিত আত্মপ্রকাশ থেকে সম্ভাব্য আগে লঞ্চে স্থানান্তরিত হয়েছে, যেমনটি ফেব্রুয়ারির শেষের দিকে রিপোর্ট করা হয়েছিল।

এই তাড়াহুড়ো OpenAI, Google এবং Anthropic এর মতো বিশ্বব্যাপী AI নেতাদের চাপের সাথে যুক্ত, সেইসাথে Alibaba এর দ্রুত বিকশিত Qwen মডেলগুলির (QwQ-Max-Preview এর মতো) দেশীয় প্রতিযোগিতার সাথেও যুক্ত। এই বাজারের গতিশীলতাকে আরও জটিল করে তোলার জন্য নিয়ন্ত্রক চ্যালেঞ্জ রয়েছে, যার মধ্যে রয়েছে মার্কিন নিষেধাজ্ঞা এবং ডেটা অনুশীলন সম্পর্কিত ইউরোপে তদন্ত। তদুপরি, NVIDIA হার্ডওয়্যারের উপর ডিপসিকের নির্ভরতা একটি কারণ হিসাবে রয়ে গেছে, কারণ চলমান মার্কিন রপ্তানি নিয়ন্ত্রণ চীনে চিপ প্রাপ্যতাকে প্রভাবিত করছে।

কৌশলগত অপরিহার্যতা হিসেবে দক্ষতা

দক্ষ অনুমানের জন্য একটি মূল উপাদানের উপর দৃষ্টি নিবদ্ধ করে FlashMLA রিলিজটি, কেবলমাত্র বিশাল প্যারামিটার গণনা অনুসরণ করার পরিবর্তে স্থাপত্যের চতুরতার মাধ্যমে প্রতিযোগিতা করার জন্য DeepSeek-এর কৌশলের সাথে সামঞ্জস্যপূর্ণ, যা OpenAI-এর বিশাল, ব্যয়বহুল GPT-4.5-এর মতো সম্পদ-নিবিড় মডেল দ্বারা উদাহরণিত।

এই দিকটি আরও প্রমাণিত হয়েছিল ২৪শে মার্চ বৃহৎ DeepSeek-V3-0324 চেকপয়েন্টের নীরব, উন্মুক্ত-ওজন প্রকাশের মাধ্যমে, যা MLAও ব্যবহার করে, এবং এপ্রিল ২০২৫ সালে স্ব-নীতিগত সমালোচনা টিউনিং (SPCT) -এর উপর গবেষণার প্রকাশনা (arXiv-এ উপলব্ধ কাগজ), একটি অনুমান-সময় সারিবদ্ধকরণ কৌশল যা মানুষের প্রতিক্রিয়ার উপর নির্ভরতা হ্রাস করার লক্ষ্যে করা হয়েছে।

FlashMLA-এর মতো ওপেন-সোর্সিং উপাদানগুলির মাধ্যমে, DeepSeek সম্ভবত তার দক্ষতা-ভিত্তিক স্থাপত্যগুলিকে আরও বিস্তৃতভাবে গ্রহণ এবং উন্নয়নের জন্য উৎসাহিত করার আশা করে, যা সম্ভাব্যভাবে সম্পদ-সীমাবদ্ধ পরিবেশে একটি প্রতিযোগিতামূলক সুবিধা তৈরি করবে।

সূত্র: Winbuzzer / Digpu NewsTex