மெட்டா நிறுவனம் அமேசான் மற்றும் மைக்ரோசாப்ட் நிறுவனத்திடமிருந்து லாமா AI மாதிரி மேம்பாட்டிற்கான நிதியை நாடியது.

மெட்டா பிளாட்ஃபார்ம்கள் கூட AI பந்தயத்தின் அதிர்ச்சியூட்டும் செலவுகளுக்கு விதிவிலக்கல்ல. தி இன்ஃபர்மேஷன் அறிக்கை செய்த விவாதங்கள் குறித்து விளக்கப்பட்ட நான்கு நபர்களின் கூற்றுப்படி, நிறுவனம் கடந்த ஆண்டின் ஒரு பகுதியை மைக்ரோசாப்ட், அமேசான் மற்றும் பிற போட்டியாளர்களை அணுகி, அதன் முதன்மையான லாமா பெரிய மொழி மாதிரிகளைப் பயிற்றுவிக்க நிதி உதவியை நாடியது.

“லாமா கூட்டமைப்பு” என்று அழைக்கப்படும் இந்த முயற்சிகள், அதன் செயற்கை நுண்ணறிவு வளர்ச்சிக்குத் தேவையான வளங்களை அதிகரிப்பது குறித்து மெட்டாவிற்குள் இருந்த அச்சத்தால் உந்தப்பட்டதாக இரண்டு பேர் தெரிவித்தனர். ஒரு இனிப்பான விஷயமாக, லாமாவின் எதிர்கால அம்ச மேம்பாட்டில் சாத்தியமான நிதி ஆதரவாளர்களுக்கு ஒரு பங்கை வழங்குவது குறித்து மெட்டா விவாதித்ததாகத் தெரிகிறது.

மெட்டாவின் முன்மொழிவுக்கான ஆரம்ப எதிர்வினை மந்தமாக இருந்ததாகவும், ஏதேனும் முறையான நிதி ஒப்பந்தங்கள் செய்யப்பட்டதா என்பது நிச்சயமற்றது என்றும் ஆதாரங்கள் தெரிவிக்கின்றன. இருப்பினும், முன்னணி AI அமைப்புகளை உருவாக்குவதில் உள்ள கடுமையான நிதிச் சுமையை இந்த முயற்சி வெளிப்படுத்துகிறது, மெட்டாவின் ஆழமான பாக்கெட்டுகளைக் கொண்ட நிறுவனங்களுக்குக் கூட அழுத்தம் கொடுக்கிறது மற்றும் உருவாக்கும் AI இல் அதிக பங்குகளை சமிக்ஞை செய்கிறது.

Llama 4 – மெட்டாவின் சமீபத்திய மாதிரிகள்

மெட்டாவின் நிதி கூட்டாளர்களுக்கான தேடல் அதன் சமீபத்திய Llama 4 அறிவிப்பை ஒரு புதிய வெளிச்சத்தில் காட்டுகிறது. அந்த வெளியீடு Llama 4 Scout (109B மொத்த அளவுருக்கள், 17B செயலில்) அறிமுகப்படுத்தியது, விதிவிலக்காக பெரிய 10 மில்லியன் டோக்கன் சூழல் சாளரத்துடன் ஒற்றை-GPU பயன்பாட்டை இலக்காகக் கொண்டது – ஒரே நேரத்தில் சுமார் 7.5 மில்லியன் சொற்களை செயலாக்கும் திறன் கொண்டது.

இது பெரிய பணிச்சுமைகளுக்கு மிகப் பெரிய Llama 4 Maverick (400B மொத்த அளவுருக்கள், 17B செயலில், 128 நிபுணர்கள்) ஐயும் வெளியிட்டது. இரண்டும் ஒரு கலவை-நிபுணர்கள் (MoE) கட்டமைப்பைப் பயன்படுத்துகின்றன, இது சிறப்பு துணை நெட்வொர்க்குகளைப் (‘நிபுணர்கள்’) பயன்படுத்தும் ஒரு நுட்பமாகும், இதில் ஒரு பணிக்கு தேவையானவை மட்டுமே செயல்படுத்தப்படுகின்றன, அனைத்து அளவுருக்கள் எப்போதும் பயன்படுத்தப்படும் அடர்த்தியான மாதிரிகளுடன் ஒப்பிடும்போது செயல்பாட்டின் போது அதிக செயல்திறனை நோக்கமாகக் கொண்டுள்ளது.

அவை இயல்பான மல்டிமாடலிட்டியுடன் உருவாக்கப்பட்டன, பின்னர் படத் திறன்களைச் சேர்ப்பதற்குப் பதிலாக, முன் பயிற்சி நிலையிலிருந்து ஆரம்ப இணைவைப் பயன்படுத்தி உரை மற்றும் படங்களை ஒன்றாகக் கையாளுகின்றன.

இவற்றின் அடிப்படையானது, வடிகட்டுதலுக்காக (சிறிய மாதிரிகளைக் கற்பித்தல்) உள்நாட்டில் பயன்படுத்தப்படும் 2-டிரில்லியன் அளவுரு மாதிரியான லாமா 4 பெஹிமோத் ஆகும், இதற்கு 32,000 GPUகள் வரை பயிற்சி தேவைப்பட்டது. மெட்டா FP8 துல்லியம் போன்ற நுட்பங்களைப் பயன்படுத்தியது – கணக்கீடுகளை விரைவுபடுத்தும் குறைந்த-துல்லிய எண் வடிவம் – மற்றும் நீண்ட வரிசைகளை திறம்பட கையாள இடைப்பட்ட ரோட்டரி நிலை உட்பொதிப்புகள் (iRoPE) போன்ற புதிய கட்டிடக்கலை கூறுகள்.

இந்த அளவு மற்றும் சிக்கலான மாதிரிகளை உருவாக்குதல், பயிற்சி செய்தல் மற்றும் சுத்திகரித்தல் – MoE, மல்டிமாடலிட்டி, மேம்பட்ட நிலை குறியாக்கம் மற்றும் போட்டி அளவுகோல்களை அடைதல் – இயல்பாகவே மகத்தான கணக்கீட்டு சக்தி மற்றும் பொறியியல் முயற்சியைக் கோருகிறது, பகிரப்பட்ட முதலீட்டிற்கான சாத்தியமான தேவையை நேரடியாக விளக்குகிறது. MoE சாத்தியமான அனுமான செயல்திறனை வழங்கும் அதே வேளையில், முன்கூட்டிய பயிற்சி செலவு ஒரு குறிப்பிடத்தக்க காரணியாகவே உள்ளது.

வளர்ச்சி தடைகள் மற்றும் தரவு கேள்விகள்

மூல கணக்கீட்டைத் தாண்டி, குறிப்பிட்ட வெளியீடுகள் மற்றும் பாதுகாப்பிற்காக லாமா 4 ஐ டியூன் செய்வதற்கு மெட்டா வளங்களை அர்ப்பணித்தது. நிறுவனம் தனது இலக்கு LLM களில் உள்ள அரசியல் சார்புகளை எதிர்கொள்வதாக பகிரங்கமாகக் கூறியது, “அனைத்து முன்னணி LLM களும் சார்பு தொடர்பான சிக்கல்களைக் கொண்டுள்ளன என்பது நன்கு அறியப்பட்டதே – குறிப்பாக, விவாதிக்கப்படும் அரசியல் மற்றும் சமூக தலைப்புகளுக்கு வரும்போது அவை வரலாற்று ரீதியாக இடதுபுறம் சாய்ந்துள்ளன… இது இணையத்தில் கிடைக்கும் பயிற்சி தரவுகளின் வகைகள் காரணமாகும்.”

உள் சோதனைகள் உணர்திறன் வாய்ந்த தலைப்புகளில் குறைக்கப்பட்ட மறுப்பு விகிதங்கள் மற்றும் கருத்தியல் ஏற்றத்தாழ்வுகளைக் காட்டியதாகவும், பாதிப்புகளைக் கண்டறிய ஒரு விரோத சோதனை முறையாக லாமா கார்டு மற்றும் GOAT ரெட்-டீமிங் சிஸ்டம் போன்ற பாதுகாப்பு கருவிகளைப் பயன்படுத்துவதாகவும் மெட்டா கூறியது. இந்த நேர்த்தியான சரிசெய்தல் மற்றும் பாதுகாப்பு அடுக்குகள் மேலும் மேம்பாட்டு மேல்நிலையைச் சேர்க்கின்றன.

மெட்டாவின் நிதிக் கணக்கீட்டில் அதன் பயிற்சித் தரவு பற்றிய தொடர்ச்சியான சட்ட கேள்விகள் சேர்க்கப்படுகின்றன, இது வளர்ச்சி சவால்கள் மற்றும் செலவுகளின் மற்றொரு அம்சத்தைக் குறிக்கிறது. நகைச்சுவை நடிகர் சாரா சில்வர்மேன் சம்பந்தப்பட்ட வழக்கு உட்பட, செயலில் உள்ள வழக்குகள், லிப்ஜென் போன்ற நூலகங்களிலிருந்து பிட்டோரண்ட் கோப்பு பகிர்வு மூலம் பெறப்பட்ட திருட்டு புத்தகங்களின் பெரிய தரவுத்தொகுப்புகளில் லாமா மாடல்களுக்கு நிறுவனம் பயிற்சி அளித்ததாகக் குற்றம் சாட்டுகின்றன. நீதிமன்ற ஆவணங்கள் உள் அச்சத்தை வெளிப்படுத்தியதாகக் கூறப்படுகிறது, ஒரு பொறியாளர், “[மெட்டாவுக்குச் சொந்தமான] கார்ப்பரேட் மடிக்கணினியிலிருந்து டோரண்ட் செய்வது சரியாகத் தெரியவில்லை” என்று கூறியதாகக் கூறப்படுகிறது.