LMArena (Chatbot Arena) போன்ற Crowdsourced AI வரையறைகளின் செல்லுபடியாகும் தன்மை மற்றும் நெறிமுறைகளை நிபுணர்கள் சவால் செய்கின்றனர்.

செயற்கை நுண்ணறிவு மாதிரிகளை தரவரிசைப்படுத்தப் பயன்படுத்தப்படும் பிரபலமான கூட்ட நெரிசல் தளங்களின் நம்பகத்தன்மை மற்றும் நியாயத்தன்மை குறித்து கல்வியாளர்கள் மற்றும் AI நெறிமுறை நிபுணர்களின் வளர்ந்து வரும் குழு சந்தேகத்தை எழுப்புகிறது, இது OpenAI, Google மற்றும் Meta போன்ற தொழில்நுட்ப ஜாம்பவான்களால் பெருகிய முறையில் விரும்பப்படும் ஒரு முறையை நேரடியாக சவால் செய்கிறது.

இந்த விவாதத்தின் மையத்தில் LMArena உள்ளது, இது முன்னர் Chatbot Arena என்று அழைக்கப்பட்ட தளமாகும், அதன் நேரடி ஒப்பீட்டு அமைப்பு செல்வாக்கு மிக்கதாக மாறியுள்ளது, ஆனால் அதன் அறிவியல் அடிப்படை மற்றும் அதை இயக்கும் ஊதியம் பெறாத உழைப்பு பற்றிய கூர்மையான கேள்விகளை எதிர்கொள்கிறது, இது AI ஆராய்ச்சி சமூகம் முழுவதும் விவாதத்தைத் தூண்டுகிறது.

பின்னணி: ஆராய்ச்சி திட்டத்திலிருந்து நிதியளிக்கப்பட்ட தொடக்கத்திற்கு

LMArenaவின் அணுகுமுறை பயனர்கள் பெயரிடப்படாத இரண்டு AI மாதிரிகளுடன் தொடர்புகொள்வதையும் விருப்பமான வெளியீட்டைத் தேர்ந்தெடுப்பதையும் உள்ளடக்கியது. இந்த வாக்குகள் Elo மதிப்பீட்டு முறையைப் பயன்படுத்தி தரவரிசைகளை உருவாக்குகின்றன, இது சதுரங்கத்தில் பொதுவாகப் பயன்படுத்தப்படும் ஒரு முறையானது.

2023 ஆம் ஆண்டின் தொடக்கத்தில் UC பெர்க்லியின் ஸ்கை கம்ப்யூட்டிங் ஆய்வகத்துடன் தொடர்புடைய ஆராய்ச்சியாளர்களால் தொடங்கப்பட்ட பின்னர், இந்தப் பொது லீடர்போர்டு விரைவாக ஒரு செல்ல வேண்டிய வளமாக மாறியது, ஒரு மில்லியன் மாதாந்திர பார்வையாளர்களை ஈர்த்தது மற்றும் சோதனைக் களமாகச் செயல்பட்டது, சில சமயங்களில் வெளியிடப்படாத மாதிரிகளுக்கும் கூட.

வளங்களின் தேவையை உணர்ந்து, சமீபத்திய UC பெர்க்லி முதுகலை ஆய்வாளர்களான அனஸ்டாசியோஸ் ஏஞ்சலோபௌலோஸ் மற்றும் வெய்-லின் சியாங் தலைமையிலான கல்விக் குழு, UC பெர்க்லி பேராசிரியரும் குறிப்பிடத்தக்க தொழில்நுட்ப தொழில்முனைவோருமான அயன் ஸ்டோயிகா (டேட்டாபிரிக்ஸ் மற்றும் அனீஸ்கேலின் இணை நிறுவனர்) உடன் இணைந்து, ஏப்ரல் 18 அன்று அரினா இன்டலிஜென்ஸ் இன்க். ஐ நிறுவியது.

LMArena பிராண்டின் கீழ் செயல்படும் புதிய நிறுவனம், விரிவாக்கத்திற்கான நிதியைப் பெறுவதை நோக்கமாகக் கொண்டுள்ளது, “ஒரு நிறுவனமாக மாறுவது LMArenaவை இன்றைய நிலையை விட கணிசமாக மேம்படுத்துவதற்கான வளங்களை எங்களுக்கு வழங்கும்” என்று கூறுகிறது. இது கூகிளின் காகிள் தளம், துணிகர மூலதன நிறுவனமான ஆண்ட்ரீசென் ஹொரோவிட்ஸ் மற்றும் AI உள்கட்டமைப்பு நிறுவனமான டுகெதர் AI உள்ளிட்ட நிறுவனங்களின் மானியங்கள் மற்றும் நன்கொடைகளிலிருந்து ஆரம்ப ஆதரவைத் தொடர்ந்து வந்தது. இந்த இணைப்போடு இணைந்து, beta.lmarena.ai இல் ஒரு புதிய பீட்டா வலைத்தளம் தொடங்கப்பட்டது, இது வேகம் மற்றும் பயனர் அனுபவத்தை மேம்படுத்துவதில் கவனம் செலுத்தியது.

என்ன முக்கியம் என்பதை அளவிடுதல்? ஆய்வுக்கு உட்பட்ட செல்லுபடியாகும் தன்மை

LMArena இன் கூட்ட நெரிசல் வாக்களிப்பு உண்மையிலேயே அர்த்தமுள்ள மாதிரி குணங்களை மதிப்பிடுகிறதா அல்லது உண்மையான பயனர் விருப்பத்தை வலுவாக பிரதிபலிக்கிறதா என்பதை ஒரு மைய விமர்சனம் ஆராய்கிறது. வாஷிங்டன் பல்கலைக்கழக மொழியியல் பேராசிரியரான எமிலி பெண்டர், TechCrunch க்கு அளித்த அறிக்கையில், அளவுகோலின் அடிப்படை முறை குறித்த கவலைகளை எடுத்துரைத்தார்.

“செல்லுபடியாக இருக்க, ஒரு அளவுகோல் குறிப்பிட்ட ஒன்றை அளவிட வேண்டும், மேலும் அது கட்டமைப்பு செல்லுபடியாகும் தன்மையைக் கொண்டிருக்க வேண்டும் – அதாவது, ஆர்வத்தின் கட்டமைப்பு நன்கு வரையறுக்கப்பட்டுள்ளது என்பதற்கான சான்றுகள் இருக்க வேண்டும், மேலும் அளவீடுகள் உண்மையில் கட்டமைப்புடன் தொடர்புடையவை என்பதற்கான சான்றுகள் இருக்க வேண்டும்,” பெண்டர் வலியுறுத்தினார்.

LMArena-வின் முறை விருப்பங்களை திறம்பட கைப்பற்றுகிறது என்பதைக் காட்டும் ஆதாரங்கள் இல்லாததை அவர் குறிப்பிட்டார், “ஒரு வெளியீட்டை விட மற்றொன்றுக்கு வாக்களிப்பது உண்மையில் விருப்பங்களுடன் தொடர்புடையது என்பதை Chatbot Arena காட்டவில்லை, இருப்பினும் அவை வரையறுக்கப்படலாம்.” இந்த தற்போதைய விமர்சனங்கள், வாக்குகளின் அகநிலை, அதன் பயனர் தளத்தில் சாத்தியமான மக்கள்தொகை சார்புகள், தரவுத்தொகுப்பு வெளிப்படைத்தன்மை மற்றும் பல்வேறு மாதிரி வகைகளுக்கான மாறுபட்ட மதிப்பீட்டு நிலைமைகள் தொடர்பாக தளம் எதிர்கொள்ளும் தற்போதைய ஆய்வின் அடிப்படையில் கட்டமைக்கப்படுகின்றன.

முடிவுகள் எவ்வாறு விளக்கப்படலாம் அல்லது தவறாக சித்தரிக்கப்படலாம் என்பது பற்றிய கவலைகள் உள்ளன. AI நிறுவனமான Lesan-இன் இணை நிறுவனர் Asmelash Teka Hadgu, LMArena போன்ற தளங்களைப் பயன்படுத்தி “மிகைப்படுத்தப்பட்ட கூற்றுக்களை ஊக்குவிக்க” ஆய்வகங்கள் “ஒத்துழைக்கப்படலாம்” என்று பரிந்துரைத்தார். மெட்டாவின் Llama 4 Maverick மாதிரியைச் சுற்றியுள்ள சர்ச்சையை அவர் மேற்கோள் காட்டினார், அங்கு நிறுவனம் பொதுமக்களுக்கு வெளியிடப்பட்ட நிலையான பதிப்பை விட சிறப்பாகச் செயல்பட்டதாகக் கூறப்படும் ஒரு குறிப்பாக டியூன் செய்யப்பட்ட பதிப்பை தரப்படுத்தியதற்காக விமர்சிக்கப்பட்டது. பணம் செலுத்திய நிபுணர்களைப் பயன்படுத்தி, குறிப்பிட்ட தொழில்முறை களங்களுக்கு ஏற்றவாறு மாறும், சுயாதீனமாக நிர்வகிக்கப்படும் வரையறைகளை ஹட்கு ஆதரிக்கிறார்.

தன்னார்வ மதிப்பீட்டின் நெறிமுறைகள்

இந்த தளம் செலுத்தப்படாத பயனர் பங்களிப்புகளை நம்பியிருப்பது நெறிமுறை பரிசோதனையையும் ஈர்க்கிறது. ஆஸ்பென் நிறுவனத்தில் முன்பு பணியாற்றிய கிறிஸ்டின் குளோரியா, அடிக்கடி சுரண்டப்படும் தரவு லேபிளிங் துறைக்கு இணையாக இருந்தார், இது OpenAI போன்ற சில ஆய்வகங்கள் முன்பு கேள்விகளை எதிர்கொண்டது. பல்வேறு கண்ணோட்டங்களில் மதிப்பைக் காணும்போது, க்ரூட் சோர்சிங் செய்யப்பட்ட அளவுகோல்கள் “மதிப்பீட்டிற்கான ஒரே அளவீடாக ஒருபோதும் இருக்கக்கூடாது” என்றும் நம்பகத்தன்மையற்றதாக மாறும் அபாயம் உள்ளது என்றும் குளோரியா பராமரிக்கிறார்.