چت‌بات آرنا میدانی برای رقابت مدل‌های زبان بزرگ (LLM) است که توسط LMSys، سازمان سیستم‌های مدل بزرگ، برگزار می‌شود. در این میدان، LLMها در نبردهایی تصادفی و ناشناس با یکدیگر روبرو می‌شوند و مهارت‌های خود را به چالش می‌کشند.
این رقابت از ماه می سال گذشته آغاز شده و تاکنون بیش از ۴۰۰ هزار رای از کاربران جمع‌آوری کرده است. در این مدت، مدل‌های شرکت‌های اوپن‌ای‌آی، آنتروپیک و گوگل در رتبه‌های برتر قرار داشته‌اند.
اما به‌تازگی، مدل‌های جدیدی از شرکت‌های نوپا مانند میسترال (Mistral) در فرانسه و شرکت‌های چینی مانند علی‌بابا به جمع مدعیان پیوسته‌اند و سهم بیشتری از رتبه‌های برتر را کسب کرده‌اند. همچنین، حضور مدل‌های متن‌باز (open-source) نیز در حال افزایش است.
برای محاسبه سطح مهارت مدل‌های زبان بزرگ در چت‌بات آرنا، از سیستم رتبه‌بندی Elo استفاده می‌شود که در بازی‌هایی مانند شطرنج نیز به کار می‌رود. اما برخلاف شطرنج، رتبه‌بندی در این رقابت به جای کاربر، به خود چت‌بات تعلق می‌گیرد.
|
|||