شبکه اطلاع‌رسانی روابط‌عمومی‌ ایران (شارا) || مدل هوش مصنوعی کلود ۳ اوپوس (Claude 3 Opus) از شرکت انتروپیک (Anthropic) در رتبه‌بندی چت‌بات آرنا (Chatbot Arena) رتبه اول را کسب کرده و جی‌پی‌تی-4 اوپن‌ای‌آی (GPT-4 OpenAI) را به رتبه دوم رسانده است.

به گزارش شارا به نقل از تامز گاید، این اولین بار از زمان عرضه جی‌پی‌تی-۴ در سال گذشته است که از رتبه اول سقوط کرده است.

هر سه نسخه کلود ۳ در ده رتبه اول قرار دارند. کلود ۳ هایکو (Claude 3 Haiku) با وجود اینکه مدل "سایز محلی" است، عملکردی مشابه جی‌پی‌تی-۴ دارد. این نشان می‌دهد که مدل‌های هوش مصنوعی بسته می‌توانند با مدل‌های منبع باز رقابت کنند.

متا انتظار می‌رود لاما ۳ (Llama 3) را در چند ماه آینده منتشر کند که احتمالاً در رتبه‌بندی ده برتر قرار خواهد گرفت.

کلود ۳ اوپوس از سیستم رتبه‌بندی الو (Elo) استفاده می‌کند که در بازی‌هایی مانند شطرنج برای محاسبه سطح مهارت استفاده می‌شود.

کلود ۳ هایکو به اندازه اوپوس یا سونت (Sonnet) هوشمند نیست، اما ارزان‌تر، سریع‌تر و در تست‌های کور به اندازه مدل‌های بزرگ‌تر عمل می‌کند.

۱۷ از ۲۰ مدل زبان بزرگ برتر در جدول امتیازات، مدل‌های بسته هستند.

صعود کلود ۳ اوپوس به رتبه اول نشان‌دهنده پیشرفت قابل‌توجهی در هوش مصنوعی بسته است.

انتظار می‌رود رقابت بین مدل‌های هوش مصنوعی بسته و منبع باز در سال‌های آینده افزایش یابد.

تمرکز بر هوش مصنوعی توزیع‌شده‌تر و در دسترس‌تر می‌تواند به دموکراتیک کردن هوش مصنوعی کمک کند.

چت‌بات آرنا (Chatbot Arena)
چت‌بات آرنا میدانی برای رقابت مدل‌های زبان بزرگ (LLM) است که توسط LMSys، سازمان سیستم‌های مدل بزرگ، برگزار می‌شود. در این میدان، LLMها در نبردهایی تصادفی و ناشناس با یکدیگر روبرو می‌شوند و مهارت‌های خود را به چالش می‌کشند.

این رقابت از ماه می سال گذشته آغاز شده و تاکنون بیش از 400 هزار رای از کاربران جمع‌آوری کرده است. در این مدت، مدل‌های شرکت‌های اوپن‌ای‌آی، آنتروپیک و گوگل در رتبه‌های برتر قرار داشته‌اند.

اما به‌تازگی، مدل‌های جدیدی از شرکت‌های نوپا مانند میسترال (Mistral) در فرانسه و شرکت‌های چینی مانند علی‌بابا به جمع مدعیان پیوسته‌اند و سهم بیشتری از رتبه‌های برتر را کسب کرده‌اند. همچنین، حضور مدل‌های متن‌باز (open-source) نیز در حال افزایش است.

برای محاسبه سطح مهارت مدل‌های زبان بزرگ در چت‌بات آرنا، از سیستم رتبه‌بندی Elo استفاده می‌شود که در بازی‌هایی مانند شطرنج نیز به کار می‌رود. اما برخلاف شطرنج، رتبه‌بندی در این رقابت به جای کاربر، به خود چت‌بات تعلق می‌گیرد.

 رایان موریسون
منبع انگلیسی: Tom's Guide
منبع فارسی: شارا

 

انتهای پیام/