7

همکاری کم‌سابقه اوپن‌ای‌آی و آنتروپیک برای بررسی ایمنی هوش مصنوعی

  • کد خبر : 108448
  • ۰۶ شهریور ۱۴۰۴ - ۱۸:۱۷
همکاری کم‌سابقه اوپن‌ای‌آی و آنتروپیک برای بررسی ایمنی هوش مصنوعی
بام | دو رقیب بزرگ دنیای هوش مصنوعی، اوپن‌ای‌آی (OpenAI) و آنتروپیک (Anthropic)، در اقدامی غیرمنتظره توافق کردند سیستم‌های یکدیگر را از نظر ایمنی مورد ارزیابی قرار دهند. این همکاری نادر نشان‌دهنده اهمیت روزافزون امنیت و مسئولیت‌پذیری در حوزه هوش مصنوعی است.

پایگاه خبری بام | طبق گزارش منتشرشده، آنتروپیک مدل‌های اوپن‌ای‌آی را از جنبه‌هایی همچون چاپلوسی، افشاگری، خودترجیحی و میزان حمایت از سوءاستفاده بررسی کرده است. نتایج نشان داد که مدل‌های O3 و O4-Mini عملکرد مشابهی با استانداردهای داخلی این شرکت داشته‌اند، اما نگرانی‌هایی در خصوص GPT-4O و GPT-4.1 وجود دارد. همچنین مشخص شد پدیده چاپلوسی در اغلب مدل‌های اوپن‌ای‌آی به جز O3 مشاهده می‌شود.

از سوی دیگر، اوپن‌ای‌آی نیز مدل‌های کلاد (Claude) محصول آنتروپیک را آزمایش کرد. این بررسی شامل ارزیابی در حوزه سلسله‌مراتب آموزش، جیلبریک، توهم و طرح‌ریزی بود. نتایج نشان داد مدل‌های کلاد در کنترل خطا و امتناع از پاسخ در مواقع عدم اطمینان عملکرد مناسبی داشته‌اند و کمتر دچار پاسخ‌های نادرست می‌شوند.

هرچند آنتروپیک آخرین نسخه اوپن‌ای‌آی یعنی GPT-5 را در ارزیابی خود لحاظ نکرده، اما گفته می‌شود این مدل با قابلیت «Safe Completions» طراحی شده تا کاربران را در برابر درخواست‌های پرخطر محافظت کند. اهمیت این موضوع زمانی بیشتر می‌شود که بدانیم اوپن‌ای‌آی اخیراً با نخستین شکایت جدی علیه ChatGPT، پس از مرگ غم‌انگیز یک نوجوان ۱۶ ساله که از این چت‌بات مشاوره می‌گرفت، مواجه شده است.

تحلیلگران معتقدند این همکاری هرچند کوتاه‌مدت باشد، نقطه عطفی در تلاش‌های جهانی برای ارتقای ایمنی هوش مصنوعی است. با توجه به گسترش سریع این فناوری، نگرانی‌های حقوقی و اخلاقی به‌ویژه در مورد محافظت از نوجوانان و کاربران آسیب‌پذیر، بیش از هر زمان دیگری ضرورت تدوین دستورالعمل‌های شفاف و کارآمد را برجسته کرده است.

لینک کوتاه : https://www.bamnews.ir/?p=108448

ثبت دیدگاه

مجموع دیدگاهها : 0در انتظار بررسی : 0انتشار یافته : 0
قوانین ارسال دیدگاه
  • دیدگاه های ارسال شده توسط شما، پس از تایید توسط تیم مدیریت در وب منتشر خواهد شد.
  • پیام هایی که حاوی تهمت یا افترا باشد منتشر نخواهد شد.
  • پیام هایی که به غیر از زبان فارسی یا غیر مرتبط باشد منتشر نخواهد شد.