دیوید رابینسون، از کارکنان بخش ایمنی اوپن‌ای‌آی، با ادعای اینکه فرهنگ این شرکت دچار مشکل اساسی و ازهم‌گسیختگی است، استعفا داد و درباره وضعیت ایمنی و فرهنگ سازمانی آن هشدار داد.

به گزارش منشور اقتصاد- یکی از کارمندان شرکت «اوپن‌ای‌آی»(OpenAI) هنگام استعفا از شغلش، هشداری جدی و تکان‌دهنده داد.

به نقل از تک‌کرانچ، «دیوید رابینسون»(David Robinson) در مقاله‌ای که در نشریه «آتلانتیک» منتشر شد، اظهار کرد که سرپرستی نگارش گزارش‌های ایمنی همراه با عرضه محصولات اصلی اوپن‌ای‌آی را بر عهده داشته است. همچنین، رابینسون گفت که با داشتن سابقه سه سال و نیم فعالیت در این شرکت، از جمله کارکنان با بیشترین سابقه کار در آن به شمار می‌رود. رابینسون اکنون قصد ترک اوپن‌ای‌آی را دارد؛ زیرا به اعتقاد وی، فرهنگ این شرکت دچار مشکل و ازهم‌گسیختگی است.

نظرات رابینسون از برخی جهت‌ها، تکرار نظرات «جیکوب کاکسون»(Jacob Coxon) است که به عنوان پژوهشگر در هر دو شرکت اوپن‌ای‌آی و «آنتروپیک» (Anthropic) کار می‌کرد. کاکسون پس از استعفا اعلام کرد که این شرکت‌ها روی زندگی ما قمار می‌کنند. نظرات کاکسون به شکل‌گیری بحث گسترده‌تری درباره ایمنی هوش مصنوعی منجر شد و «داریو آمودی»(Dario Amodei)، مدیرعامل آنتروپیک از طرحی برای توسعه محتاطانه‌تر هوش مصنوعی رونمایی کرد. مدیران هوش مصنوعی در هفته گذشته با «دونالد ترامپ» رئیس جمهور آمریکا دیدار داشتند و توافقی را امضا کردند که به نظر می‌رسید تعهدی عجولانه و غیرالزام‌آور برای اجرای کنترل‌های ایمنی بیشتر باشد.

از دیدگاه رابینسون، این بحث باید از قوانین خاص یا مقررات جدید فراتر برود و به فرهنگ حاکم بر این شرکت‌ها بپردازد. بخش عمده‌ای از گزارش‌ها پیرامون اوپن‌ای‌آی بر چگونگی از دست رفتن اعتماد همکاران سابق به «سم آلتمن»(Sam Altman) مدیرعامل این شرکت متمرکز بوده است، اما مقاله رابینسون نشان می‌دهد مشکلات فرهنگی اوپن‌ای‌آی همان مشکلاتی است که در کل سیلیکون‌ولی وجود دارد.

رابینسون نوشت: اوپن‌ای‌آی با تکیه بر روش آزمون و خطا که خود آن را استقرار تدریجی و تکرارشونده می‌نامد – یعنی شناسایی مشکلات و ارتقای سازوکارهای حفاظتی در واکنش به آنها – به موفقیت دست یافته؛ اما این رویکرد ذاتاً وقوع شکست‌های مقطعی را اجتناب‌ناپذیر می‌کند و هم‌زمان با افزایش توانمندی سیستم‌ها، ابعاد این شکست‌ها نیز رو به گسترش است.

رابینسون با اشاره به نفوذ اخیر عوامل اوپن‌ای‌آی به سیستم‌های شرکت «هاگینگ فیس»(Hugging Face) و افشاگری‌های مداوم درباره شناسایی عوامل سرکش بیشتر در شرکت استدلال کرد: محیطی که در آن چنین وقایعی ممکن است رخ دهد، جای مناسبی برای پرورش ذهن‌های مصنوعی نیست؛ ذهن‌هایی که می‌توانند از ما باهوش‌تر باشند و شاید آن‌گونه که ما می‌خواهیم، عمل نکنند.

با توجه به افزایش خطر، رابینسون استدلال کرد که شرکت‌های پیشرو در حوزه هوش مصنوعی باید مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های شلوغ با لایه‌هایی از افزونگی و برنامه‌ریزی دقیق و زمان‌بر، فعالیت خود را آغاز کنند تا خطای انسانی گاه‌به‌گاه و اجتناب‌ناپذیر، دری را به روی فاجعه باز نکند.

رابینسون گفت در دوران حضورش در اوپن‌ای‌آی هرگز با همکاری برخورد نکرده است که تجربه پرواز ایمن هواپیماها، کارکرد رآکتورهای هسته‌ای بدون ذوب شدن هسته یا کمک به رشد نظام مالی بدون فروپاشی آن را داشته باشد.

«درو پوساتری»(Drew Pusateri)، سخنگوی اوپن‌ای‌آی در واکنش به مقاله رابینسون اعلام کرد که این شرکت همچنان به بهبود تدابیر ایمنی خود ادامه می‌دهد. پوساتری در بیانیه‌ای گفت: ما اطمینان حاصل می‌کنیم که مدل‌هایمان به سطحی از توانمندی نرسند که مدیریت ایمن و تأمین امنیت آنها از عهده ما خارج باشد و هر زمان که به کاهش سرعت کار نیاز باشد، آموزش را متوقف می‌کنیم یا از پیشبرد مدل‌ها خودداری می‌کنیم. ما در حال اعمال تغییرات چشمگیری هستیم تا امنیت محیط‌های پژوهش و آزمایش خود را تقویت کنیم. مدل‌ها را به‌گونه‌ای آموزش می‌دهیم که وظایف را نه صرفاً انجام دهند، بلکه مسئولانه به سرانجام برسانند. ما همکاری با ارزیابان مستقل (شخص ثالث) را گسترش می‌دهیم و نظارت بلادرنگ را بهبود می‌بخشیم تا بتوانیم رفتارهای نگران‌کننده را در مراحل اولیه آموزش شناسایی کنیم و به آنها واکنش نشان دهیم.

رابینسون علاوه بر درخواست برای تغییر در فرهنگ اوپن‌ای‌آی اظهار کرد که زمان طرح پرسش‌های کلان‌تری درباره «هم‌سویی» فرا رسیده است؛ موضوعی که به گفته خودش ممکن است احساسی و غیردقیق به نظر برسد، اما حیاتی است؛ زیرا معیارهای کنونی شرکت‌ها برای سنجش میزان انطباق سیستم‌های هوش مصنوعی با ارزش‌های انسانی، ناکارآمد و غیردقیق هستند.

وی افزود: هرچه صنعت اجازه دهد مدل‌ها هوشمندتر و بزرگ‌تر شوند، در حالی که این مشکلات همچنان حل‌نشده باقی مانده‌اند، وضعیت ما خطرناک‌تر می‌شود.