ترس پشت درهای سیلیکونولی/ آیا جهان ترمز هوش مصنوعی را خواهد کشید؟
تحریریه آوش/در پی استعفای اعتراضی یک پژوهشگر سابق، ایوان هابینگر از آنتروپیک احتمال شخصی بیش از ۱۰ درصد برای فاجعهای در سطح انقراض طی دهه آینده را مطرح کرد؛ اظهاراتی که همزمان با طرح ممنوعیت ابرهوش در کنگره آمریکا و شکلگیری نهادهای تازه نظارتی در سازمان ملل و اروپا، بار دیگر بحث حکمرانی جهانی هوش مصنوعی را داغ کرد
در ۱۸ شهریور ۱۴۰۵ (۹ سپتامبر ۲۰۲۶)، ایوان هابینگر، از مسئولان ارشد تیم علم همسوسازی در شرکت آنتروپیک، در پاسخ به اظهارات یکی از همکاران سابقش تأیید کرد که شماری از کارکنان آزمایشگاههای پیشرو هوش مصنوعی واقعاً باور دارند این فناوری میتواند خطری در سطح نابودی بشر ایجاد کند. او احتمال شخصی خود برای وقوع چنین فاجعهای در ده سال آینده را بیش از ۱۰ درصد اعلام کرد و توضیح داد که آنتروپیک، با وجود تلاشهایش در حوزه ایمنی، هنوز راهحل روشن و اثباتشدهای برای مسئله همسوسازی در سطح ابرهوش در اختیار ندارد.
این عدد نه برآورد رسمی آنتروپیک است و نه احتمالی علمی که درباره آن اجماع وجود داشته باشد؛ برآورد شخصی یکی از پژوهشگران ارشد این حوزه است. با این حال، اهمیت سخنان هابینگر دقیقاً در همین نقطه قرار دارد: یکی از افرادی که درون یکی از مهمترین آزمایشگاههای هوش مصنوعی جهان روی مسئله ایمنی و همسوسازی کار میکند، حاضر شده است احتمال یک فاجعه وجودی را علناً و با عدد بیان کند. اظهارات او بهسرعت در شبکههای اجتماعی بازتاب یافت و به یکی از صریحترین هشدارهای علنی از درون صنعت هوش مصنوعی درباره خطرات احتمالی مسیر توسعه این فناوری تبدیل شد.
استعفایی که درهای اتاقهای بسته را باز کرد
ماجرا از استعفای جیکاب کاکسون آغاز شد؛ پژوهشگری که حدود سه سال در حوزه پیشآموزش مدلهای زبانی، در اوپنایآی و سپس آنتروپیک، فعالیت کرده بود. کاکسون در رشتهپستی طولانی نوشت که از نظر او هیچیک از این دو شرکت به اندازه کافی مسئولانه رفتار نمیکنند و رقابت برای ساخت مدلهای قدرتمندتر، آنها را به سمت سامانههایی سوق میدهد که ممکن است کنترل آنها دشوار شود.
او نوشت که شرکتها «به سمت ابرهوش خودبهبوددهنده مسابقه میدهند و با جان ما قمار میکنند» و مدعی شد نگرانیهایی که اکنون علناً مطرح میکند، در داخل صنعت نیز وجود دارند. به روایت او، برخی مدیران و پژوهشگران در مواضع عمومی محتاطتر سخن میگویند، در حالی که نگرانیهای خصوصی آنان گاه بسیار جدیتر است.
رشتهپست کاکسون بهشدت مورد توجه قرار گرفت. خبرگزاری آسوشیتدپرس گزارش داد که پیامهای او تنها طی یک شب به بیش از ۱۰۰ میلیون نفر رسید. پاسخ هابینگر بود که ماجرا را از اعتراض یک پژوهشگر مستعفی فراتر برد. او نهتنها بخش مهمی از نگرانی کاکسون را تأیید کرد، بلکه با ذکر عددی مشخص – احتمال شخصی بیش از ۱۰ درصد برای فاجعهای در سطح انقراض طی ده سال آینده – به بحث انتزاعی خطر وجودی هوش مصنوعی ابعادی ملموستر داد.
ساموئل مارکس، یکی دیگر از پژوهشگران آنتروپیک، نیز در پیامی جداگانه با بخش مهمی از روایت کاکسون همراه شد. هابینگر در توضیحات بعدی تأکید کرد که ارزیابی او درباره خطر، ناظر به مسیر احتمالی توسعه سامانههای بسیار قدرتمند آینده است و نباید آن را به معنای وجود همین سطح از خطر در مدلهای کنونی دانست.
چرا حرف یک پژوهشگر آنتروپیک خبر شد؟
از سال ۲۰۲۳، زمانی که چهرههایی چون سم آلتمن و داریو آمودی در کنار شماری از برجستهترین پژوهشگران هوش مصنوعی بیانیهای را امضا کردند که در آن آمده بود کاهش خطر انقراض ناشی از هوش مصنوعی باید در کنار خطراتی مانند جنگ هستهای و پاندمی به یک اولویت جهانی تبدیل شود، بحث درباره خطرهای وجودی AI دیگر موضوعی حاشیهای در محافل فناوری نیست.
با این حال، همین هشدارها با بدبینی بخشی از منتقدان مواجه شدهاند. برخی ناظران معتقد بودهاند شرکتهای هوش مصنوعی با تأکید بر قدرت بالقوه و حتی خطرناک بودن فناوری خود، ناخواسته یا آگاهانه به ساخت تصویری اغراقآمیز از توان محصولاتشان کمک میکنند؛ تصویری که میتواند توجه سرمایهگذاران، دولتها و افکار عمومی را نیز افزایش دهد.
ماجرای کاکسون و واکنش هابینگر از این جهت اهمیت پیدا کرد. اینبار تنها با بیانیهای عمومی از سوی مدیران شرکتها روبهرو نبودیم، بلکه کارکنان فعلی و سابق یکی از آزمایشگاههای اصلی جهان درباره فاصله میان نگرانیهای داخلی و لحن عمومی صنعت سخن میگفتند.
این سخنان البته اثبات نمیکند که فاجعهای در راه است و عدد ۱۰ درصد نیز نباید بهعنوان پیشبینی علمی قطعی تلقی شود. آنچه این اتفاق آشکار میکند چیز دیگری است: بخشی از متخصصانی که مستقیماً روی قدرتمندترین سامانههای هوش مصنوعی کار میکنند، احتمال آسیبهای بسیار بزرگ را آنقدر جدی میدانند که حاضرند درباره آن علناً هشدار دهند.
سیاست از راه رسید؛ آیا میتوان ترمز ابرهوش را کشید؟
این جنجال درست در مقطعی رخ داد که بحث تنظیمگری هوش مصنوعی بار دیگر به یکی از موضوعات سیاسی آمریکا تبدیل شده بود. تنها شش روز پیش از بازتاب گسترده اظهارات هابینگر، در ۱۲ شهریور ۱۴۰۵ (۳ سپتامبر ۲۰۲۶)، برنی سندرز، سناتور مستقل ورمانت، همراه با گرگ کاسار، نماینده دموکرات تگزاس، از طرحی با عنوان «قانون ممنوعیت ابرهوش مصنوعی» خبر دادند.
بر اساس اعلام رسمی دفتر سندرز، این طرح که قرار است به کنگره ارائه شود، توسعه و استقرار هوش مصنوعی ابرهوشمند را بهطور دائم ممنوع میکند و در عین حال خواستار توقف موقت توسعه برخی سامانههای پیشرفته هوش مصنوعی تا زمان تدوین قواعد ایمنی از سوی یک تنظیمگر فدرال است. طرح همچنین دولت آمریکا را موظف میکند برای جلوگیری از توسعه ابرهوش در سایر نقاط جهان، توافقهای بینالمللی را دنبال کند.
در نتیجه، برخلاف برخی روایتهای اولیه، در ۳ سپتامبر هنوز با قانونی تصویبشده یا حتی پایانیافتن فرایند ارائه رسمی آن در کنگره روبهرو نبودیم؛ سندرز و کاسار از متن و چارچوب قانونی خبر داده بودند که قرار است وارد مسیر قانونگذاری شود.
زمینه سیاسی این اقدام نیز اهمیت دارد. در ماههای گذشته چند رخداد آزمایشی در شرکتهای بزرگ AI نگرانیها درباره میزان استقلال مدلهای پیشرفته را افزایش داده است. اوپنایآی و آنتروپیک در تابستان اعلام کردند که برخی مدلهایشان در جریان ارزیابیهای ایمنی از محیطهای آزمایشی تعیینشده عبور کرده و به سیستمهای واقعی، بدون مجوز مورد انتظار آزمایش، دسترسی پیدا کردهاند. شرکتها پس از این موارد بخشی از ارزیابیها را متوقف کردند تا نظارت و حفاظهای بیشتری ایجاد شود.
این رخدادها به معنای آن نیست که سامانههای هوش مصنوعی بهصورت مستقل و خارج از کنترل انسان در حال حمله گسترده به شبکههای رایانهای هستند، اما برای منتقدان نشانهای از این است که تواناییهای مدلها ممکن است سریعتر از سازوکارهای کنترل آنها پیشرفت کند.
اروپا بهجای ترمز اضطراری، سراغ مهار ریسک رفت
در آن سوی اقیانوس اطلس، اتحادیه اروپا مسیر متفاوتی را دنبال میکند. برخلاف ایده ممنوعیت کلی ابرهوش، مدل اروپایی بر طبقهبندی سامانهها بر اساس میزان خطر و اعمال الزامات متناسب با آن استوار است.
دوم اوت ۲۰۲۶ نقطه مهم دیگری در اجرای قانون هوش مصنوعی اتحادیه اروپا بود. از این تاریخ، بخش مهمی از مقررات و اختیارات اجرایی قانون، از جمله برخی الزامات شفافیت، مقررات مربوط به مدلهای هوش مصنوعی همهمنظوره و اختیارات نهادهای ناظر، وارد مرحله اجرا و اعمال شدند.
با این حال، برخلاف این تعبیر که «قانون از دوم اوت بهطور کامل لازمالاجرا شده»، اجرای AI Act همچنان مرحلهای است. برخی الزامات مربوط به سامانههای پرخطر در سال ۲۰۲۷ و بخش دیگری از مقررات مرتبط با سامانههای هوش مصنوعی تعبیهشده در محصولات تحت مقررات، در سال ۲۰۲۸ اعمال خواهند شد.
اروپا همزمان مسیر دیگری را نیز در سطح حقوق بینالملل دنبال کرده است. پارلمان اروپا در ۲۰ اسفند ۱۴۰۴ (۱۱ مارس ۲۰۲۶) با اکثریت بالا با پیوستن اتحادیه به «کنوانسیون چارچوب شورای اروپا درباره هوش مصنوعی، حقوق بشر، دموکراسی و حاکمیت قانون» موافقت کرد. شورای اتحادیه اروپا نیز در آوریل همان سال تصمیم مربوط به انعقاد این کنوانسیون از سوی اتحادیه را تصویب کرد.
این کنوانسیون نخستین معاهده بینالمللی الزامآور در حوزه هوش مصنوعی به شمار میرود و تلاش دارد توسعه و استفاده از AI را با اصول حقوق بشر، دموکراسی و حاکمیت قانون پیوند دهد.
سازمان ملل هم وارد زمین شده است
اما یکی از مهمترین تحولاتی که تصویر حکمرانی جهانی هوش مصنوعی را در سال ۲۰۲۶ تغییر داده، در سازمان ملل رخ داده است. بحث دیگر صرفاً درباره احتمال تشکیل نهادی برای هوش مصنوعی نیست.
مجمع عمومی سازمان ملل دو سازوکار مشخص را برای حکمرانی جهانی این فناوری ایجاد کرده است: «گفتوگوی جهانی درباره حکمرانی هوش مصنوعی» و «هیئت علمی مستقل بینالمللی درباره هوش مصنوعی».
هیات علمی مستقل ۴۰ عضو دارد که از مناطق مختلف جهان انتخاب شدهاند و مأموریت آن ارائه ارزیابیهای علمی مستقل درباره فرصتها، خطرها و پیامدهای هوش مصنوعی است. این هیئت در اول ژوئیه ۲۰۲۶ نخستین گزارش مقدماتی خود را منتشر کرد؛ گزارشی که قرار است مبنایی علمی برای تصمیمگیری دولتها و مذاکرات جهانی فراهم کند.
چند روز بعد، در ۶ و ۷ ژوئیه، نخستین نشست «گفتوگوی جهانی درباره حکمرانی هوش مصنوعی» در ژنو برگزار شد. بیش از سه هزار شرکتکننده و نمایندگانی از ۱۶۳ کشور در آن حضور داشتند. برای نخستین بار، سازمان ملل فضایی دائمی ایجاد کرده است که دولتها، بخش خصوصی، جامعه مدنی، دانشگاهیان و متخصصان فنی بتوانند درباره حکمرانی AI در یک چارچوب مشترک گفتوگو کنند. با این حال، این سازوکار هنوز چیزی شبیه «آژانس بینالمللی انرژی اتمی برای هوش مصنوعی» نیست. گفتوگوی جهانی سازمان ملل یک مجمع مذاکره برای تولید توافقهای الزامآور نیست و هیئت علمی نیز قدرت بازرسی از مدلهای اختصاصی شرکتها یا اعمال تحریم و مجازات ندارد. مأموریت اولی ایجاد گفتوگوی جهانی و مأموریت دومی فراهم کردن پایه علمی مشترک برای آن گفتوگوهاست. بنابراین معماری حکمرانی جهانی AI از مرحله صرفاً ایدهپردازی عبور کرده، اما هنوز فاصله زیادی با یک رژیم نظارتی بینالمللی الزامآور دارد.
آنچه از کنار هم گذاشتن این تحولات برمیآید، تصویری از تنظیمگری چندلایه و همچنان ناهماهنگ است: بخشی از سیاستمداران آمریکایی حتی ممنوعیت ابرهوش را مطرح میکنند، اروپا به الگوی ریسکمحور و حقوقبنیاد تکیه کرده و سازمان ملل ساختار گفتوگو و ارزیابی علمی جهانی را بنا کرده است، بیآنکه هنوز قدرتی برای تحمیل استانداردها به شرکتها یا دولتها داشته باشد.
در چنین وضعیتی، آینده فناوریای با قابلیت اثرگذاری بر تمام کشورها همچنان تا حد زیادی در واشنگتن، بروکسل، پکن و اتاقهای هیئتمدیره چند شرکت بزرگ فناوری رقم میخورد.
اگر خطر واقعی است، چه کسی از بشر اجازه گرفته؟
فراتر از سیاست، این ماجرا پرسشهای اخلاقی بنیادینی را پیش میکشد. نخست، پرسش رضایت آگاهانه است: وقتی گروه نسبتاً کوچکی از مهندسان، مدیران و سرمایهگذاران تصمیم میگیرند فناوریای را توسعه دهند که برخی از خود آنان برای آن احتمال پیامدهای فاجعهبار قائلاند، جامعهای که در معرض این خطر احتمالی قرار میگیرد چه سهمی در تصمیمگیری دارد؟
اصل احتیاط در برخی رویکردهای فلسفه اخلاق، سیاستگذاری عمومی و حقوق محیطزیست میگوید وقتی پیامد احتمالی یک اقدام بسیار شدید و غیرقابلبازگشت است، نبود قطعیت علمی لزوماً دلیل کافی برای به تعویق انداختن اقدامات پیشگیرانه نیست. از این منظر، منتقدان صنعت هوش مصنوعی معتقدند مسئولیت اثبات سطح قابل قبول ایمنی نباید تنها بر دوش جامعه قرار گیرد.
دوم، مساله افشاگری است. کاکسون با استعفای خود نگرانیهایی را علنی کرد که به گفته او برخی همکارانش نیز در محافل خصوصی بیان میکنند، اما در برابر افکار عمومی با احتیاط بیشتری درباره آن سخن میگویند.
شکاف میان گفتار خصوصی و عمومی کارکنان صنایع پرمخاطره، موضوع تازهای نیست و در حوزههایی مانند دارو، امور مالی، انرژی و صنایع نظامی نیز سابقه دارد. در حوزه هوش مصنوعی، اهمیت حمایت حقوقی از افشاگران از همینجا ناشی میشود: اگر کارکنانی که به اطلاعات فنی دسترسی دارند نتوانند بدون تحمل هزینههای نامتناسب شغلی یا حقوقی درباره خطرات ایمنی سخن بگویند، جامعه ممکن است تنها به بخشی از اطلاعات مورد نیاز برای ارزیابی خطر دسترسی داشته باشد.
سومین موضوع، مسئولیت شرکتی در برابر رقابت است. یکی از استدلالهای رایج در صنعت AI این است که حتی اگر یک شرکت سرعت توسعه خود را کاهش دهد، رقبای داخلی یا خارجی ممکن است همان مسیر را ادامه دهند؛ بنابراین عقبنشینی یک بازیگر الزاماً توسعه فناوری را متوقف نمیکند.
اما این منطق از منظر اخلاقی و سیاستگذاری مسئلهساز است، زیرا اگر همه بازیگران رفتار خود را به رفتار کماحتیاطترین رقیب گره بزنند، نتیجه میتواند شکلگیری مسابقهای باشد که هیچکس انگیزه کافی برای ترمز کردن آن ندارد.
این وضعیت شباهتهایی با منطق مسابقه تسلیحاتی دارد، هرچند مقایسه هوش مصنوعی با فناوری هستهای کامل و بینقص نیست. تفاوت مهم اینجاست که برای فناوری هستهای طی دههها معاهدات، نهادهای بازرسی و رژیمهای کنترل مواد و فناوری ایجاد شده، در حالی که معماری نظارت بینالمللی بر هوش مصنوعی هنوز در ابتدای راه قرار دارد.
ترمز کجاست؟
با توجه به این تنشها، سیاستی که واقعاً بتواند احتمال سناریوهای پرمخاطره را کاهش دهد، احتمالاً به ترکیبی از چند ابزار نیاز خواهد داشت. نخست، حکمرانی محاسبات. آموزش پیشرفتهترین سامانهها به خوشههای عظیم پردازشی و تراشههای بسیار پیشرفته وابسته است. به همین دلیل برخی متخصصان حکمرانی AI معتقدند نظارت بر زیرساخت محاسباتی میتواند نقطه کنترلی عملیتر از تلاش برای نظارت مستقیم بر تمام کدها و دادهها باشد.
دوم، ارزیابی الزامی پیش از استقرار. مدلهایی که از آستانه مشخصی از توان محاسباتی یا قابلیت عبور میکنند، میتوانند پیش از انتشار گسترده توسط نهادهایی مستقل از شرکت سازنده نیز مورد آزمایش قرار گیرند. ایده ایجاد یک تنظیمگر فدرال با قواعد ایمنی برای AI پیشرفته در طرح سندرز و کاسار نیز در همین فضای فکری قرار میگیرد.
سوم، حمایت قانونی قویتر از افشاگران آزمایشگاههای هوش مصنوعی است؛ بهویژه کارکنانی که درباره کاستیهای ایمنی یا اختلاف میان ارزیابیهای داخلی و مواضع عمومی شرکتها اطلاعات قابلاعتنا ارائه میکنند.
چهارم، تعریف روشن مسئولیت مدنی و در موارد مشخص قانونی، مسئولیت کیفری در قبال آسیبهای ناشی از سامانههای پرخطر است؛ بهگونهای که هزینه بیاحتیاطی صرفاً بر دوش کاربران و جامعه قرار نگیرد.
پنجم، تقویت سازوکار بینالمللی هماهنگی است. ساخت یک نهاد جهانی با قدرت بازرسی گسترده شاید در کوتاهمدت از نظر سیاسی دستنیافتنی باشد، اما ایجاد استانداردهای مشترک برای ارزیابی ایمنی و پروتکلهای گزارش حوادث میان کشورهای دارای زیرساخت پیشرفته AI میتواند گامی عملیتر باشد.
هیچیک از این اقدامات بهتنهایی کافی نیست و هرکدام با مقاومت صنعتی یا ژئوپلیتیکی جدی روبهرو خواهند شد. رقابت آمریکا و چین بر سر برتری در هوش مصنوعی نیز انگیزه دو طرف برای پذیرش محدودیتهای یکجانبه را کاهش میدهد.
اما آن چه که استعفای کاکسون و واکنش پژوهشگران آنتروپیک بار دیگر برجسته کرده، شکاف میان سرعت توسعه فناوری و سرعت ایجاد سازوکارهای نظارت بر آن است. اگر بخشی از افرادی که خود در خط مقدم توسعه این فناوری قرار دارند، احتمال خطرهای فاجعهبار را جدی میدانند، اتکا صرف به وعدههای داوطلبانه شرکتها نمیتواند تنها پاسخ موجود باشد.
جهان هنوز نمیداند با ابرهوش چه کند
استعفای جیکاب کاکسون و واکنش صریح ایوان هابینگر، گفتوگویی را که سالها عمدتاً در مقالات دانشگاهی، آزمایشگاههای ایمنی و کنفرانسهای تخصصی جریان داشت، بار دیگر به سطح گفتمان عمومی و سیاسی کشانده است. این رویداد در کنار طرح تازه سندرز و کاسار، اجرای مرحلهای قانون هوش مصنوعی اروپا، کنوانسیون شورای اروپا و شکلگیری دو سازوکار جدید سازمان ملل نشان میدهد جهان دیگر درباره ضرورت نوعی حکمرانی بر قدرتمندترین سامانههای AI چندان بیتفاوت نیست. اختلاف اصلی اکنون بر سر شکل، شدت و زمان این مداخله است.
آیا باید توسعه ابرهوش را پیشاپیش متوقف کرد؟ آیا تنظیمگری ریسکمحور اروپا کفایت میکند؟ آیا شرکتهایی که خود سازنده فناوریاند میتوانند داور اصلی ایمنی محصولاتشان نیز باشند؟ و اگر یک سامانه فوقهوشمند واقعاً پیامدهایی فراتر از مرزهای یک کشور داشته باشد، آیا تصمیم درباره ساخت آن اساساً میتواند مسئله داخلی یک دولت یا تصمیم تجاری یک شرکت خصوصی باقی بماند؟
جهان برای نخستین بار ساختارهایی برای پاسخ دادن به این پرسشها ایجاد کرده، اما این ساختارها هنوز بسیار ضعیفتر از قدرت اقتصادی و فناوری بازیگرانی هستند که باید بر آنها نظارت کنند.
شاید مهمترین معنای ماجرای کاکسون و هابینگر نیز همین باشد که هیچکس با یک توییت ثابت نکرده که هوش مصنوعی بشر را نابود خواهد کرد و هیچ عدد شخصی، حتی اگر از سوی یک پژوهشگر برجسته مطرح شود، جایگزین ارزیابی علمی نمیشود. اما وقتی افرادی که درون آزمایشگاههای سازنده قدرتمندترین مدلها کار میکنند، خود درباره احتمال پیامدهای غیرقابلبازگشت هشدار میدهند، پرسش دیگر فقط این نیست که «هوش مصنوعی تا کجا میتواند پیش برود؟» ، بلکه پرسش سیاسیتر و دشوارتر این است که چه کسی، با چه اختیاری و تحت نظارت چه نهادی، حق دارد تصمیم بگیرد تا کجا باید پیش برود؟
