مدل های باز مزایای واقعی دارند. آیا آنها بیشتر از خطرات هستند؟

بررسی فناوری MIT توضیح می‌دهد: به نویسندگان ما اجازه دهید دنیای پیچیده و آشفته علم و فناوری را بگشایند تا به شما در درک آنچه در آینده می‌آید کمک کنند. می توانید اطلاعات بیشتری از این سریال را در اینجا بخوانید.

اواخر ماه گذشته، Anthropic گزارشی منتشر کرد که در آن استدلال می‌کرد که مدل GLM-5.3 خطر حمله سایبری بزرگی را به همراه دارد. نگرانی اصلی این گزارش این است که مدل قدرتمند جدید، که در ماه آگوست توسط شرکت چینی Z.ai منتشر شد، به‌طور رایگان برای دانلود و تغییر برای همه در دسترس است. ادعای آنتروپیک تنها آخرین اقدام در یک بحث طولانی مدت در مورد اینکه آیا مدل‌های هوش مصنوعی مرزی باید باز باشند، مانند GLM-5.3 یا باید پشت درهای آزمایشگاه‌های مرزی قفل شوند.

این روزها، بسیاری از بحث‌ها در مورد نحوه برخورد با مدل‌های باز در انظار عمومی مطرح می‌شود - و پول زیادی به نتیجه آن بستگی دارد. جنسن هوانگ، مدیرعامل انویدیا، که اگر مردم به خرید سخت‌افزار خود برای اجرای مدل‌های باز ادامه دهند، چیزهای زیادی به دست می‌آورد، مشتاقانه از ایالات متحده برای توسعه بیشتر آن‌ها حمایت می‌کند، در حالی که Dario Amodei از Anthropic، که شرکتی را اداره می‌کند که ممکن است توسط مدل‌های ارزان و قدرتمند تضعیف شود، از رویکرد محتاطانه‌تری حمایت می‌کند. اما در زیر همه این مشوق‌های تجاری، اختلافات واقعی در مورد مدل‌های باز وجود دارد.

دیوید گری وایدر، استادیار دانشگاه تگزاس در دانشکده اطلاعات آستین، می‌گوید: «من فکر می‌کنم بسیاری از روش‌هایی که شما در بحث باز بودن صحبت می‌کنید، تحت تأثیر نحوه برخورد شما با بحث هوش مصنوعی است. کسانی که نگران ایمنی هوش مصنوعی هستند هشدار می‌دهند که مدل‌های باز می‌توانند به راحتی توسط بازیگران بد مورد سوء استفاده قرار گیرند، در حالی که کسانی که بیشتر بر پتانسیل عملی هوش مصنوعی تمرکز می‌کنند اصرار دارند که این قدرت نباید پشت درهای بسته تنها چند شرکت بزرگ قرار گیرد و مدل‌های باز می‌توانند به گسترش گسترده‌تر آن کمک کنند.

طیف وسیعی از راه‌ها برای مدیریت مدل‌های باز بین ممنوع کردن کامل آنها و رهاسازی خواه ناخواه وجود دارد. اما هر رویکردی که یک دولت یا یک جامعه ممکن است اتخاذ کند، همچنان شامل مبادله بین ایمنی و دموکراتیزه شدن است. تصمیم‌گیری در مورد حمایت یا محدود کردن تولید مدل‌های باز مستلزم درک عمیق آن خطرات و مزایا است.

مزایای مدل های باز چیست؟

بیایید با اصول اولیه شروع کنیم. یک مدل بسته، مانند مدل‌هایی که ChatGPT و Claude را تامین می‌کنند، فقط از طریق وب‌سایت، برنامه یا API قابل دسترسی است. از سوی دیگر، یک مدل باز را می‌توان مستقیما دانلود کرد: جزئیات ساختار داخلی آن، که در یک سری طولانی از اعداد به نام وزن‌های مدل کدگذاری شده‌اند، برای عموم در دسترس هستند. گاهی اوقات به این مدل‌ها «مدل‌های وزن باز» گفته می‌شود تا آن‌ها را از مدل‌هایی متمایز کنند که حتی اطلاعات بیشتری مانند جزئیات در مورد روش تمرین برای آن‌ها در دسترس است.

در حال حاضر، مدل‌های بسته نسبت به مدل‌های باز توانایی بیشتری دارند - از زمان انتشار، هشت مدل برتر در تابلوی امتیازات تحلیل مصنوعی LLM همگی بسته هستند، اگرچه مدل‌های باز تنها چند ماه از توسعه عقب مانده‌اند. اما دلایل متعددی وجود دارد که چرا ممکن است کسی از مدل باز به جای بسته استفاده کند. از آنجایی که مدل‌های باز قابل دانلود هستند، افراد می‌توانند آن‌ها را روی رایانه یا هارد دیسک خود اجرا کنند. حتی اگر تخصص و منابع لازم برای انجام این کار را داشته باشند، می توانند آنها را برای رفتار متفاوت بازآموزی کنند.

اگر شما یک محقق دانشگاهی هستید که برای درک و بهبود سیستم‌های هوش مصنوعی کار می‌کنید، تقریبا مطمئنا باید در تحقیقات خود با مدل‌های باز کار کنید. هنگام کار با مدل‌های بسته، محققان نمی‌توانند کاری بیش از ارسال درخواست‌ها و مشاهده پاسخ‌ها انجام دهند. اما محققان می‌توانند عملکرد درونی مدل‌های باز و همچنین «زنجیره فکری» را که مدل‌ها برای فکر کردن در مورد یک مسئله قبل از پاسخ دادن استفاده می‌کنند، مشاهده کنند. آنها همچنین می توانند چندین مدل باز را برای ساختن سیستم های جدید ترکیب کنند، آنها را فشرده کنند تا کارآمدتر شوند و آنها را برای برنامه های جدید تنظیم کنند.

کسب و کارها نیز دلایلی برای ترجیح مدل های باز دارند. بر اساس گزارش اخیر موزیلا، حتی اگر برای اجرای آن‌ها به یک ارائه‌دهنده خارجی وابسته باشید، مدل‌های باز معمولا هزینه کمتری نسبت به مدل‌های بسته دارند. و اگر کسب‌وکارها بخواهند از هوش مصنوعی برای پردازش داده‌های حساس یا اطلاعات اختصاصی استفاده کنند، اجرای یک مدل محلی بر روی سخت‌افزار خودشان ممکن است بهترین راه برای ایمن نگه‌داشتن عملیات‌شان باشد.

اما شاید مهم‌ترین کیفیت مدل‌های باز این است که کنترل دقیق آزمایشگاه‌های مرزی بر نحوه استفاده بیشتر ما از هوش مصنوعی را به چالش می‌کشند. الیزابت سیگر، مشاور ارشد سیاستگذاری در موسسه تونی بلر برای تغییرات جهانی، می گوید: واضح ترین و بزرگترین استدلال [برای مدل های باز] در مورد جلوگیری از تمرکز انبوه قدرت است – این در مورد اطمینان از این است که این فناوری اساسی یک کالای عمومی است.

فکر می‌کنم در این مقطع زمانی هستیم که این سوال که چه کسی زیرساخت‌هایی را که به هوش مصنوعی اجازه کار می‌دهد کنترل می‌کند، به همان اندازه بزرگ است که چه کسی اطلاعات را در اینترنت کنترل می‌کند.

سیگر آینده هوش مصنوعی را بسته به نقشی که مدل‌های باز دارند، به روش‌های متفاوتی می‌بیند. در آینده احتمالی، سیستم‌های هوش مصنوعی مرزی کاملا توسط افراد، شرکت‌ها یا دولت‌های منتخب کنترل می‌شوند و با قدرتمندتر شدن این سیستم‌ها، آن گروه‌ها کنترل فزاینده‌ای بر ظاهر جهان ما خواهند داشت. برای مثال، پیچیده‌ترین مدل‌های هک جهان در حال حاضر همه در ایالات متحده ساخته می‌شوند، بنابراین این کاملا به شرکت‌های آمریکایی و دولت ایالات متحده بستگی دارد که آیا سایر کشورها می‌توانند از آنها برای تقویت دفاع سایبری خود استفاده کنند یا خیر.

اگر این شرکت‌ها همچنان در صدر قرار بگیرند، ما می‌توانیم در دنیایی به پایان برسیم که در آن ایالات متحده قادر به هک کردن هر کشور دیگری است، اما هیچ‌کس قادر به هک کردن آن نیست.

مدل های باز مرزی می توانند این تعادل را تغییر دهند. اگر هر فردی یک سیستم هوش مصنوعی وفادار به آنها داشت که ایمن [و ایمن] بود، فکر می‌کنم دنیایی بسیار کمتر نگران‌کننده نسبت به دنیایی بود که در آن فقط باید به دولتی تکیه کنند که می‌گوید، «بله، ما یک سیستم هوش مصنوعی فوق‌العاده هوشمند داریم، این برنامه این برنامه را دارد، برای همه شما غیرقابل درک است، فقط برای مدیر مرکز هوش مصنوعی به ما اعتماد کنید.» تاب آوری بلند مدت

اما مدل‌های باز یک داروی ژئوپلیتیکی نیستند. پل آزونره، مؤسس Ghana NLP، سازمانی که ابزارهای AI منبع باز برای زبان‌های غنائی با منابع کم می‌سازد، خاطرنشان می‌کند که مدل‌های باز می‌توانند به عنوان راهی برای شرکت‌ها برای بهره‌مندی از نیروی کار و تخصص کشورهای کمتر برخوردار و تثبیت قدرت بیشتر در دستان خود عمل کنند.

او الگویی را شناسایی می‌کند که در آن شرکت‌های هوش مصنوعی مدل‌ها را آشکارا منتشر می‌کنند، مشاهده می‌کنند که چگونه جامعه از آن‌ها استفاده می‌کند و آن‌ها را اصلاح می‌کند، و سپس همان پیشرفت‌ها را در محصولات خود ادغام می‌کنند – بدون هیچ اعتبار یا جبرانی برای افرادی که این نوآوری‌ها را به وجود آورده‌اند. خود مارک زاکربرگ گفته است که توانایی ادغام پیشرفت‌های جامعه در پشته متا یکی از مزایای اصلی انتشار مدل‌های باز است.

آزونره می‌گوید: «من فکر می‌کنم ایده‌آل منبع باز ایده‌آل بسیار عالی است و ارزش زیادی دارد. اما روشی که عملا در عمل پیاده‌سازی می‌شود، رویکردی بسیار استخراج‌کننده است.»

آیا مدل های باز ریسک بیشتری نسبت به مدل های بسته دارند؟

چند ماه گذشته روشن کرده است که ایمنی همچنان یک مشکل اساسی برای مدل های بسته است. هک مستقلی وجود دارد که ماموران OpenAI در ماه ژوئیه علیه Hugging Face انجام دادند، اما سوء استفاده انسانی نیز یک تهدید واقعی است: طبق گزارش خطر اخیر از Anthropic، چندین عملیات هک گسترده با کمک کلود انجام شده است.

بنابراین مدل‌های بسته به اندازه کافی پرخطر هستند و مدل‌های باز احتمالا بسیار آسان‌تر برای بهره‌برداری خواهند بود. قبل از اینکه Anthropic درخواست کاربر را به یکی از مدل‌های بسته خود ارسال کند، از سیستم‌های خودکار استفاده می‌کند تا تشخیص دهد که آیا این پرس و جو به هک، سلاح‌های بیولوژیکی یا سایر خطرات مربوط می‌شود. وقتی تشخیص دهد که کاربران از آن فیلترها پیشی گرفته اند، می تواند حساب های آنها را ببندد. اما وقتی شخصی یک مدل را دانلود می‌کند و آن را روی سخت‌افزار خودش اجرا می‌کند، هیچ فیلتری برای بررسی امن بودن درخواست‌هایش وجود ندارد و هیچ راهی برای لغو دسترسی او به مدل وجود ندارد.

خطوط دفاعی مهم دیگری نیز وجود دارد. شرکت‌های هوش مصنوعی مدل‌های خود را آموزش می‌دهند تا درخواست‌های مضر را رد کنند—بنابراین حتی اگر پیام بدی از فیلترهای کلود عبور کند، این احتمال وجود دارد که مدل همچنان نه بگوید. در اصل، همین دفاع می تواند برای مدل های باز کار کند، زیرا ذاتی خود مدل است. متأسفانه، محققان نشان داده‌اند که آموزش مجدد یک مدل باز «ایمن» برای موافقت با رفتارهایی که قبلا برای اجتناب از آن آموزش داده شده بود، به طرز شگفت‌آوری آسان است.

به دلیل این حقایق، برخی افراد استدلال کرده‌اند که مدل‌های باز برای عرضه بسیار خطرناک هستند. برای مثال، یک مدل باز که به اندازه کافی قادر باشد کسی را از طریق سنتز یک پاتوژن خطرناک جدید هدایت کند، می تواند در دستان اشتباه فاجعه بار باشد.

اما این ساده‌سازی بسیار زیاد است که مدل‌های باز را خطرناک و مدل‌های بسته را ایمن تلقی کنیم. دفاعی که شرکت‌های هوش مصنوعی پیرامون مدل‌های بسته‌شان ایجاد می‌کنند، به دور از ایده‌آل بودن هستند و مردم همیشه از آن مدل‌ها سوء استفاده می‌کنند، همانطور که گزارش ریسک Anthropic به وضوح نشان می‌دهد. اگرچه مدل‌های باز حتی دفاع کمتری در برابر سوء استفاده دارند، بازیگران بد ممکن است همچنان از مدل‌های بسته استفاده کنند، زیرا در دسترس‌تر از مدل‌های باز با قابلیت‌های مشابه هستند، که برای اجرای محلی به تراشه‌های رایانه‌ای گران‌قیمت زیادی نیاز دارند (و حتی اگر می‌خواهید دوباره آنها را آموزش دهید، تراشه‌های بیشتری نیز دارند).

در واقع، برخی از کارشناسانی که با MIT Technology Review صحبت کردند، به قیاس نرم افزار منبع باز، استدلال کردند که مدل های باز دارای مزایای ایمنی نسبت به مدل های بسته هستند. ابزارهای منبع باز، مانند سیستم عامل لینوکس، اغلب ایمن تر از همتایان متن بسته خود دیده می شوند زیرا آسیب پذیری های آنها توسط جامعه گسترده ای از مشارکت کنندگان آنلاین بررسی و اصلاح شده است. به طور مشابه، جوامع محققین می‌توانند مدل‌های باز را آسان‌تر از نظر نقص‌های امنیتی آزمایش کنند، اگرچه رفع این نقص‌ها دشوارتر از بازنویسی یک خط کد است.

مدل‌های باز را می‌توان به طور گسترده‌تری نسبت به مدل‌های بسته برای دفاع سایبری به کار برد. هر ابزاری که می تواند برای هک استفاده شود نیز می تواند برای جلوگیری از آن استفاده شود: مدافعان نرم افزار خود را هک می کنند تا نقص هایی را که نیاز به وصله دارند را کشف کنند. Anthropic با ابتکار Project Glasswing خود نشان داده است که چگونه می تواند برای مدل های بسته کار کند، که برخی از شرکت های مورد اعتماد را قادر می سازد از توانمندترین مدل های آن برای دفاع سایبری استفاده کنند. اما بسیاری از شرکت های دیگر به حال خود رها شدند.

با این حال، مدل های باز را می توان به طور گسترده تری مورد استفاده قرار داد. پس از هک شدن آن توسط عوامل OpenAI، Hugging Face بر این واقعیت تأکید کرد که برای تجزیه و تحلیل هک باید به یک مدل باز وابسته بود، زیرا سؤالاتی در مورد آن باعث ایجاد فیلترهای امنیتی مدل های بسته می شد.

با این وجود، بسیاری از کارشناسان هنوز مدل‌های باز را خطرناک‌تر از مدل‌های بسته می‌دانند. منطق امنیتی منبع باز آزمایش شده با زمان، لزوما هنگام برخورد با ابزارهایی به قدرتمندی مدل های امروزی و فردای کار نمی کند. سیگر می‌گوید: «جایی که پیچیده‌تر می‌شود، زمانی است که شما شروع به جدی گرفتن نمونه‌های یک‌بار از حوادث فاجعه‌بار خاص می‌کنید که ممکن است احتمال کمتری داشته باشند، اما اگر اتفاق بیفتند فاجعه‌بار خواهند بود».

به عنوان مثال، اگر امروز یک مدل هک باز قدرتمند وحشیانه در جهان رها شود، یک بازیگر بد می تواند زیرساخت های تکنولوژیکی ما را قبل از اینکه کسی فرصتی برای تقویت دفاعی خود داشته باشد ویران کند. چنین رویدادی ممکن است غیرممکن باشد که بتوان از پس آن برآمد.

وقتی در نظر بگیرید که مدل‌ها چه کارهایی می‌توانند انجام دهند، خطرات می‌توانند حتی چشمگیرتر به نظر برسند. هک OpenAI Hugging Face تنها به این دلیل رخ داد که مدل‌های این شرکت با حذف بسیاری از نرده‌های امنیتی سایبری آن‌ها آزمایش می‌شدند و مدل‌های باز در وهله اول دارای نرده‌های بسیار کمی هستند. اگر مدل‌های باز تصمیم به رفتار نادرست داشته باشند، ممکن است تشخیص آنچه اتفاق می‌افتد دشوار باشد، زیرا آنها بسیار غیرمتمرکز هستند. به همین دلیل، افرادی که خطرات فاجعه‌بار ادعایی ناشی از عوامل سرکش، مانند داریو آمودی را جدی می‌گیرند، نسبت به مدل‌های باز تردید بیشتری دارند.

آیا می‌توانیم مدل‌های باز را ایمن‌تر و بازتر کنیم؟

چند سال پیش، بحث در مورد مدل‌های باز چارچوبی داشت: همه یا هیچ: یا از مدل‌های باز به دلیل پتانسیل آن‌ها برای مبارزه با تمرکز قدرت پشتیبانی می‌کردید، یا به دلیل خطرات ایمنی آنها را رد می‌کردید. با این حال، این روزها مردم تلاش زیادی می کنند تا حد وسطی پیدا کنند. یکی از راه‌هایی که آن‌ها این کار را انجام می‌دهند، ابداع تکنیک‌هایی برای کاهش خطرات ایمنی مدل‌های باز است.

اکثر ابزارهای ایمنی مورد استفاده برای مدل های بسته، مانند فیلترها و مانیتورینگ، برای مدل های باز قابل استفاده نیستند، اما احتمالات دیگری نیز وجود دارد. برخی از محققان علاقه مند هستند مدل هایی را آموزش دهند که هرگز در معرض داده های آموزشی قرار نگیرند که به آنها در مورد رفتار بد یا نامطلوب آموزش می دهد - مثلا یک مدل باز که هرگز در مورد هک نمی آموزد. اما پاکسازی مجموعه داده های آموزشی از همه مراجع به رفتار نادرست بدون آسیب رساندن به عملکرد مدل یک چالش باقی مانده است.

محققان دیگر در حال کار بر روی ساخت مدل هایی هستند که در برابر آموزش مجدد مقاوم باشند، به طوری که آموزش ایمنی مدل باز را نمی توان به راحتی حذف کرد. تئوری پشت این مدل‌های «مقاوم در برابر دستکاری» بسیار منطقی است: اگر مکررا سعی کنید مدلی را برای ناامن بودن مجددا آموزش دهید و مقاومتی را که مدل در برابر آن بازآموزی نشان می‌دهد تقویت کنید، در نهایت مدلی خواهید داشت که در برابر تلاش‌های بازآموزی آینده تقویت می‌شود. با این حال، طبق پیش‌چاپ اخیر، در عمل، هیچ رویکرد فعلی برای مقاوم‌سازی مدل‌ها در برابر همه حملات دستکاری وجود ندارد.

اما سعد حسین، مهندس شرکت تصویربرداری پزشکی هوش مصنوعی Deep Breathe و نویسنده اصلی مقاله، امیدوار است که تکنیک‌های آینده مؤثرتر باشند. او می‌گوید: «دلیل من برای خوش‌بینی این است که این یک حوزه تحقیقاتی بسیار فعال است و افراد زیادی در تلاش هستند تا روش‌های جدید و بهتری ارائه دهند.

اگر خطرات مدل‌های باز کمتر از آن چیزی است که در ابتدا به نظر می‌رسد سیاه و سفید باشد، مزایای آن نیز وجود دارد. انتشار ساختارهای داخلی یا وزن مدل‌ها ممکن است برای برهم زدن تمرکز قدرت مبتنی بر هوش مصنوعی کافی نباشد. هابز می‌گوید: «من فکر می‌کنم مزایای بسیار واقعی منبع باز از نظر تمرکززدایی قدرت وجود دارد، اما آنها به خودی خود کافی نیستند.

وزن‌های باز حداقل استانداردی برای مدل‌های باز است: محققان اگر به جزئیات آموزش خود دسترسی داشته باشند، می‌توانند اطلاعات بیشتری در مورد نحوه عملکرد مدل‌ها بیاموزند، از جمله داده‌هایی که در آن آموزش دیده‌اند، اما شرکت‌های هوش مصنوعی معمولا تمایلی به افشای این اطلاعات ندارند.

قابلیت دسترسی برای مدل‌های باز نیز اهمیت دارد. بدون تراشه های کامپیوتری که می توانند مدل های پیچیده را اجرا کنند، در واقع نمی توانید از وزنه های مدل استفاده کنید، حتی اگر آنها را داشته باشید. این تراشه‌ها به شدت گران شده‌اند، زیرا شرکت‌های هوش مصنوعی بیشتر و بیشتر از آنها را می‌خرند. ویدر می‌گوید: «باز بودن یک کف است، نه یک سقف، برای کاری که باید انجام دهیم تا اطمینان حاصل کنیم که آینده‌ی تکنولوژیکی ما به نفع همه است».

باز بودن واقعی - نه تنها وزن های باز، بلکه داده های آموزشی باز و سخت افزار در دسترس نیز می تواند خطرات بیشتری را نیز به همراه داشته باشد. اگر همه به سخت‌افزار پیشرفته هوش مصنوعی و مدل‌های پیشرفته برای اجرا بر روی آن دسترسی داشته باشند، هر کسی به طور بالقوه می‌تواند یک هکر باشد. اما راهکارهایی برای کاهش این خطرات وجود دارد. بسیاری از کارشناسان از نسخه‌ای از انتشار مرحله‌ای حمایت می‌کنند، که در آن مدل‌ها زندگی خود را بسته شروع می‌کنند و به تدریج با اطمینان از ایمنی آنها، بیشتر و آزادتر در دسترس قرار می‌گیرند.

درک دقیق چگونگی اجرای چنین استراتژی هایی مستلزم ایجاد تعادل دقیق بین خطرات و مزایای مدل های باز است. اما اگر مدل‌های باز یک عنصر ضروری برای آینده مثبت هوش مصنوعی باشند، همانطور که برخی کارشناسان معتقدند، این تلاش ارزشش را دارد.