این کارشناسان هوش مصنوعی می‌خواهند در فضای باز تحقیقاتی با ریسک بالا انجام دهند

ناتان لمبرت و تام زیک، دو دانشمند صنعت، برعکس معتقدند. این زوج یک آزمایشگاه غیرانتفاعی به نام Trillium Labs را تأسیس کردند که روی حوزه‌های مختلف تحقیقات هوش مصنوعی - از جمله حوزه‌های بالقوه مشکل‌ساز مانند خود-بهبودی بازگشتی (RSI) و عوامل- به روشی شفاف‌تر کار خواهد کرد. در عمل، این به معنای انتشار جزئیات آزمایش ها است تا دانشمندان بیرونی بتوانند آنها را مطالعه و تکرار کنند. لامبرت می‌گوید روشی که آزمایشگاه‌های هوش مصنوعی مرزی کار خود را مخفی نگه می‌دارند، توانایی جامعه را برای بررسی دقیق ایده‌ها و مشارکت در رویکردهای جدید کاهش می‌دهد.

او معتقد است که اجازه دادن به کارشناسان خارجی برای دیدن نحوه ساخت و تنظیم مدل ها می تواند برای کاهش خطرات بسیار مهم باشد. لمبرت به WIRED می‌گوید: «در طول چند هزار سال گذشته، بشریت روش علمی را به عنوان راهی برای کاهش آسیب‌ها و ساختن آینده‌های بهتر در جعبه ابزار ما داشته است. "مسیر بسته فعلی توسعه هوش مصنوعی مرزی ما را یک گام به عقب می برد." قدرتمندترین مدل های جهان، مانند مدل های OpenAI و Anthropic، فقط از طریق یک برنامه یا رابط برنامه نویسی برنامه (API) قابل دسترسی هستند.

اغلب، این به قیمت شفافیت در مورد نحوه ساخت مدل و نحوه رفتار آن است. شرکت‌های دیگر، به‌ویژه آن‌هایی که در چین هستند، مدل‌های نسبتا قدرتمندی را ارائه می‌کنند که می‌توان آن‌ها را دانلود کرد و روی سخت‌افزار خود کاربر اجرا کرد. به عنوان مثال، شرکت چینی شیائومی اخیرا جزئیات یک دوره آموزشی بزرگ را با یکی از مدل های خود منتشر کرده است. و محققان در استنفورد در حال پیشآموزی مدل هوش مصنوعی مارین در فضای باز هستند. این صنعت در حال حاضر درگیر نبردی است که بر سر اینکه کدام استراتژی بهترین است، بیشتر به دلیل قدرتمند بودن مدل های مرزی در حال حاضر.

آن‌ها می‌توانند کشف آسیب‌پذیری‌های نرم‌افزاری جدید را خودکار کنند و به‌طور خودکار سیستم‌ها را بررسی و هک کنند، و هک‌های پرمخاطب اخیر بررسی‌های دقیق‌تری را برانگیخته است. طرفداران یک سیستم دسترسی محدود می گویند که حفظ این قدرت در دست افراد معدودی بسیار مهم است، در حالی که کسانی که در اردوگاه لامبرت و زیک هستند معتقدند که درک مشترک از خطرات به این معنی است که همه ما در وضعیت بهتری هستیم. لمبرت قبلا در Ai2 کار می کرد، یک آزمایشگاه تحقیقاتی که رویکردی غیرمعمول برای هوش مصنوعی اتخاذ کرده است، از جمله انتشار جزئیات داده ها و روش های آموزشی مورد استفاده برای ساخت مدل ها در کنار آن.

خود مدل ها او قبلا در Hugging Face کار می‌کرد، یک وبلاگ فنی پرطرفدار را اداره می‌کرد، و American Truly Open Models را تأسیس کرد، ابتکاری با هدف تشویق شرکت‌های آمریکایی برای انتشار مدل‌های بازتر. زیک در دانشگاه هاروارد کار می‌کرد و به چارلز شواب کمک کرد تا سیاست‌هایی پیرامون «هوش مصنوعی مسئول» طراحی کند. این دو در طول همه‌گیری COVID-19 از طریق Zoom ملاقات کردند، زمانی که هر دو دانشجوی کارشناسی ارشد در UC Berkeley بودند که روی هوش مصنوعی کار می‌کردند.

آنها پس از اینکه دیدند تحقیقات هوش مصنوعی صنعت چقدر از کار آکادمیک جدا شده است، ایده این غیرانتفاعی جدید را دریافت کردند. لامبرت می‌گوید که اساتید و دانشجویان اغلب نمی‌توانند کارهایی را که در آزمایشگاه‌های شرکت‌های بزرگ انجام می‌شود تکرار کنند، زیرا آنها منابع لازم را ندارند. زیک می‌گوید آزمایشگاه‌های Trillium که امروز راه‌اندازی شد، در ابتدا بر روی مدل‌های بزرگ پس از آموزش تمرکز خواهند کرد و پس از ساخت، مدل‌های بزرگ را تنظیم می‌کنند. یکی دیگر از حوزه های کلیدی RSI خواهد بود، فرآیندی برای توسعه مدل های جدید با مشارکت هوش مصنوعی در تحقیقات.

این چشم انداز که پیشرفت مداوم می تواند به طور نامحدود ادامه یابد و منجر به از دست دادن کنترل انسانی شود، بسیاری از محققان هوش مصنوعی را نگران کرده است. این موضوع در اوایل این ماه زمانی که یک محقق Anthropic شرکت را ترک کرد و هشدار داد که RSI می تواند یک تهدید وجودی برای نوع بشر باشد، توجه جریان اصلی را به خود جلب کرد. سازمان غیرانتفاعی همچنین به این موضوع نگاه خواهد کرد که چگونه یادگیری تقویتی، که به یک مدل برای نتایج خوب پاداش می‌دهد و آن را برای نتایج بد تنبیه می‌کند، می‌تواند قابلیت‌های آن را بهبود بخشد. این رویکرد عاملان را بسیار توانمندتر کرده است، اما همچنین تمایل بیشتری به انجام کارهای غیرمنتظره دارند.

آنها مطالعه خواهند کرد که چگونه یادگیری تقویتی شخصیت و رفتار مدل‌های هوش مصنوعی را شکل می‌دهد، روشی که می‌تواند برای مثال زمانی که یک مدل بیش از حد متعصب شود، مشکلاتی را ایجاد کند. زیک می‌گوید: «برای درک چیزی مانند مقیاس یادگیری تقویتی در پس از آموزش، به محاسبات قابل توجه و آزمایش‌های دقیق زیادی نیاز دارید. او می‌گوید که انتشار جزئیات نحوه عملکرد آموزش تقویتی می‌تواند بینش‌های شگفت‌انگیزی را به همراه داشته باشد زیرا محققان خارجی کار را دقیق بررسی می‌کنند. این آزمایشگاه مبلغ نامعلومی را از Schmidt Sciences، Halcyon Futures و دیگران جمع آوری کرده است.

بنیانگذاران می گویند که قصد دارند در مجموع 40 تا 100 میلیون دلار جمع آوری کنند و قصد دارند در 18 ماه آینده 30 میلیون دلار برای آموزش هزینه کنند. تیم فیست، مدیر سیاست فناوری نوظهور در موسسه پیشرفت، یک اندیشکده سیاست، به WIRED می گوید: «من طرفدار شفافیت بسیار بیشتر از آنچه در حال حاضر در تحقیق و توسعه داریم، هستم. لمبرت و زیک در نهایت امیدوارند که Trillim Labs برخی نکات ظریف و ضروری را به بحث گسترده تر در مورد بهترین روش ساخت هوش مصنوعی کمک کند. لمبرت می‌گوید: «ما در دوره‌ای از گفتمان هوش مصنوعی هستیم که چند دیدگاه جهانی بر آن حاکم است.

ما معتقدیم که روش علمی و اندازه‌گیری دقیق رویدادهای اخیر بهترین راه برای درک رفتارهای جدید مدل‌های هوش مصنوعی است.»