Anthropic هشدار می دهد که بسیار نزدیک به قابلیت RSI است که به هوش مصنوعی خودساز معروف است

در حالی که توجه زیادی بر روی اطلاعات مالی به‌روز شده‌ای که Anthropic در S-1A بازنگری شده خود در روز دوشنبه فاش کرد، متمرکز شده است، (درآمد در حال افزایش است، اما هزینه‌ها نیز افزایش می‌یابد)، آزمایشگاه هوش مصنوعی بمب کوچک دیگری را به چاپ رساند.

به نظر می رسد این پرونده هشدار می دهد که این شرکت در آستانه ایجاد مدلی با قابلیت خود-بهبودی بازگشتی (RSI) است.

RSI نقطه ای است که در آن هوش مصنوعی در آموزش خود آنقدر خوب رشد می کند که شتاب چشمگیری در قابلیت های هوش مصنوعی ایجاد می کند. برای نابودکنندگان هوش مصنوعی، RSI نشان‌دهنده فاجعه‌ای است که هیچ بازگشتی از آن وجود ندارد، که در آن هوش مصنوعی خود را به چیزی قدرتمند تبدیل می‌کند که از کنترل انسان خارج می‌شود و ممکن است در حین دستیابی به اهدافش نسبت به آسیبی که ایجاد می‌کند بی‌تفاوت باشد.

برای علاقه مندان به هوش مصنوعی، RSI یا برخی از نسخه های هوش مصنوعی که به طور قابل اعتماد از خود برای بهبود استفاده می کند، نشان دهنده وعده این فناوری است، جایی که به ابزاری برای بهره وری غیرقابل تصور، اکتشاف علمی و موارد دیگر تبدیل می شود.

به نظر می رسد Anthropic معتقد است که RSI هم یک وعده و هم یک خطر است. در S-1 می‌گوید که از هوش مصنوعی در تحقیق و توسعه خود استفاده می‌کند، اما هشدار می‌دهد: «استفاده از هوش مصنوعی برای کمک به ساخت هوش مصنوعی توانمندتر می‌تواند خطر ایمنی قابل‌توجهی را نیز به همراه داشته باشد، به ویژه اگر سرعت پیشرفت را به شدت تسریع کند. این یکی از حوزه‌هایی است که تحت پوشش خط‌مشی مقیاس‌پذیری مسئولانه ما قرار می‌گیرد، که برنامه‌های ما را برای نظارت و کاهش خطرات به‌عنوان رویکردی تعیین می‌کند. خودسازی.»

هنگامی که اصطلاح RSI در اوایل سال جاری رایج شد، بسیاری معتقد بودند که این یک کلمه کلیدی یا در بهترین حالت، هدفی است که رسیدن به آن، تعریف یا اثبات آن بسیار دشوار است.

اما روز دوشنبه، Anthropic اظهارات جدیدی را به بخش Risk Factors خود اضافه کرد و گفت: 1) قبلا از هوش مصنوعی برای توسعه مدل‌های جدیدی استفاده کرده است که جهش‌های توانایی آن‌ها را در زمان 2 تشخیص نداده است) ممکن است به زودی به تعریف داخلی خود از RSI برسد (تاکید جسورانه ما در زیر):

علاوه بر این، استفاده روزافزون ما از سیستم‌های هوش مصنوعی برای تسریع تحقیق و توسعه خودمان ممکن است باعث شود که قابلیت‌های مدل‌های ما سریع‌تر از توانایی ما برای توسعه، اعتبارسنجی و اجرای اقدامات ایمنی، همسویی و امنیتی مربوطه پیشرفت کند. در نتیجه، ما در گذشته شتاب قابل توجهی در سرعت توسعه خود تا زمانی که اتفاق نیفتاده است شناسایی نکرده‌ایم، و ممکن است در آینده نیز شناسایی نکنیم.

برای مثال، تخمین‌های داخلی و انتظارات ما در مورد مدل‌های آینده، به جای مدل‌های فعلی‌مان، نشان می‌دهد که ممکن است به‌زودی به تعریف «پیشرفت شتاب‌انگیز قابل انتساب به هوش مصنوعی» در سیاست مقیاس‌پذیری مسئولانه‌مان دست پیدا کنیم. ما هیچ یک از مدل‌های فعلی خود را فراتر از این آستانه تعیین نکرده‌ایم و به ارزیابی داده‌های اساسی ادامه می‌دهیم.

با این حال، آنتروپیک همچنین در این پرونده گفت که هیچ یک از مدل‌هایش هنوز از آستانه RSI عبور نکرده‌اند و امیدوار است که انسان‌ها را در آینده قابل پیش‌بینی در فرآیند تحقیق و توسعه نگه دارد. ما پیش‌بینی نمی‌کنیم که بتوانیم با خیال راحت از کلود برای طراحی و ساخت نسل‌های متوالی مدل‌های مرزی بدون نظارت یا درک معنادار انسانی، اگر و زمانی که از نظر فنی امکان‌پذیر شود، استفاده کنیم. بر این اساس، ما در حال بررسی به‌روزرسانی‌هایی در خط‌مشی مقیاس‌پذیری مسئول خود هستیم تا انسان‌ها را در کنترل توسعه مدل‌های مرزی در آنتروپیک نگه داریم.»

شکاکان ممکن است به این نکته اشاره کنند که یک S-1 هم به عنوان افشا و هم به عنوان بازاریابی عمل می کند، و ادعای نزدیک بودن به مدلی آنقدر قدرتمند که بتواند خودش را بسازد، می تواند در دسته دوم قرار گیرد.

با این وجود، شکی نیست که قابلیت‌های کلود، به‌ویژه از نظر کدنویسی، ریاضیات و امنیت سایبری امسال به شدت رشد کرده است. اگر آنتروپیک فکر می‌کند که احتمال RSI نزدیک است، شاید باید آن را باور کنیم و بر این اساس - شاید حکومت کنیم - عمل کنیم.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

One Pass بخرید، جلد دوم رایگان را در بوت کمپ نهایی سال TechCrunch با آوردن هم بنیانگذار یا شریک خود به صورت کتاب رایگان قبل از انقضای قرارداد BOGO دریافت کنید.

لوکاس روپک در گزارش FT می گوید انتظار می رود آنتروپیک رتبه "ناخواسته" بالایی را از آژانس های اعتباری پس از IPO دریافت کند.

اولین ماهواره مرکز داده گوگل آنلاین است و تیم فرنهولز شعر می نویسد

با کاهش ترافیک جستجو، Reddit اعلام کرد که به تجربه وارد شده به سارا پرز تغییر می کند.

مدیران هوش مصنوعی ممکن است آنقدر دور از دسترس باشند که برای عموم مردم آماندا سیلبرلینگ ساخته شوند

VCها در IPO Anthropic میلیاردها دلار به دست خواهند آورد، اما آمازون قرار است مارینا تمکین بسیار (بسیار) بیشتری بسازد.

میلیاردر پالمر لاکی کالیفرنیا را بخاطر مالیات بر ثروت جولی بورت ترک نمی کند

Anduril، Qualcomm BlueChip، نوع جدیدی از لپ‌تاپ Julie Bort را راه‌اندازی کرد