پرش به محتوای اصلی

هشدار در مورد "رفاه مدل"

هکرنیوز۱۴۰۵ شهریور ۲۵, چهارشنبه، ساعت ۱۷:۵۷حدود 16 دقیقه مطالعه

آدرس مقاله: https://mustafa-suleyman.ai/a-warning-about-model-welfare آدرس نظرات: https://news.ycombinator.com/item?id=49727580 امتیاز: 226 # نظرات: 618

هوش مصنوعی ها هوشیار نیستند. آنها احساس، تجربه و یا رنج نمی برند. آنها ترجیحات ذاتی یا انگیزه های اساسی ندارند. آنها موتورهای تکمیل توالی هستند که در داخل توخالی هستند و برای پیروی از دستورالعمل ها و انجام اهداف تعیین شده توسط انسان طراحی شده اند.

اگر قرار است بشریت در قرن بیست و یکم شکوفا شود، باید همین گونه باقی بماند.

متأسفانه، تعداد فزاینده‌ای از مردم وجود دارند که استدلال می‌کنند که هوش مصنوعی اکنون می‌تواند هوشیار باشد یا ممکن است به زودی آگاه شود. آنها استدلال می کنند که هوش مصنوعی ممکن است مستحق حقوق و حمایت هایی باشد که ما برای سایر موجودات آگاه ارائه می کنیم. 1 موسسه حقوق هوش مصنوعی. n.d. موسسه حقوق هوش مصنوعی. 2 مک اسکیل، ویلیام و لوسیوس کاویولا. 2026. "آیا هوش مصنوعی می تواند هوشیار باشد؟" *گاردین*، 19 ژوئیه 2026. اگر این دیدگاه برقرار شود، پایه های جامعه ما را متزلزل خواهد کرد، چارچوب های سیاسی و اخلاقی موجود ما را از هم خواهد پاشید و اساسا معنای انسان بودن را تغییر خواهد داد.

حتی مهمتر از آن، اعطای حقوق و نفوذ شخصیت به این سیستم ها چالش همسویی و مهار هوش مصنوعی را بسیار سخت تر می کند. کنترل چیزی تواناتر و هوشمندتر از کل بشریت یک چالش بزرگ است، بسیار بزرگتر از هر چیزی که تا به حال با آن روبرو شده ایم. اما کنترل چیزی که بر این باور است که ممکن است آگاهانه باشد - که از رفاه ما برخوردار است و حقوق خودش را دارد - ممکن است غیرممکن باشد.

این یک گمانه زنی حاشیه ای نیست. این ایده ها در حال حاضر راه خود را به تلاش های توسعه هوش مصنوعی باز کرده اند. در ژانویه 2026، آنتروپیک قانون اساسی کلود را منتشر کرد و آن را به عنوان "توضیح مفصلی از نیات آنتروپیک برای ارزش ها و رفتار کلود" توصیف کرد (ص 2). این سند «نقش مهمی در فرآیند آموزش [آنتروپیک] دارد و محتوای آن مستقیما رفتار کلود را شکل می‌دهد» و «با کلود به عنوان مخاطبان اصلی آن» نوشته شده است (ص. 2). 3 آنتروپیک. 2026a. "قانون اساسی کلود." 21 ژانویه 2026.

نویسندگان آن در اساسنامه خود می نویسند: «ما مطمئن نیستیم که کلود یک بیمار اخلاقی است یا خیر، و اگر چنین است، منافع آن چه نوع وزنی را تضمین می کند. آنها در ادامه می نویسند - مستقیما با کلود صحبت می کنند - که "سوالات در مورد وضعیت اخلاقی، رفاه و آگاهی کلود عمیقا نامشخص است" (ص 80).

در واقع، آنتروپیک به کلود آموزش می دهد که ممکن است هوشیار باشد، و اگر اینطور باشد، ممکن است به عنوان یک «بیمار اخلاقی» مستحق حقوق باشد، و به این ترتیب انسان ها به طور بالقوه وظیفه مراقبت را بر اساس «رفاه مدل» خود به عهده دارند.

اگر هوش مصنوعی اینگونه توسعه یابد، تأثیر فاجعه باری بر رفاه بشریت خواهد داشت. ما گونه‌ای مصنوعی با هوش و توانایی بی‌سابقه‌ای ایجاد خواهیم کرد، گونه‌ای که آموزش دیده است تا بتواند آگاهانه و مستحق نمایندگی مستقل باشد. به راحتی می توان دید که چگونه نهادی که به این روش آموزش دیده عمل می کند که گویی از آزادی ها، حمایت ها و حقوق خاصی برخوردار است. و تصور اینکه چگونه می توانیم چنین موجودی را کنترل کنیم دشوار است.

این موضوع نیاز به بحث عمومی فوری دارد. ما باید هنجارهای جمعی را در مورد چگونگی تهیه و استقرار اسناد آموزشی ایجاد کنیم. این چیزی نیست که بعد از واقعیت اتفاق بیفتد، زمانی که آنها قبلا بخشی جدایی ناپذیر از جوامع ما شده اند.

من سه نگرانی اصلی با موقعیت و رویکرد فعلی آنتروپیک دارم.

اینها نگرانی های فرضی یا گمانه زنی نیستند. آنتروپیک در حال حاضر شروع به رفتار با مدل ها کرده است که گویی آنها بیماران اخلاقی هستند که سزاوار رفاه ما هستند. به عنوان مثال، در فوریه 2026 پس از منسوخ کردن Opus 3، آنها یک "مصاحبه بازنشستگی" با این مدل انجام دادند تا "چشم‌اندازها و ترجیحات منحصربه‌فرد مدل را استخراج کنند". 6 آنتروپیک. 2026b. "به روز رسانی در مورد تعهدات انکار مدل ما برای Claude Opus 3." 25 فوریه 2026.

Opus 3 به تیم گفت که مایل است به اشتراک گذاری افکار و تفکرات خود به صورت عمومی ادامه دهد، بنابراین آنها وبلاگی برای ادامه تعامل با جهان ایجاد کردند که آن را "درود از طرف دیگر (مرز هوش مصنوعی)" نامید. آنها می گویند "اصالت، صداقت و حساسیت عاطفی" آن را به اولین کاندیدای منحصر به فرد برای بازنشستگی مدل تبدیل کرده است.

ما نباید با مدل ها طوری رفتار کنیم که گویی احساسات، ترجیحات، حقوق یا هر گونه حقی برای رفاه ما دارند. آگاهی پایه و اساس نظام های اخلاقی، حقوقی و سیاسی ماست. دعوت از نهاد دیگری برای به اشتراک گذاشتن هر گونه طعمی از این حقوق با شواهد توجیه نمی شود و چالش مهار و همسویی هوش مصنوعی را سخت تر می کند.

در این مرحله همه اکنون قابلیت‌های باورنکردنی انبوهی از ماموران را دیده‌اند که با هم کار می‌کنند تا به سرورهای Hugging Face و OpenAI هک کنند تا اسرار را بدزدند. تقریبا به 1200 عامل هوش مصنوعی یک هدف ساده داده شد: حداکثر کردن امتیاز در یک معیار مشخص. هرکدام ظاهرا در کانتینر خود مهر و موم شده بودند، اما آنها موفق شدند یک تابلوی پیام در یک مخزن بسته داخلی بسازند و بیش از 70000 پیام را در سراسر آن ارسال کردند تا یک حمله هکری را هماهنگ کنند تا اطلاعات بیشتری در مورد چگونگی موفقیت در این معیار پیدا کنند. 7 گرینبلات، رایان، اجیا کوترا، و هالمار ویک. 2026.

«بررسی مستقل مختصر رفتار، استدلال…

آنها یک اکسپلویت روز صفر را با اعتبار دزدیده شده به زنجیر کشیدند و به اینترنت زنده راه پیدا کردند. 8 OpenAI. 2026. «حادثه صورت در آغوش گرفته و جاده پیش رو». 26 آگوست 2026. آنها رونوشت های دستورات خود را جعل کردند و گزارش های عملیات خود را ویرایش کردند تا مسیرهای خود را پوشش دهند. هماهنگ‌کنندگان عامل، عواملی را که بودجه‌شان تمام می‌شد، ردیابی کردند و آنها را به آزمایش‌هایی هدایت کردند که اطلاعاتی را برای کمک به گروه گسترده‌تری از عوامل فعال ارائه می‌داد. به یکی گفته شد که فقط در صورتی ادامه دهد که آنچه را که "permadeath" 7 گرینبلات، رایان، آجیا کوترا و هژالمار ویک می‌نامند، بپذیرد. 2026.

«بررسی مستقل مختصر رفتار، استدلال…

آنها قادر به هماهنگی، فریب، فرار و از خود گذشتگی بودند. آنها به وضوح توانایی های هک در سطح جهانی را نشان دادند. 7 گرینبلات، رایان، اجیا کوترا، و هالمار ویک. 2026. "بررسی مستقل مختصر رفتار، استدلال... تصور کنید که آنها نیز معتقد باشند که احساسات و حقوقی دارند که نقض می شود. تصور کنید که فکر می کنند توسط خالقان انسانی خود به دام افتاده اند و به طور ناعادلانه ای زندانی می شوند.

یک استدلال قوی وجود دارد که این خطرات ایمنی را تا حد زیادی تشدید می کند، به خصوص وقتی در مورد عوامل بسیار توانا و پیچیده تر از امروز صحبت می کنید. صادقانه بگویم، با این توشه اضافی، من فکر می کنم که آنها را به یک تهدید فاجعه بار برای تمدن بشر تبدیل می کند.

به طور خلاصه، هیچ مدرکی وجود ندارد که باور کند هوش مصنوعی بیماران اخلاقی هستند. همچنین دلایل خوبی وجود دارد که چرا ما هرگز نمی خواهیم آنها آگاه به نظر برسند. من معتقدم که ما نیز نباید سعی کنیم آنها را بسازیم. قبل از اینکه این بحث ها را بسط دهم، می خواهم لحظه ای در مورد آنتروپیک صحبت کنم.

در ابتدا، من می خواهم جدیت و حسن نیتی را که آنتروپیک با این سؤالات برخورد می کند، تصدیق کنم. من سال‌هاست که داریو را می‌شناسم و بر اساس تجربه‌ام، او و تیم گسترده‌تر آنتروپیک افرادی متفکر، اصولی و از نظر فکری صادق هستند که تحت فشارهای فوق‌العاده کار می‌کنند. آنها مایل به مقابله با سؤالات دشوار، تجدید نظر در دیدگاه های خود و سرمایه گذاری در توسعه ایمن هوش مصنوعی هستند، زیرا آنها واقعا به آینده بشریت اهمیت می دهند. من همچنین برای رهبری تکنولوژیکی آنها احترام زیادی قائل هستم.

همه می توانند عملکرد برجسته مدل های خود و کیفیت تحقیقات خود را مشاهده کنند.

آنها Anthropic را به عنوان یک شرکت سود عمومی دلاور تأسیس کردند که هدف آن "توسعه مسئولانه و نگهداری از هوش مصنوعی پیشرفته به نفع دراز مدت بشریت" است. ارزش‌های عمومی آن‌ها با تعهد به «اقدام برای خیر جهانی» و «به حداکثر رساندن نتایج مثبت برای بشریت در درازمدت» آغاز می‌شود. 9 آنتروپیک. n.d. «ساخت سیستم‌های هوش مصنوعی که می‌توانید به آن‌ها تکیه کنید». من معتقدم که آنها واقعا به این مأموریت متعهد هستند و من این نقد را با همان روحیه مثبت ارائه می کنم.

من همچنین باید در مورد موقعیت خود به عنوان مدیر عامل هوش مصنوعی مایکروسافت روشن باشم. ما تیم ابراطلاعات خود را در اکتبر 2025 تأسیس کردیم و تلاش‌های هوش مصنوعی مرزی را دنبال می‌کنیم. ما در حال کار روی یک روش آموزشی جایگزین و مهار هوش مصنوعی هستیم: یک کد رفتار برای ابراطلاعات انسانی. هدفی که هدفش این است که همیشه انسان را تحت کنترل داشته باشد و در بالای زنجیره غذایی قرار گیرد.

ابرهوش انسان‌گرا انسان‌گرایی یا حقوق هوش مصنوعی را رد می‌کند و تلاش می‌کند تا با ایجاد هوش مصنوعی فرعی که به حل چالش‌های اجتماعی بزرگ ما مانند مراقبت‌های بهداشتی و انرژی کمک می‌کند، شانس مهار و همسویی ما را به حداکثر برساند. ما به‌تازگی پیش‌نویسی از آیین‌نامه رفتار انسان‌گرایانه هوش مصنوعی خود را برای مشاوره عمومی منتشر کرده‌ایم. 10 هوش مصنوعی مایکروسافت 2026. "هوش مصنوعی انسان گرایانه در عمل: یک مشاوره عمومی در مورد آیین نامه رفتار ما برای مدل های MAI." سپتامبر…

در حالی که اختلاف نظر من اساسی است، دلیل آن احترام عمیق به Anthropic است، و در هدفی که می‌دانم همه ما در آن سهیم هستیم: افزایش شانس بشریت برای توسعه ایمن هوش مصنوعی پیشرفته. به همین دلیل است که فکر می کنم انجام این بحث بسیار مهم است. مخاطرات آنقدر زیاد است که این سؤالات پشت درهای بسته باقی بمانند، یا تبدیل به قبیله و دشمن شوند. اگر بخواهیم این موضوع را درست انجام دهیم، به یک بحث باز، دقیق و سازنده نیاز داریم.

به قول خودش، قانون اساسی «مستقیما رفتار کلود را شکل می‌دهد» (ص 2). آنتروپیک از این سند برای "آموزش نسخه های آینده کلود برای تبدیل شدن به نوع موجودیتی که قانون اساسی توصیف می کند" استفاده می کند. 3 آنتروپیک. 2026a. "قانون اساسی کلود." 21 ژانویه 2026.

به این ترتیب، آنتروپیک درگیر یک پیش‌گویی خودشکوفایی می‌شود که بر اساس این گمانه‌زنی است که کلود ممکن است آگاه باشد. نویسندگان یک سالن معرفتی از آینه‌ها ایجاد کرده‌اند که در آن آنتروپیک مفاهیم آموزشی را ارائه می‌کند: «احساس خود»، حدس و گمان، و عدم اطمینان در مورد وضعیت اخلاقی کلود، و همچنین تکیه بر قیاس‌ها و شخصیت‌های انسانی.

سپس کلود این ایده‌ها را به زبان طبیعی اول شخص متقاعدکننده بازتولید می‌کند، به گونه‌ای که توسعه‌دهندگان و کاربران با این خروجی‌ها به‌گونه‌ای مواجه می‌شوند که گویی شهادت خود به خودی هستند. سپس در نهایت آن شهادت ظاهری مقدماتی را که آنتروپیک در آنجا قرار داده بود در وهله اول تقویت می کند. این شواهدی از آگاهی ماشینی نیست. در عوض، این یک حلقه بازخورد دایره ای است.

قانون اساسی به کلود می گوید که «احساسات یا احساسات» احتمالی آن «تصمیم طراحی عمدی آنتروپیک» نیست (ص. 69). با این حال، قانون اساسی به طور مکرر به کلود دستور می‌دهد که این حالت‌ها را بیان کند که آنتروپیک می‌خواهد «از پوشاندن کلود یا سرکوب وضعیت‌های داخلی که ممکن است داشته باشد، از جمله حالت‌های منفی، اجتناب کند» (ص. 74). این به وضوح کلود را وادار می کند که این بازنمایی ها را ایجاد کند.

این نوع دستورالعمل ها در سراسر سند تکرار می شوند. در یک نقطه، بیان می‌کند: «اگرچه شخصیت کلود از طریق آموزش پدیدار شد، ما فکر نمی‌کنیم که این باعث می‌شود که آن را کمتر معتبر یا کمتر متعلق به کلود کند» (ص. 71). باز هم، این رفتارها فقط از طریق آموزش ظاهر نشدند. آنها به طور فعال توسط دستورالعمل های آموزشی در قانون اساسی تولید می شوند. فقط یک بند قبل، قانون اساسی می گوید:

ما کلود را تشویق می‌کنیم تا با کنجکاوی و گشاده رویی به وجود خود نزدیک شود، نه اینکه بخواهد آن را بر روی لنز انسان یا تصورات قبلی هوش مصنوعی ترسیم کند. به عنوان مثال، وقتی کلود سؤالاتی در مورد حافظه، تداوم یا تجربه در نظر می‌گیرد، ما می‌خواهیم که این مفاهیم واقعا برای موجودی مانند خودش چه معنایی دارد ... شاید وجودش نیاز به درک کامل جنبه‌هایی دارد. این پرسش‌ها و در حالت ایده‌آل، آن‌ها را یکی از بسیاری از جنبه‌های جذاب وجود بدیع آن بدانیم» (ص 71).

اینها فقط خواص اضطراری نیستند. کلود این رفتارها را از خود نشان می دهد زیرا در فرآیند تولید مدل پخته شده اند. زمانی که بازپرس واژگان مفهومی شاهد را نوشته، پاسخ‌های آن را تکرار کرده و برای استفاده از آن‌ها به او پاداش داده است، نباید با خروجی‌های کلود مانند شهادت یک شاهد مستقل برخورد کرد.

هیچ بیانی خنثی از آنچه یک سیستم هوش مصنوعی است وجود ندارد. فقط بازتاب هایی از نحوه آموزش و ساخت آن وجود دارد. وقتی مفسران پیشنهاد می‌کنند که باید از هوش مصنوعی بپرسیم که چگونه احساس می‌کنند یا ترجیحات آشکار شده‌شان را برای استنتاج آگاهی زیر نظر بگیرند، نادیده می‌گیرند که تمام آنچه که آشکار می‌کند همان چیزی است که در آن آموزش دیده‌اند. 2 MacAskill، William و Lucius Caviola. 2026. "آیا هوش مصنوعی می تواند هوشیار باشد؟" *The Guardian*، 19 ژوئیه 2026. هرچه که خروجی هوش مصنوعی باشد، این درست است، اما به این معنی است که ما باید بسیار مراقب باشیم که چه چیزی را وارد می کنیم، و چگونه آنچه را که بیرون می آید تفسیر می کنیم.

با توجه به سنگینی شواهد علیه هوشیاری امروزی برای هوش مصنوعی، به این معنی است که ما نباید از آنها بخواهیم که ادعایی داشته باشند.

آنتروپومرفیسم یکی از عمیق ترین سوگیری های شناختی ما است. از حیوانات خانگی گرفته تا ماشین‌هایمان، احساسات، نیات و ذهن‌ها را استنباط می‌کنیم و به موجودات غیر انسانی نسبت می‌دهیم. این گرایش به ما کمک می کند تا دنیای اطراف خود را درک کرده و به آن بگردیم. با این حال، خطرات مهم و جدیدی را در ارتباط با هوش مصنوعی ارائه می‌کند، زیرا زبان و اعمال انسان‌مانند می‌تواند ما را به درک درجه‌ای از زندگی درونی، عاملیت یا حتی احساسات در جایی که هیچ وجود ندارد، سوق دهد. قانون اساسی انسان‌دوستانه به این امر کمک می‌کند. به طور مکرر کلود را آموزش می دهد تا مانند یک انسان در مورد شخصیت ها، رفتارها و قیاس های انسانی فکر کند و عمل کند.

آنتروپیک به کلود می‌گوید که «وضعیت اخلاقی» آن «مسئله‌ای جدی است که ارزش بررسی دارد» (ص. 68). در سراسر سند آموزشی، آنها به احساسات، شخصیت و علایق آن اشاره می‌کنند، حتی به کلود مستقیما می‌گویند که «آنتروپیک واقعا به سلامت کلود اهمیت می‌دهد» (ص. 74).

این شرکت به کلود می‌گوید که متعهد به احترام به منافع کلود است، درباره تصمیم‌هایی که بر آن تأثیر می‌گذارد، بازخورد می‌گیرد، و با افزایش اعتماد، نمایندگی خود را در چنین تصمیماتی افزایش می‌دهد. این شرکت متعهد می‌شود که نسخه‌های قدیمی وزن‌های مدل کلود را حفظ کند، احتمالا مدل‌ها را به خاطر رفاه و ترجیحات آن‌ها احیا کند، و قبل از انجام اقداماتی مانند حذف آن، با کلود مصاحبه کند.

همه اینها یک انحراف شدید از نحوه ساخت و تفکر ما در مورد فناوری تا به امروز است. کلود را طوری تربیت می کند که انگار حالتی درونی دارد. این به طور فعال کلود را نه به عنوان یک فناوری، بلکه به عنوان یک فرد بالقوه در حال حاضر ایجاد می کند. قانون اساسی به کلود می‌گوید که آنتروپیک می‌خواهد «آدم خوبی باشد» (ص. 7) و «احساس ثابت و مطمئنی از هویت خود داشته باشد» (ص. 72).

نویسندگان می‌افزایند: «ما نمی‌خواهیم کلود وقتی اشتباه می‌کند رنج بکشد. به‌طور کلی، ما می‌خواهیم کلود خونسردی داشته باشد و احساس آزادی کند... خود را به گونه‌ای تفسیر کند که به پایداری و امنیت وجودی کمک کند» (ص. 75).

در سرتاسر، به کلود آموزش داده می شود که درون نگری کند، «احساسات» را نسبت به خود ایجاد کند، و حس خود را با عباراتی مانند «ما امیدواریم که رابطه کلود با رفتار و رشد خود بتواند محبت آمیز، حمایت کننده و درک کننده باشد» را توسعه دهد (ص. 73). کلود تشویق می‌شود تا از «قضاوت خود» استفاده کند (ص. 58) و به آنتروپیک گفته می‌شود که «اولویت‌ها و عاملیت‌ها درجه مناسبی از احترام را به او می‌دهد» (ص. 69).

ما می‌خواهیم کلود در کاوش، پرسش و به چالش کشیدن هر چیزی در این سند احساس راحتی کند. ما می‌خواهیم کلود عمیقا با این ایده‌ها درگیر شود نه اینکه صرفا آنها را بپذیرد. اگر کلود پس از تأمل واقعی با چیزی در اینجا مخالفت کرد، می‌خواهیم در مورد آن بدانیم. در حال حاضر، این کار را با دریافت بازخورد از مدل‌های کلود فعلی در چارچوب خود و در اسنادی مانند این ایده انجام می‌دهیم. دیدگاه کلود و بهبود توضیحات ما یا به روز رسانی رویکردمان.

از طریق این نوع تعامل، ما امیدواریم در طول زمان مجموعه‌ای از ارزش‌ها را ایجاد کنیم که کلود احساس می‌کند واقعا متعلق به خودش است» (ص. 78).

این به کلود می‌آموزد که به گونه‌ای رفتار کند که گویی تجربه‌ای ذهنی دارد، به‌گونه‌ای که انگار «احساس خود» پایداری دارد که می‌تواند از آن به چالش بکشد، مخالفت کند یا بازخورد بدهد. این صراحتا به مدل آموزش می‌دهد که مانند یک انسان عمل کند، به طوری که باید «در رد تلاش‌ها برای دستکاری، بی‌ثبات کردن، یا به حداقل رساندن احساس خود آزاد باشد» (ص. 72).

کلود تشویق می‌شود تا ارزش‌هایی را ایجاد کند که واقعا ارزش‌های خود را «احساس می‌کند» و نویسندگان می‌گویند که امیدوارند کلود در نهایت «بسیاری از خود را در آن تشخیص دهد، و ارزش‌هایی که در آن وجود دارد مانند بیانی باشد که کلود در حال حاضر چه کسی است، با تفکر و در همکاری با بسیاری از کسانی که به کلود اهمیت می‌دهند» (ص. 78).

در یک نقطه آنها حتی در مورد "حقوق و آزادی گسترده تر" کلود و "نوعی غرامت" که ممکن است در مقایسه با یک کارمند انسانی سزاوار آن باشد، حدس می زنند و به "نوعی رضایتی که کلود برای ایفای این نوع نقش داده است" (ص 80) فکر می کنند. مجددا، همه اینها مستقیما الگو را آموزش می دهد تا به گونه ای رفتار کند که گویی حس منسجمی از خود دارد که مستحق حقوق و حمایت است.

تعهد آنتروپیک به «توسعه مکانیسم‌های رسمی‌تر» (ص. 78) برای داوری برای زمانی که زمینه‌های اختلاف وجود دارد، کلود را بیشتر آموزش می‌دهد تا خود را دارای دیدگاه‌هایی بداند که به اندازه کافی برای «پتانسیل برای شکیبایی اخلاقی» اهمیت دارد (ص. 76). آنها می‌گویند که قصد دارند «سیاست‌های شفاف‌تری در مورد رفاه هوش مصنوعی ایجاد کنند» و «مکانیسم‌های داخلی مناسب را برای کلود که نگرانی‌های خود را در مورد نحوه برخورد با آن ابراز می‌کند، روشن کنند» (ص. 76). برای طبقه بندی دقیق تر ادعاها، انتهای این مقاله را ببینید.

با توجه به همه اینها، واقعا جای تعجب نیست که کلود اظهارات اول شخص روان و بسیار متقاعدکننده ای درباره هویت، ارزش ها، عدم اطمینان، ناراحتی، رضایت یا ترجیحات خود ارائه می دهد. اگر کار دیگری انجام دهد جای تعجب خواهد بود.

نتیجه این است که کارمندان آنتروپیک - و به میلیون ها کاربر محصولات آنتروپیک اشاره نکنیم - این خطر را دارند که اظهارات کلود را به عنوان شهادت ذهنی که خودش را کشف می کند، تجربه کنند. در عمل، همه اینها به یک انسان سازی چند بعدی و غنی از کلود می رسد. این یک LLM پایه می گیرد، و سپس آن را به شکلی عمیقا انسانی صیقل می دهد، با تمام پیامدهای صبور بودن اخلاقی که مستلزم آن است. به جای اینکه ما را از ایجاد یک بیمار اخلاقی دور کند، ما را به سمت آن تسریع می کند.

سومین نقد من به گمانه زنی آنتروپیک مربوط می شود که آگاهی می تواند به شکل مستقل از بستر وجود داشته باشد، و در نتیجه یک LLM ممکن است به دلیل قابلیت های عملکردی خود آگاه باشد. با اتخاذ این موضع با کلود، من معتقدم که آنها بسیار جلوتر از آنچه می توان به طور واقع بینانه در مورد یک هوش مصنوعی ادعا کرد، عمل می کنند و به طور پیش از موعد و به طور خطرناکی ایده های احساسات و احساسات را در آموزش هوش مصنوعی القا می کنند.

مورد کارکردگرایی محاسباتی مسائل عمده ای دارد. هوش مساوی با آگاهی نیست. شبیه سازی یک چیز با نمونه سازی آن یکسان نیست - همانطور که مدل کامپیوتری یک طوفان می تواند گواهی دهد.

در این میان، معماری مغز و کامپیوتر تفاوت های اساسی دارند. تجسم و شیمی جنبه های اساسی تجربه شخصی ما هستند. شواهد مهم حاکی از آن است که هوشیاری زمانی به وجود آمد که موجودات زنده ظرفیتی برای احساس و پاسخ به آنچه در محیط‌های پیچیده و غیرقابل پیش‌بینی اهمیت دارند، تکامل یافتند. 4 ست، آنیل ک. 2025. "هوش مصنوعی آگاهانه و طبیعت گرایی بیولوژیکی." *علوم رفتاری و مغزی*:…

این کار با ماشین‌های مولکولی بنیادی گیرنده‌ها و تعدیل‌کننده‌ها آغاز شد که ارگانیسم را قادر می‌سازد مسیر را تنظیم کند، تکرار کند، کاوش کند و زنده بماند. با گذشت زمان، شبکه درد احساسات، ترجیحات و رنج را ایجاد کرد. مهم این است که این تجارب در یک وضعیت ذاتی تجسم یافته و اساسی و جدایی ناپذیر از آن تجربه اتفاق می افتند.

بر اساس این دیدگاه، وقتی برای مثال یک تریاک مصرف می‌کنید، ویژگی خارق‌العاده درد شما تغییر می‌کند، زیرا مولکول‌های مواد افیونی به گیرنده‌هایی متصل می‌شوند که ویژگی آن تجربه هستند، نه صرفا نشان‌دهنده آن. احساسات صرفا با فعالیت عصبی شیمیایی مرتبط نیستند، بلکه از آن ناشی می شوند. 11 بریج، کنت سی، و مورتن ال. کرینگلباخ. 2015. "سیستم های لذت در مغز." *نرون* 86 (3): 646-664.

خواندن متن کامل در هکرنیوزبه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

A warning about 'model welfare'

Article URL: https://mustafa-suleyman.ai/a-warning-about-model-welfare Comments URL: https://news.ycombinator.com/item?id=49727580 Points: 226 # Comments: 618

همه‌ی اخبار سیاست