LeCun در مورد نابودی بشریت توسط هوش مصنوعی، حوادث "سرکش" اخیر "نگرانی صفر" دارد
https://archive.ph/TyDPf آدرس نظرات: https://news.ycombinator.com/item?id=49946228 امتیاز: 398 # نظرات: 738
یان لکون جایزه تورینگ ۲۰۱۸ - معادل جایزه نوبل علوم کامپیوتر - را به همراه جفری هینتون و یوشوا بنجیو، محققین دیگر هوش مصنوعی به خاطر کارشان در زمینه یادگیری عمیق، فناوری شبکه عصبی که زیربنای رونق هوش مصنوعی امروزی است، بردند. اما امروز، تقریبا یک دهه بعد، لیکان تنها کسی از سه «پدرخوانده» هوش مصنوعی است که عمیقا نگران خطرات هوش مصنوعی نیست. در واقع، او فکر میکند که بسیاری از این ریسکها بیش از حد است، و هشدار مداوم مدیران برخی از شرکتهای پیشرو هوش مصنوعی در مورد آنها، نادرست و معکوس است.
لیکان «اصلا» نگران نابود کردن بشریت توسط هوش مصنوعی نیست، و او در مورد رشتهای از حوادث سرکش هوش مصنوعی، از جمله عوامل OpenAI که به طور مستقل Hugging Face را در ماه جولای هک کردند، «نگرانی صفر» دارد. او این حوادث را به نظارت ضعیف انسانی و طراحی سیستم نسبت میدهد و میگوید که «کاملا قابل پیشگیری هستند»، اعتقادی که اسکات بسنت، وزیر خزانهداری ایالات متحده نیز به آن اعتقاد دارد، او این ماه حادثه «Huging Face» را «مسئولیت مدیریت OpenAI» نامید.
لیکان گفت: «آن عوامل دقیقا همان کاری را انجام میدهند که از آنها خواسته شده است. قرار بود آنها در جعبههای شنی باشند، اما جعبههای شنی نشتی داشتند و به طرز وحشتناکی طراحی شده بودند.» او گفت که بسیاری از آزمایشگاههای هوش مصنوعی فاقد درک اساسی از امنیت سایبری هستند، چیزی که یکی از محققان ایمنی OpenAI نیز این هفته به عنوان یکی از دلایل اصلی که ممکن است هوش مصنوعی به جهان آسیب زیادی وارد کند، از آن یاد کرد.
لکان میگوید بسیاری از افرادی که در زمینه ایمنی هوش مصنوعی کار میکنند «معمولا برنامهای برای پیشبرد دارند» و سپس توضیح میدهد که او در مورد نوعدوستی مؤثر یا EA صحبت میکند، جنبشی فلسفی که با خطراتی که هوش مصنوعی برای بشریت ایجاد میکند وسواس دارد. EA در میان عموم مردم چندان شناخته شده نبود تا اینکه در هفتههای اخیر و پس از انتشار پستی در رسانههای اجتماعی ویروسی از سوی محقق سابق Anthropic و OpenAI به نام Jacob Coxon، که مدعی شد کارمندان این شرکتها «عملا معتقدند [هوش مصنوعی] میتواند همه ما را تا پایان دهه بکشد»، به تیتر اخبار اصلی تبدیل شد.
LeCun فکر می کند EA "فوق العاده سمی" و یک "فاجعه کامل" است. او گفت که طرفداران آن که در آزمایشگاههای هوش مصنوعی کار میکنند از «پارانویا» رنج میبرند که باعث میشود تصمیمهای ضعیفی بگیرند. ظاهرا مردم مشکلات روانی دارند. در این ماه، فایننشال تایمز همچنین گزارش داد که برخی از کارکنان مؤسسه امنیت هوش مصنوعی بریتانیا، و همچنین در OpenAI، Anthropic و Google DeepMind، به دنبال مشاوره، مرخصی از کار، و علنا در مورد تجربه ناراحتی به دلیل ترس از اینکه کارشان آسیب جدی وارد کند، صحبت کرده اند.
داریو آمودی، مدیر عامل آنتروپیک و بسیاری از کارکنان مؤسس شرکت، بهعنوان همدردی با ایدههای EA شناخته میشوند و در گذشته در رویدادهای EA شرکت کردهاند، اگرچه آمودی پیروی از EA را انکار کرده است و آنتروپیک میگوید کارکنانش طیف متفاوتی از دیدگاهها را ارائه میکنند. لیکان اشاره کرد که خواهر آمودی، دانیلا، که همچنین یکی از بنیانگذاران Anthropic و رئیس شرکت است، با هولدن کارنوفسکی، که دو موسسه خیریه همسو با EA از جمله Open Philanthropy (که اکنون Coefficient Giving نامیده می شود) ازدواج کرده است. کارنوفسکی همچنین از سال 2017 تا 2021 عضو هیئت مدیره OpenAI بود.
لیکان گفت: «داریو سعی میکند از بشردوستانه باز فاصله بگیرد، اما کاملا به آن علاقه دارد. "من فکر می کنم او کاملا فریب خورده است." بعدا در مصاحبه، او آمودی را "دیوانه" خطاب می کند.
لکان گفت: آمودی و سام آلتمن، مدیر عامل OpenAI، «گفتن «هوش مصنوعی میتواند همه ما را بکشد» برای همه، از جمله برای مردمی که ترسیدهاند، فوقالعاده مخرب است. همچنین برای صنعت هوش مصنوعی بد است و "بدترین کمپین بازاریابی که می توانید تصور کنید."
او درست می گوید: عموم مردم ترسیده اند. من و لیکان پشت میز دایرهای دو نفره در یک کافه مجلل در محله سوهو شهر نیویورک، درست در گوشهای از دفاتر شرکت جدیدش، AMI Labs، صحبت میکنیم. ما در حال نوشیدن چای هستیم، اگرچه، همانطور که مرد فرانسوی اشاره کرد، زمان عصر ما بیشتر برای apéro یا نوشیدنی ها و پیش غذاهای سبک مناسب بود. اما او بعد از آن یک شام سالگرد با همسرش خورد، بنابراین چای خوب بود، او گفت.
تقریبا نصف مغازه پر از مشتریان دیگر است، تقریبا همه با لپتاپهای خود کار میکنند. وقتی من و لیکان با یکی از آنها چت می کنیم، به او اشاره می کنم که لیکان یک چهره برجسته در هوش مصنوعی است. (او را نشناخت.) سپس بلافاصله می پرسد: "پس، آیا هوش مصنوعی ما را می کشد؟"
ترس مردم آنقدر گسترده شده است که پرزیدنت ترامپ شروع به تغییر برند هوش مصنوعی به گونه ای کرده است که احساس می کند اعتماد به نفس بیشتری را القا می کند. او این هفته فرمان اجرایی را امضا کرد که نام آن را به «فوق هوشی» تغییر داد، و در بیشتر این ماه، حسابهای رسانههای اجتماعی دولتش پیامهای ضد هوش مصنوعی ارسال میکردند.
وزارت جنگ در اواسط سپتامبر در توییتی نوشت: «آمریکایی، نه نوع دوستی مؤثر».
در همین حال، بیشتر حضور لکون در رسانه های اجتماعی به محکوم کردن دولت ترامپ اختصاص دارد، به ویژه نحوه کاهش بودجه تحقیقاتی که برای ترویج نوآوری ضروری است و "جنگ علیه علم" به راه انداخته است. اما وقتی صحبت از ترس هوش مصنوعی به میان می آید، این دو به طور غیرعادی همسو هستند.
LeCun بیشتر نگران دستگیری نظارتی هوش مصنوعی است تا انقراض انسان. تسخیر رگولاتوری به این ایده اشاره دارد که شرکتهای مسلط میتوانند قوانین دولتی را به شیوههایی شکل دهند که موقعیت آنها را در بازار قفل کند و ظهور رقبای کوچکتر را دشوار یا غیرممکن کند. گروههای تحت حمایت EA مانند بسیاری از شرکتهای بزرگ فناوری و هوش مصنوعی، لابیگران فعالی برای صورتحسابهای ایمنی هوش مصنوعی در Capitol Hill هستند. در مقابل، LeCun فکر نمیکند که هوش مصنوعی به مقررات جدیدی نیاز دارد.
LeCun اذعان می کند که آمودی "صادق" است. او سعی میکند بهترین کار را برای شرکتی که به عرضه اولیه اولیهاش نزدیک است انجام دهد. اما ادعای هوش مصنوعی بسیار خطرناکتر از آن است که در دستان ما بگذاریم، و گفتن اینکه باید تنظیم شود، و گفتن [مدلهای] منبع باز بسیار خطرناک هستند - این ضبط نظارتی است که اگر با اقدامات کنگره دنبال شود، تأثیر وحشتناکی خواهد داشت.»
تمرکز اصلی LeCun در کارهای روزمره خود، ساخت شرکت جدید خود، AMI Labs است که پس از ترک متا پس از 12 سال، هفت سال از آن را به عنوان دانشمند ارشد هوش مصنوعی تأسیس کرد. او همچنان روابط خوبی با این شرکت دارد و استفاده از عوامل جدید Muse AI را آغاز کرده است. او نام هال خود را از HAL 9000، یک شخصیت هوش مصنوعی در سال 2001: A Space Odyssey نامید.
کافه ای که ما در آن ملاقات کردیم، در گوشه ای از دفتر آزمایشگاه AMI در نیویورک بود، اگرچه دفتر مرکزی شرکت در پاریس با کارکنانی در مونترال و سنگاپور نیز قرار دارد. نام این شرکت به صورت یک کلمه، «ami» یا «دوست» در فرانسوی تلفظ میشود - و از زمان عرضه عمومی در مارس 2026، اکنون 60 کارمند آن در حال ساخت فناوریای به نام مدلهای جهانی هستند، که LeCun مدتها استدلال میکرد که در نهایت جایگزین مدلهای زبان بزرگ به عنوان سیستم اصلی مبتنی بر هوش مصنوعی خواهد شد.
به طور خاص، AMI در حال ساخت مدلهای جهانی است که از JEPA (معماری پیشبینی جاسازی مشترک)، یک معماری شبکه عصبی که LeCun پیشگام بود، میسازد و به مدلها میآموزد که دادهها را در یک فضای نمایشی در لایههای میانی شبکه عصبی پیشبینی کنند، بهجای تولید پیکسلهای خام، به همان اندازه که بسیاری از مدلهای جهانی رقیب انجام میدهند، یا کلمات.
تمرکز اصلی این شرکت، در حال حاضر، کاربردهای صنعتی است. LeCun گفت: "این هوش مصنوعی برای دنیای فیزیکی است، بنابراین به زبان مرتبط نیست." این سیستمهایی هستند که دنیای واقعی را درک میکنند، مانند یک کارخانه تولیدی یا موتور توربوجت.» برخی از برنامههای اصلی، تشخیص ناهنجاری یا روباتیک هستند: «اگر دستگاهی دارید و ناگهان صدای عجیبی ایجاد میکند و شروع به شکستن میکند، دوست دارید هر چه زودتر آن را تشخیص دهید.» او همچنین سیستمی را مثال زد که ممکن است جهان را مانند یک گربه درک کند، به عنوان مثال، که می داند اگر یک گلدان را از روی پیشخوان هل دهد.
سقوط خواهد کرد.
AMI Labs شانس بزرگی برای LeCun است تا ثابت کند حق با او بوده است. او در مورد اولین محصول این شرکت مامان ماند و فقط اشاره کرد که این محصول "به زودی" عرضه می شود. او گفت، با توجه به اینکه او از طرفداران بزرگ آنها است، ممکن است برخی از مدل های باز درگیر باشند.
لیکان گفت: «چیزی که میخواهم مردم بدانند این است که هوش مصنوعی تمام نشده است.
متن اصلی (انگلیسی)
LeCun has "zero concerns" about AI wiping out humanity, recent "rogue" incidents
https://archive.ph/TyDPf Comments URL: https://news.ycombinator.com/item?id=49946228 Points: 398 # Comments: 738