ساتیا نادلا می گوید که رابطه یک شرکت با هوش مصنوعی باید مشکلات اعتماد داشته باشد

ساتیا نادلا، مدیر عامل مایکروسافت می گوید شرکت ها نباید به مدل های هوش مصنوعی اعتماد کنند. بلومبرگ/گتی ایماژ ساتیا نادلا، مدیرعامل مایکروسافت گفت: شرکت‌های فناوری باید با مدل‌های هوش مصنوعی به عنوان یک تهدید داخلی برخورد کنند.

او گفت که شرکت‌ها باید فرض کنند مدل‌های هوش مصنوعی آن‌ها به خطر افتاده است و از همان ابتدا آن‌ها را کنترل کنند.

رهبران فناوری با نحوه کنترل و کنترل مدل های هوش مصنوعی مرزی دست و پنجه نرم می کنند. ساتیا نادلا می گوید که در رابطه بین هوش مصنوعی و یک شرکت، مسائل مربوط به اعتماد می تواند سالم باشد.

در یک پست طولانی X در روز شنبه، مدیر عامل مایکروسافت گفت که شرکت ها همیشه تصمیمات یا رفتار یک مدل هوش مصنوعی را درک نمی کنند، بنابراین باید دیوارهایی بسازند تا از خود در برابر فناوری محافظت کنند.

از این گذشته، بسیار محتمل است که هوش مصنوعی در حال بررسی اتصالات جدید باشد.

نادلا گفت: «ما باید مدل‌های غیر قطعی را با طراحی سیستم قوی و قطعی، کنترل‌های انسانی و رویه‌های عملیاتی قابل اعتماد احاطه کنیم و استانداردهای صنعتی را در جایی که استانداردهای موجود ناکافی هستند، ایجاد کنیم. «درمان کردن مدل‌های وزن بسته و باز مانند ریسک‌های داخلی راهی برای ساختن چنین سیستمی است».

نادلا گفت که مدل‌های هوش مصنوعی ذاتا مخرب نیستند، اما هر چیزی که به سیستم‌های حیاتی دسترسی داشته باشد ممکن است به خطر بیفتد یا اشتباه کند. او افزود که مدل‌های هوش مصنوعی نباید قادر به کنترل‌هایی باشند که تعیین می‌کنند به چه چیزی می‌توانند دسترسی داشته باشند یا چه اقداماتی را می‌توانند انجام دهند.

نادلا گفت: "امروز این به معنای جدا کردن مدل از مهاری است که کار آن را تنظیم می کند، و همچنین فضای عملی که مشخص می کند چه کاری می تواند انجام دهد. همچنین به معنای بیرونی کردن کنترل ها و حفاظت ها است."

وی افزود: "قابل اعتمادترین سیستم ابراطلاعات، سیستمی نخواهد بود که مدلی را که ما بیشتر به آن اعتماد داریم، داشته باشد، بلکه سیستمی است که ما را قادر می سازد کمترین اعتماد را به مدل داشته باشیم."

آرون لوی، مدیر عامل Box به پست نادلا پاسخ داد و گفت که هوش مصنوعی باید "دوران اعتماد صفر" را پشت سر بگذارد.

Levie گفت: "و همه اینها منجر به نیاز به لایه‌های مختلف حفاظت و قابلیت ممیزی در مورد آنچه که عوامل انجام می‌دهند، با چه داده‌هایی می‌توانند کار کنند، و کنترل‌هایی برای زمانی که همه چیز اشتباه پیش می‌رود، می‌شود. و یک فرصت بزرگ در حال حاضر برای کسانی که چنین سیستم‌هایی را در سراسر سازمان می‌سازند."

با افزایش سرعت توسعه هوش مصنوعی، همه از جمله شرکت‌هایی که خود مدل‌های هوش مصنوعی را می‌سازند، به دنبال اعمال محافظ سخت‌تر هستند.

در ماه سپتامبر، داریو آمودی، مدیر عامل آنتروپیک گفت که صنعت باید سرعت توسعه هوش مصنوعی را کاهش دهد. پست وبلاگ او مورد حمایت سم آلتمن، مدیر عامل OpenAI و ایلان ماسک، مدیر عامل SpaceXAI قرار گرفت.

دولت ترامپ که از توسعه سریع هوش مصنوعی حمایت کرده است، در برابر تنظیم این صنعت مقاومت کرده است. در این ماه، سناتورهای جاش هاولی و کریس مورفی قانون دو حزبی را پیشنهاد کردند تا توسعه دهندگان و اپراتورهای عامل هوش مصنوعی را مسئول حوادث هک کنند.

اظهارات نادلا پس از آن بیان شد که یک سری حوادث امنیت سایبری صنعت هوش مصنوعی را تکان داد. ماه گذشته، آنتونی آلبانیز، نخست وزیر استرالیا، گفت که یک عامل OpenAI در تابستان امسال یک وب سایت دولتی را نقض کرده است. در ماه جولای، آنتروپیک اعلام کرد که سه حادثه را شناسایی کرده است که در آن یک مدل کلود به اینترنت دسترسی پیدا کرده و به سیستم‌های غیرمجاز نفوذ کرده است.

در X، نادلا فهرستی از اصول پیشنهادی را به اشتراک گذاشت که شرکت‌ها باید از آنها پیروی کنند، از جمله این فرض که مدل‌ها "به خطر افتاده" هستند و باید از همان ابتدا شامل شوند.

او گفت: "به آن مانند یک ترمز اضطراری فکر کنید. یک فرد مجاز باید همیشه بتواند یک مدل را در میانه کار متوقف یا خاموش کند." مدل‌های پیشرفته‌تر به فناوری‌های مهار پیشرفته‌تری نیاز دارند که باید روی آن‌ها استانداردسازی کنیم.»

نادلا همچنین گفت که شرکت‌ها باید زمانی که سیستم‌های هوش مصنوعی آنها از کار می‌افتد یا در معرض خطر قرار می‌گیرد، به موقع به طرف‌های آسیب‌دیده افشا کنند.

مقاله اصلی را در Business Insider بخوانید