مدیر عامل شلمن: شکاف بزرگ در معامله هوش مصنوعی کاخ سفید

کاخ سفید اخیرا برخی از بزرگترین شرکت‌های هوش مصنوعی جهان را پیرامون یک تعهد مهم گرد هم آورده است: نظارت مستقل بر پادمان‌هایی که برای ایمن نگه داشتن سیستم‌هایشان طراحی شده‌اند. این توافقنامه که در 29 سپتامبر منتشر شد، از توسعه‌دهندگان می‌خواهد تا ریسک‌ها را نظارت کنند، کنترل‌های داخلی ایجاد کنند و حسابرسان یا ارزیاب‌های خارجی را برای ارزیابی کارآمدی این کنترل‌ها وارد کنند. این یک توسعه دلگرم کننده برای صنعتی است که شرکت ها تا حد زیادی مسئول ارزیابی فناوری خود هستند.

اما این توافق یک شکاف حیاتی بر جای می گذارد. این ارزیابی مستلزم ارزیابی های مستقل بدون تعیین اینکه چه کسی واجد شرایط انجام آنها است، چه استقلالی نیاز دارد یا چگونه تضاد منافع باید رسیدگی شود، می طلبد. بدون آن استانداردها، دو توسعه‌دهنده می‌توانند تعهد یکسانی را از طریق ارزیابی‌هایی با سطوح بسیار متفاوت از دقت و عینیت انجام دهند، و کسب‌وکارها و تنظیم‌کننده‌ها را در مورد میزان اعتماد به نتایج نامطمئن می‌گذارند.

در Schellman، ما تضمین معتبر هوش مصنوعی را ارائه می‌دهیم، و به طور مستقیم متوجه شده‌ایم که چرا اعتبار آن کار به استقلال، محدوده روشن و متخصصان واجد شرایط بستگی دارد. حرفه تضمین ده ها سال را صرف ایجاد استانداردهایی برای شایستگی، استقلال و نظارت بر کیفیت در گزارشگری مالی، امنیت سایبری و حریم خصوصی کرده است. این استانداردها به این دلیل وجود دارند که یک نظر مستقل فقط به اندازه افرادی که ارزیابی را انجام می دهند و شواهدی که نتیجه گیری آنها را تأیید می کند معتبر است. استقلال چیزی نیست که شما به سادگی اعلام کنید. این چیزی است که شما باید نشان دهید.

استقلال باید در عمل مقاومت کند

یک توسعه دهنده هوش مصنوعی را در نظر بگیرید که شرکتی را برای ارزیابی کنترل های ایمنی آن استخدام می کند. ارزیاب با یک محدوده محدود موافقت می کند، آزمایش را انجام می دهد و یک گزارش مطلوب صادر می کند. اگر همان شرکت به طراحی کنترل های تحت بررسی کمک کند، عینیت آن مستحق بررسی است. اگر خطرات عمده خارج از محدوده باشد، مشتریان ممکن است یافته‌های محدود را با تأیید گسترده‌تر سیستم اشتباه بگیرند.

برای مدیرانی که فروشندگان هوش مصنوعی را انتخاب می کنند، این تمایزات تصمیمات خرید و استقرار را شکل می دهد. آنها باید بدانند که چه کسی ارزیابی را انجام داده است، آیا آنها تخصص مناسبی داشته اند، کدام پادمان ها را بررسی کرده اند و چه مواردی را حذف کرده اند. ارزیاب همچنین نیاز به دسترسی به شواهد کافی و آزادی گزارش یافته های نامطلوب دارد. یک گزارش تنها زمانی مفید است که خوانندگان هم نتیجه گیری و هم محدودیت های آن را درک کنند.

ارزیابان باید روابط تجاری مرتبط را قبل از شروع کار افشا کنند و نحوه مدیریت تعارضات را مستند کنند. آنها باید از معیارهای تعریف شده استفاده کنند، روش های خود را توضیح دهند و با بررسی کیفیت مستقل روبرو شوند. اعتباربخشی، در صورت لزوم، راه دیگری برای تأیید شایستگی و بی طرفی اضافه می کند.

استقلال در هنگام بروز مشکلات بیشترین اهمیت را دارد

آزمون واقعی نظارت مستقل زمانی اتفاق می‌افتد که یک ارزیابی چیزی را آشکار می‌کند که یک توسعه‌دهنده ترجیح می‌دهد نشنود. این توافق از تیم‌های داخلی برای رسیدگی به خطرات شناسایی‌شده با کمیته مستقل هیئت مدیره که بر یافته‌ها و پاسخ‌ها نظارت می‌کند، می‌خواهد. اما این پادمان‌ها به ارزیاب‌ها بستگی دارد که استقلالی داشته باشند تا نگرانی‌ها را بدون فشار برای کاهش نتایج خود گزارش کنند.

ارزیابی‌کننده‌ای را در نظر بگیرید که آسیب‌پذیری جدی امنیت سایبری را در یک مدل مرزی شناسایی می‌کند. اگر توسعه‌دهنده با یافته‌ها مخالفت کند یا برای محدود کردن دامنه آن تلاش کند، ارزیاب باید بتواند پشت شواهد بایستد و خطر را به وضوح بیان کند. سپس توسعه‌دهنده باید تعیین کند که آیا آزمایش‌های اضافی، اقدامات اصلاحی یا محدودیت‌های انتشار تضمین شده است یا خیر. بدون یک ارزیابی مستقل که خطر اصلی را به دقت نشان دهد، حتی یک فرآیند اصلاحی به خوبی تعریف شده نیز ممکن است کوتاهی کند.

تضمین معتبر هوش مصنوعی نیز به تخصص مناسب نیاز دارد. ارزیاب‌های فنی رفتار مدل، قابلیت‌های در حال ظهور و سناریوهای حمله را درک می‌کنند، در حالی که متخصصان تضمین تجربه ارزیابی حاکمیت، کنترل‌های داخلی و شواهد پشتیبان را به ارمغان می‌آورند. هر دو دیدگاه ضروری هستند، اما هیچ یک به طور خودکار کسی را واجد شرایط ارزیابی هر جنبه از یک سیستم هوش مصنوعی نمی کند. همانطور که تضمین هوش مصنوعی در حال تکامل است، صنعت به انتظارات واضح تری برای صلاحیت ها، روش شناسی ها و نظارت مورد نیاز کسانی که ارزیابی می کنند نیاز دارد.

ما در حال حاضر شاهد پیشرفت در نحوه انجام تضمین هوش مصنوعی هستیم. AICPA و AIUC اخیرا پیشنهاد مشترکی را برای امتحانات SOC 2 با گواهینامه AIUC-1، ترکیبی از شیوه‌های تضمینی تثبیت‌شده با آزمایش‌های فنی عوامل هوش مصنوعی، از جمله آزمایش مجدد سه ماهه در حین تکامل خطرات، اعلام کردند. این یک گام امیدوارکننده به سمت ارزیابی های دقیق تر است، اما روش های قوی تر به تنهایی نمی توانند نتایج معتبر را تضمین کنند. ارزیابانی که از آنها استفاده می کنند باید تخصص، استقلال و پاسخگویی لازم برای جلب اعتماد را نیز نشان دهند.

نظارت را برای افراد متکی بر آن مفید کنید

شرکت‌هایی که این توافق‌نامه را امضا می‌کنند، فرصتی برای ایجاد انتظارات واضح‌تر برای تضمین مستقل هوش مصنوعی دارند. این باید شامل حداقل صلاحیت برای ارزیابان، روش های ارزیابی شفاف، افشای تضاد منافع و نظارت مستقل بر کیفیت باشد. گزارش‌ها باید به وضوح دامنه، محدودیت‌ها و یافته‌های مادی خود را بیان کنند تا هیئت‌مدیره، تنظیم‌کننده‌ها و مشتریان بتوانند بفهمند چه چیزی ارزیابی شده است و تا چه حد به نتایج اعتماد دارند.

استانداردها همچنین باید برای توسعه دهندگان کوچکتر عملی باشند. پذیرش هوش مصنوعی فراتر از بزرگ‌ترین شرکت‌های فناوری است و فرآیند تضمین آنقدر گران است که شرکت‌های کوچک‌تر نمی‌توانند در آن شرکت کنند، شکاف‌هایی در سراسر بازار ایجاد می‌کند. انتظارات باید بدون به خطر انداختن استقلال با خطرات موجود مطابقت داشته باشد.

کاخ سفید با قرار دادن نظارت مستقل در مرکز تعهدات ایمنی هوش مصنوعی خود، گام مهمی برداشته است. اما برای اینکه این نظارت سنگین باشد، صنعت به استانداردهای روشنی نیاز دارد که چه کسی می‌تواند ارزیابی‌ها را انجام دهد، استقلال آنها چگونه تأیید می‌شود و وقتی این استانداردها رعایت نمی‌شوند، پاسخگویی چگونه به نظر می‌رسد. بدون این انتظارات، توسعه دهندگان ممکن است بتوانند نشان دهند که ارزیابی بدون اثبات معتبر بودن آن انجام شده است. از آنجایی که سیستم‌های هوش مصنوعی مسئولیت بیشتری بر عهده می‌گیرند، افرادی که آنها را ارزیابی می‌کنند باید به همان اندازه استانداردهای دقیقی داشته باشند.

نظرات بیان شده در نظرات Fortune.com صرفا نظرات نویسندگان آنها است و لزوما منعکس کننده نظرات و اعتقادات Fortune نیست.

این داستان در ابتدا در سایت Fortune.com منتشر شد