"هر چیزی که سعی کنید اصلاح کنید، چیزها را حتی بیشتر می شکند": چگونه از خطرات پنهان کد هوش مصنوعی جلوگیری کنیم

برای ساختن اپلیکیشن ها دیگر نیازی به دانش زبان های کدنویسی پیشرفته ندارید. هوش مصنوعی موانع برنامه نویسی را از بین برده است و آن را به سادگی توصیف آنچه می خواهید به زبان انگلیسی ساده کرده است.

یا حداقل، می تواند به این شکل ظاهر شود.

اما کدنویسی فقط نوشتن سینتکس نیست. این در مورد معماری سیستم ها، درک نحوه استفاده مردم از یک پلت فرم و اطمینان از اتخاذ اقدامات مناسب برای محدود کردن آسیب پذیری ها است.

من با گابریلا موریرا، مدیرعامل Quint صحبت کردم که چگونه افرادی که از ابزارهای هوش مصنوعی برای نوشتن کد استفاده می کنند، می توانند خطرات مرتبط را بهتر درک کنند و بررسی ها و فرآیندهای اولیه را برای محدود کردن کدهای غیرقابل نگهداری و اشکالات فاجعه بار انجام دهند.

آیا می توان به هوش مصنوعی برای نوشتن کدهای آماده تولید بدون نظارت انسان اعتماد کرد؟ اگر نه، چه چیزی باعث می شود باگ های ایجاد شده توسط هوش مصنوعی از خطای انسانی متمایز شوند؟

نظارت قطعا مورد نیاز است، زیرا هوش مصنوعی برای خدمت به انسان ها وجود دارد و بنابراین انسان ها باید به هوش مصنوعی بگویند که چه کاری انجام دهد و نتایج آن را ارزیابی کند.

حال، کدام نوع ارزیابی مناسب‌تر است؟ می‌توانید کد آن را خط به خط بخوانید یا برای تولید و نظارت بر مشکلات، در مورد دو حالت افراطی صحبت کنید. هر دوی اینها در حال حاضر تکنیک هایی هستند که برای نظارت بر کدهایی که ممکن است حاوی خطای انسانی باشند استفاده می شوند.

تفاوت‌های اصلی که هوش مصنوعی به جدول می‌آورد، میزان کدهای بالقوه اشتباهی است که تولید می‌شود و قطع ارتباط شناختی هر انسان با عناصر چیزی که تولید می‌شود. بررسی و نظارت کد هر دو در این مقیاس بار و قطع ارتباط شناختی سخت‌تر هستند.

کدام سیستم های کسب و کار اصلی در برابر نقص های کدگذاری هوش مصنوعی آسیب پذیرتر هستند؟

مواردی که آزمایش آنها سخت تر است، مانند سیستم های همزمان و توزیع شده، یا هر سیستمی با سطح بالایی از عدم قطعیت که در آن مسیرهای زیادی برای بررسی وجود دارد.

هوش مصنوعی یک ابزار تولید است که به اندازه توانایی ما برای تصمیم گیری درست یا نادرستی راه حل تولید شده خوب است. اگر آزمایش‌های خوبی داشته باشم، یا نوع دیگری از مهار تأییدیه که به آن اعتماد دارم، می‌توانم راه‌حل‌های هوش مصنوعی را با ریسک کمتری بپذیرم. اگر آزمایش یا تأیید یک سیستم سخت باشد، ممکن است نقاط کور بسیار زیادی وجود داشته باشد که نقص‌ها به صورت پنهانی وارد شوند.

خطرات عملیاتی و امنیتی پنهان استقرار کد تولید شده با هوش مصنوعی بدون تأیید رسمی چیست؟

هیچ راه حل جادویی وجود ندارد، و ترکیب استراتژی های مختلف عاقلانه ترین کار است.

شاید بهترین راه برای فکر کردن به ریسک در سال 2026، در نظر گرفتن عدم تقارن باشد: مدافعان باید از تمام بخش‌های کد خود محافظت کنند، در حالی که مهاجمان ممکن است فقط یک آسیب‌پذیری را پیدا کنند که باعث آسیب‌های بزرگ شود.

شرکت‌های هوش مصنوعی در حال حاضر این عدم تقارن را در نظر گرفته‌اند، زمانی که تصمیم گرفتند مدلی مانند Mythos را فقط به شرکت‌هایی ارائه دهند که در یک برنامه ایمن باشند، قبل از اینکه در دست مهاجمان بالقوه قرار گیرند.

راستی‌آزمایی رسمی احتمالا قوی‌ترین ابزاری است که می‌شناسیم که می‌تواند با این عدم تقارن مبارزه کند، اما هنوز چالش‌های زیادی در این زمینه وجود دارد که تأیید تمام سطح کد را غیرممکن می‌کند و آسیب‌پذیری‌ها همچنان در مؤلفه‌های تأیید نشده یافت می‌شوند. هیچ راه حل جادویی وجود ندارد، و ترکیب استراتژی های مختلف عاقلانه ترین کار است.

چرا شناسایی یک اشکال در سطح طراحی در مراحل اولیه بسیار مهم است؟

من به شدت نگران فرآیند طراحی هستم که عمدتا شامل فایل های علامت گذاری شده است که نمی توانند کامپایل یا اجرا شوند.

پاسخ به این سوال قبل از اینکه هوش مصنوعی کد را بنویسد کاملا متفاوت بود: زیرا بازنویسی کد بسیار گران و مستعد خطا است اگر پس از ماه‌ها توسعه باگ را پیدا کنید. فکر نمی‌کنم این دیگر استدلال قوی باشد.

بنابراین، پاسخ جدید این است: احتمال بیشتری وجود دارد که این مشکل را در محدوده طرحی که هنوز هم می‌توانید درباره آن استدلال کنید، بیابید تا زمانی که هوش مصنوعی هزاران خط کد را با اشکال پنهان در یکی از آنها بنویسد.

ممکن است هنگام تایپ کد متوجه مشکل شوید و فکر کنید "صبر کنید، ما این سناریو را در نظر نگرفتیم!" اما اگر هوش مصنوعی کد را برای شما نوشته باشد، این احتمال کمتر است، بنابراین طراحی دقیق‌تر مهم است.

توسعه دهندگان به استدلال در مورد احتمالات و اشکالات در حین کامپایل و اجرای نسخه های مختلف کد عادت دارند، بنابراین من به شدت نگران فرآیند طراحی هستم که عمدتا شامل فایل های علامت گذاری می شود که نمی توانند کامپایل یا اجرا شوند یا به هیچ طریقی غیر از خواندن با آنها تعامل داشته باشند.

تیم‌های توسعه‌دهنده چه بررسی‌ها، ابزارها و شبکه‌های ایمنی ساده‌ای را می‌توانند برای تأیید کد هوش مصنوعی قبل از شروع تولید انجام دهند؟

اول از همه، تست ها! اما تست‌هایی که در واقع به اعتماد کمک می‌کنند، نه فقط هر آزمایشی که توسط هوش مصنوعی ایجاد شده است که برخی ادعاهای خودسرانه را انجام می‌دهد و باید همیشه به‌روزرسانی شود.

من دوست دارم به آزمایش‌هایی فکر کنم که چه رفتارهایی را انجام می‌دهند و از چه نوع رگرسیونی جلوگیری می‌کنند. اگر کنترل کیفیت تست‌ها به چالش تبدیل شود، مدل‌های رسمی می‌توانند با ایجاد سناریوهایی برای آزمایش یا اعتبارسنجی این که تست‌های موجود رفتار جالبی را اعمال می‌کنند، کمک کنند.

علاوه بر این، آزمایش جهش در اندازه‌گیری کیفیت آزمایش‌ها بر اساس تعداد رگرسیون‌های مختلف که می‌توانند دریافت کنند، بسیار مفید است.

چه سطحی از نظارت انسانی را برای متعادل کردن سرعت توسعه با کیفیت و قابلیت اطمینان کد توصیه می کنید؟

این بسیار به زمینه و خطرات بستگی دارد. بهترین کاری که می توانم توصیه کنم این است که هر کاری را که به شما امکان می دهد با اطمینان کافی ارسال کنید و احساس کنید قادر به ایجاد تغییرات نرم افزاری بدون ترس از شکستن آنچه در حال حاضر کار می کند، انجام دهید.

بدترین سناریو همیشه هک شدن یا افشای اطلاعات دیگران است. بدترین حالت دوم این است که به وضعیتی برسید که در آن بسیاری از مشکلات نرم افزار وجود داشته باشد، اما هر کاری که سعی کنید آن را برطرف کنید، باعث خرابی بیشتر می شود، بنابراین در وضعیت بدی گیر می کند.

من فکر می کنم برای کدهای تولید شده توسط هوش مصنوعی بسیار آسان است که در این حالت قرار بگیرند. جالب اینجاست که من فکر می‌کنم راه فرار از آن بسیار شبیه به نحوه مدیریت کدهای قدیمی است که نگهداری آن بسیار سخت شده است: ابتدا آزمایش‌های کافی اضافه کنید تا مطمئن شوید نظارت شما کافی است و سپس آن را تغییر دهید.