هوش مصنوعی جایگزین SRE ها نمی شود، بلکه آنها را مهارت زدایی می کند

این روزها دو پیشگویی محبوب در اطراف محافل فناوری شناور هستند.

اولی می گوید SRE آینده تمام مهندسی نرم افزار است، که با نوشتن کدهای بیشتر و بیشتر هوش مصنوعی، انسان هایی که باقی می مانند، سیستم ها را زنده نگه می دارند. دومی می‌گوید که هوش مصنوعی هر شغل فناوری را زنده خواهد بلعید، از جمله SRE. اگر یک SRE هستید که سعی می کنید بفهمید سه شنبه شما در سال 2027 چگونه خواهد بود، هیچ کدام به خصوص مفید نیست.

بیایید با نگاه کردن به آنچه که در حال حاضر اتفاق افتاده است، یک سؤال اساسی‌تر بپرسیم: وقتی هوش مصنوعی 95٪ از پاسخ حادثه شما را کنترل می کند، آیا در مدیریت 5٪ که واقعا مهم است بدتر می شوید؟

بسیاری از ما در حال حاضر از هوش مصنوعی برای کارهای روزانه خود استفاده می کنیم (مغز ما کمی سرخ شده است!) و SRE ها نیز همینطور. دستور کار بحث امروز این نیست که آیا هوش مصنوعی جایگزین SRE ها می شود یا خیر، بلکه این است که آیا هوش مصنوعی بی سر و صدا باعث کاهش توانایی SRE ها می شود و آیا کسی قبل از وقوع قطعی جدید بعدی متوجه چیزی می شود یا خیر. چارچوب اساسی برای کل این بحث از یک مقاله تحقیقاتی در سال 1983 می آید که به طرز وحشتناکی پیشگویانه است.

یادداشت از نویسنده: در زیر مقدمه مختصری برای تاریخچه اتوماسیون آورده شده است که اگر اهل تاریخ و فرهنگ هستید (مثل من) ممکن است از آن لذت ببرید.

در سال 1983، یک روانشناس شناختی به نام Lisanne Bainbridge مقاله ای به نام Ironies of Automation منتشر کرد. این مقاله به یکی از پر استنادترین مقالات در تحقیقات عوامل انسانی تبدیل شد و بحث اصلی آن امروزه تقریبا به طرز ناراحت کننده ای مرتبط است.

باینبریج آنچه را که کارخانه‌ها و سیستم‌های صنعتی کار اپراتورهای یقه آبی را خودکار می‌کردند، بررسی کرد. یافته‌ها متناقض بودند و نشان دادند که هرچه بیشتر یک فرآیند را خودکار کنید، اپراتور انسانی در لحظات نادری که اتوماسیون با شکست مواجه می‌شود، بحرانی‌تر می‌شود و تمرین کمتری انجام می‌دهد و دقیقا در آن مداخلات بدتر می‌شود.

اتوماسیون، که ذاتا برای حذف انسان‌ها از حلقه طراحی شده بود، بدترین کار ممکن را برای آنها به ارمغان آورد، یعنی دوره‌های طولانی نظارت غیرفعال با بحران‌های نادر و پرمخاطره که به طور فزاینده‌ای برای آن آمادگی نداشتند.

اساسا، من شباهتی بین انقلاب هوش مصنوعی و اتوماسیون صنعتی ترسیم می کنم. اتوماسیون صنعتی با به عهده گرفتن وظایف معمول فیزیکی، کار یقه آبی را تغییر داد و کارگرانی که باقی مانده بودند مجبور بودند استثناهایی را که حافظه عضلانی آنها را از دست داده بودند، انجام دهند. هوش مصنوعی با بر عهده گرفتن وظایف معمول شناختی، تطبیق الگو، تریاژ، حل مسائل شناخته شده و گذاشتن انسان ها با مشکلات نادر، پیچیده و مبهم، همین کار را با کارکنان دانش انجام می دهد.

مشکلات دقیقی که نیاز به تخصص عمیق دارند، تخصص دقیقی که وقتی تمرین را متوقف می کنید از بین می رود.

اکنون ما در حال بازی مجدد این الگو با عوامل هوش مصنوعی هستیم و سهام در سیستم های نرم افزاری فقط در حال افزایش است.

بیایید وضعیت امروز را در دنیای مهندسی قابلیت اطمینان سایت بررسی کنیم.

کاهش نویز هشدار و گروه‌بندی هوشمند، اجرای runbook برای مشکلات شناخته‌شده، تشخیص الگوی گزارش و پرچم‌گذاری ناهنجاری، و پیشنهادات ریشه‌ای اولیه از داده‌های رویداد تاریخی، و اصلاح خودکار حالت‌های خرابی کاملا درک شده مانند راه‌اندازی مجدد یک غلاف خراب یا افزایش مقیاس سرویسی که داغ است، امروزه تقریبا خودکار هستند.

برخی از اهداف فوری شامل همبستگی چند سیگنالی بین معیارها، گزارش‌ها و ردیابی‌ها، تجزیه و تحلیل علت ریشه‌ای مستقل برای خرابی‌های تا حدی قابل درک، تشخیص پیش‌بینی حادثه قبل از تحت تأثیر قرار گرفتن کاربران، ارزیابی ریسک تغییرات مبتنی بر هوش مصنوعی و بازگشت خودکار است.

رویدادهای سطح 1: مشکلات شناخته شده با اصلاحات شناخته شده کاملا خودکار می شوند.

حوادث سطح 2: مشکلات تا حدی درک شده توصیه های هوش مصنوعی را با اعتبار سنجی انسانی دریافت می کنند.

حوادث سطح 3: شکست‌های جدید، پیچیده و آبشاری تحت رهبری انسان باقی می‌مانند و هوش مصنوعی زمینه پشتیبانی را فراهم می‌کند.

اگر SREهای انسانی (خوب، حالا باید از صفت‌هایی مانند انسان 🥹 استفاده کنیم) فقط با حوادث سطح 3، یعنی قطع‌های بدیع، که قبلا دیده نشده‌اند، درگیر می‌شوند، آنها شهودی را برای مدیریت آن‌ها در کجا ایجاد می‌کنند؟ شهود معمولا از سال‌ها واکنش عملی به حادثه، تشخیص الگو که از طریق تکرار ایجاد می‌شود، و نوعی درک در سطح روده از یک سیستم ایجاد می‌شود که فقط از بیدار شدن دردناک در ساعت‌های فرد برای حل اشکالی که سیستم را خراب کرده است، ایجاد می‌شود.

اینجاست که تصویر شروع به تار شدن می کند. بیایید به برخی تحقیقات نوظهور در مورد مهارت زدایی ناشی از هوش مصنوعی در زمینه های مختلف نگاه کنیم، که تصویری سازگار و نگران کننده را ترسیم می کند.

در پزشکی، یک مطالعه اخیر نشان داد که آندوسکوپیست هایی که از کمک هوش مصنوعی برای تشخیص پولیپ استفاده می کردند، پس از یک دوره استفاده از هوش مصنوعی، میزان تشخیص بدون کمک آنها از 28٪ به 22٪ کاهش یافت. آنها در کاری که قرار بود در آن متخصص باشند بدتر شدند، نه به این دلیل که نظریه را فراموش کردند، بلکه به این دلیل که تمرین مهارت را متوقف کردند.

در هوانوردی، تحقیقات نشان داده است که خلبانان مسافت طولانی که به شدت به سیستم‌های خلبان خودکار متکی هستند، کاهش قابل‌توجهی در آگاهی موقعیت و توانایی پرواز دستی را تجربه می‌کنند. مشکل به قدری جدی شد که FAA اکنون زمان پرواز دستی بیشتری را برای خنثی کردن این اثر الزامی می کند.

در جایی در سال گذشته، هوش مصنوعی ابزاری نبود که من گهگاه به آن دست پیدا می‌کردم و اولین چیزی بود که همیشه به آن دست می‌زدم. غریزه من در حال حاضر این است که تا آنجا که ممکن است تخلیه کنم و تفکر خودم را فقط در جایی که کاملا اجتناب ناپذیر است به کار ببرم. مشکل این است که این لحظه ها تنها تمرین هایی هستند که مغز من انجام می دهد و من می توانم زنگ زدگی را احساس کنم.

ما می توانیم در اینجا یک الگو بکشیم. هرچه بیشتر به سیستم اجازه مدیریت بدهید، خودتان بدتر می‌شوید و این بخش واقعا خطرناک است، احساس نمی‌کنید این اتفاق می‌افتد. به عنوان بهره وری بیش از حد پنهان می شود. تحقیقات شناختی نشان می‌دهد که از آنجایی که ابزارهای هوش مصنوعی کارها را آسان‌تر می‌کنند و عملکرد قابل مشاهده را افزایش می‌دهند، کاربران اغلب قادر به قضاوت دقیق وضعیت واقعی مهارت‌های خود نیستند. احساس شایستگی می‌کنید، داشبوردها سبز به نظر می‌رسند، و سپس در یک روز چهارشنبه، یک حادثه جدید رخ می‌دهد که با هیچ الگویی که هوش مصنوعی دیده است مطابقت ندارد، و متوجه می‌شوید که عضله تحلیل رفته است.

برای SREها، این به روش‌های خاصی آشکار می‌شود، مثلا خواندن جریان‌های گزارش خام را متوقف می‌کنیم، زیرا هوش مصنوعی آنها را خلاصه می‌کند، از تشکیل فرضیه‌ها در طول حوادث جلوگیری می‌کنیم، زیرا هوش مصنوعی دلایل ریشه‌ای را پیشنهاد می‌کند، ما ساختن مدل‌های ذهنی معماری سیستم را متوقف می‌کنیم، زیرا هوش مصنوعی وابستگی‌ها را برای ما ترسیم می‌کند، و هر یک از اینها به صورت جداگانه مانند یک پیروزی بهره‌وری به نظر می‌رسند. در مجموع، آن‌ها تخصص‌هایی را که باعث می‌شود یک SRE در زمانی که همه چیز به گونه‌ای که هیچ‌کس پیش‌بینی نمی‌کرده به سمت و سویی پیش می‌رود، مؤثر می‌سازد، خالی می‌کنند.

اما چیزی حتی نگران‌کننده‌تر از مهارت‌زدایی وجود دارد و محققان شروع کرده‌اند آن را هرگز مهارت نمی‌دانند. مهارت زدایی به این معنی است که شما زمانی توانایی داشته اید اما از آن زمان آن را از دست داده اید. هرگز مهارت نداشتید به این معناست که از ابتدا هرگز آن را توسعه ندادید. برای SRE های جوانی که امروز وارد میدان می شوند در محیطی که هوش مصنوعی بیشتر گردش کار واکنش به حادثه را کنترل می کند، فرصت های ایجاد شهود و عضله پایه از طریق تمرین عملی در حال از بین رفتن است.

خط لوله آموزش خود شکسته است و خود ترمیم نمی شود.

SREها متوجه می‌شوند که مهارت‌هایشان تحقیرکننده است و برای جبران آن بیشتر به هوش مصنوعی تکیه می‌کنند، که بیشتر مهارت‌های آنها را کاهش می‌دهد و یک چرخه معیوب ایجاد می‌کند که فرار از آن دشوار است.

ما قطعا ابزار هوش مصنوعی را رد نمی کنیم. ما قوی تر از همیشه آن را پذیرفته و ادغام می کنیم، زیرا این تنها راه رو به جلو است.

ناکارآمدی عمدی همانطور که FAA زمان پرواز دستی را حتی زمانی که خلبان خودکار کاملا توانایی دارد الزامی می‌کند، تیم‌های SRE می‌توانند حوادث خاصی را، حتی مواردی که هوش مصنوعی می‌تواند از عهده آن برآید، به‌عنوان فرصت‌های تمرین انسانی تعیین کنند. این می تواند به عنوان یک سرمایه گذاری بلند مدت برای تازه نگه داشتن مهارت ها در نظر گرفته شود، اگرچه ممکن است به قیمت یک راه حل فوق العاده سریع تمام شود.

ساخت انسان در حلقه، نه انسان در کنار. تفاوت معنی داری بین سیستمی وجود دارد که در آن انسان توصیه هوش مصنوعی را تأیید می کند و سیستمی که در آن انسان به طور فعال در کنار هوش مصنوعی با مشکل درگیر می شود. اولی انسان ها را در نقش نظارتی نگه می دارد که باینبریج (بانویی که آن مقاله تحقیقاتی را حدود 40 سال پیش نوشت) نشان داد که منجر به زوال هوشیاری می شود، و دومی آنها را از نظر شناختی درگیر نگه می دارد.

بیایید بزرگنمایی کنیم و به تصویر بزرگتر نگاه کنیم.

همه چیزهایی که در اینجا بحث کردیم، کنایه‌های اتوماسیون، ریسک مهارت‌زدایی، مشکل عدم مهارت، در مجموع فراتر از SRE اعمال می‌شوند. مهندسی نرم افزار به عنوان یک کل در حال حرکت به همان تنش است. همانطور که هوش مصنوعی کد بیشتری می نویسد، PR های بیشتری را بررسی می کند و اشکال زدایی بیشتری را انجام می دهد، سوالات مشابهی نیز مطرح می شوند.

ما به طور خاص در مورد SRE ها صحبت می کنیم زیرا این دنیایی است که در SigNoz در آن زندگی می کنیم. ما یک پلتفرم مشاهده‌پذیری منبع باز می‌سازیم، نوعی ابزار که به SREها معیارها، ردیابی‌ها و گزارش‌هایی را می‌دهد که برای درک عمیق سیستم‌هایشان نیاز دارند. برای ما، این سوال مهارت زدایی یک مد بلاغی نیست. مستقیما نحوه ساخت هوش مصنوعی را در محصول خود شکل می دهد.

رویکرد ما این است که با یک دستیار هوش مصنوعی شروع کنیم که به SRE ها کمک می کند تا از قدرت LLM ها استفاده کنند و در عین حال انسان ها را به طور مستحکم تحت کنترل نگه دارند. در نهایت، ما استقلال بیشتری را اما در چارچوب‌های محافظ روشن، و تنها زمانی که اعتماد به دست می‌آید، فعال می‌کنیم.

یکی از مزیت‌های ما در این فضا این است که به‌عنوان یک پلت‌فرم مشاهده‌پذیری، روی خود داده‌ها، معیارها، ردیابی‌ها و گزارش‌هایی که SREها بر آن‌ها تکیه دارند، می‌نشینیم. اکثر محصولات AI SRE امروزه از طریق APIها با ابزارهای مشاهده پذیری ادغام می شوند، به این معنی که آنها با یک نمای محدود و دست دوم از سیستم شما کار می کنند. از آنجایی که ما مالک لایه داده هستیم، می‌توانیم قابلیت‌های هوش مصنوعی بسیار عمیق‌تر و آگاه‌تر از زمینه ایجاد کنیم که سیستم شما را همانطور که یک SRE باتجربه درک می‌کند، بسازیم.

و برای پاسخ به سوالی که در ذهن شما وجود دارد، هدف ما هوش مصنوعی نیست که جایگزین SRE ها شود. این هوش مصنوعی است که SRE ها را شارژ می کند. برخلاف افسانه‌های جاری، ما معتقدیم که انسان‌ها برای تصمیم‌هایی که بیشترین اهمیت را دارند، به‌ویژه تصمیم‌هایی که بر زیرساخت‌های تولید تأثیر می‌گذارند، ضروری خواهند ماند.

آینده SRE انسان است با هوش مصنوعی که به طور عمدی طراحی شده است تا انسان را برای 5 درصدی که واقعا مهم است، تیز، درگیر و آماده نگه دارد.

در اینجا پستی است که بنیانگذار ما در لینکدین چند روز پیش پست کرده بود و من را برای نوشتن این مطلب تشویق کرد.

از اینکه Talk Real Observability را خواندید متشکریم! در صورت تمایل به خواندن مطالب داغ بیشتر مشترک شوید. ما در حال پختن غذاهای عالی هستیم!