وقتی دیتاسنترها قدرت خود را از دست می دهند، ژنراتورها باید وارد شوند. این اتفاق برای گوگل در لندن رخ نداد
قطعی اکتبر ناشی از پیکربندی بد PLC که در یک زمان تعمیر و نگهداری در معرض قرار گرفت، انعطافپذیری را کاهش داد
Google Cloud فاش کرده است که علت قطعی 20 اکتبر در منطقه دسترسی اروپا-غرب-2-b، «پیکربندی نادرست» سیستمهایش بود که به این معنی بود که ژنراتورهای اضطراری آن شروع به کار نکردند.
قطعی در تاسیسات لندن باعث وقفه در خدمات در تجهیزاتی از جمله Lloyds، HSBC، Royal Mail و Revolut شد.
در بهروزرسانی ۴ نوامبر در صفحه وضعیت خدمات خود، گوگل توضیح داد که چه چیزی اشتباه بوده است.
گوگل فاش کرد: «این سایت به معماری برق 2N متکی است - جایی که تاسیسات دارای مسیرهای برق تکراری کامل برای هر بار بحرانی است - که توسط یک بانک ژنراتور مرکزی ولتاژ بالا که توسط یک کنترلکننده منطقی قابل برنامهریزی دوگانه (PLC) مدیریت میشود، پشتیبانی میشود.
این تسهیلات آب خود را از دو فیدر ابزار مستقل، که گوگل آنها را "A" و "B" می نامد، دریافت می کند. همچنین یک "اتصال ابزار آماده به کار برای انتقال دستی در سراسر دانشگاه در طول عملیات تعمیر و نگهداری یا رویدادهای اضطراری پیکربندی شده است."
گوگل میگوید علت اصلی این حادثه خرابی کابل زیرزمینی خارجی بوده است که از طریق آن تامینکننده برق آن «leccy» را به انبارهای بیتاش میآورد.
آن کابل به فیدر اولیه A متصل می شود و در زمانی که فیدر B کار نمی کرد شکست.
گوگل اعتراف کرد: فیدر قطع کننده مدار B به طور فیزیکی باز شد تا امکان تعمیرات اصلاحی را به دنبال مشکلاتی که در طول آزمایش بار ژنراتور سه ماهه در 14 اکتبر 2026 شناسایی شد، فراهم کند. "در نتیجه، تغذیه اولیه A کل بار بحرانی را پشتیبانی می کند در حالی که قطع کننده تغذیه B در یک موقعیت باز باقی می ماند تا امکان انجام تعمیرات در مسیر فیدر B فراهم شود."
این نباید برای اپراتورهای سطح بالایی مانند گوگل مشکلی ایجاد کند، زیرا میداند که نیاز به نصب منابع پشتیبان برق مانند منابع برق اضطراری (UPS) و ژنراتورهای در محل دارد.
در واقع، europe-west-2-b از یو پی اس هایی استفاده می کند که به گفته گوگل، در صورتی که منطقه دسترسی به شبکه قطع شود، می توانند کارها را به مدت پنج دقیقه فعال نگه دارند.
یو پی اس ها کار می کردند، اما «نقص طراحی حسگر ولتاژ و پیکربندی نادرست PLC باعث شد که نیروگاه ژنراتور تأسیسات از دریافت سیگنال شروع خودکار برای پذیرش بار بحرانی جلوگیری کند».
بنابراین UPSهای Google تمام شد، اما ژنراتورهای آن شروع به کار نکردند. بقیه اش تاریخ است.
غول جستجو متوجه شده است که PLC های آن برای مقابله با شرایطی که در این روز سرنوشت ساز با آن مواجه شده بود تنظیم نشده است.
بهروزرسانی وضعیت نشان میدهد که «منطق PLC نشان میدهد که یک منبع ابزار سالم در دسترس است، حتی اگر تغذیه توزیع اولیه و ثانویه قطع شده باشد، و فرمان شروع را برای کارخانه ژنراتور صادر نکرده است».
هنگامی که گوگل توانست دوباره به برق خود وصل شود، PLC را دوباره برنامه ریزی کرد تا دوباره اشتباه را تکرار نکند.
Big G از آن زمان تغییرات زیادی در تنظیمات الکتریکی در europe-west-2-b ایجاد کرده است و می گوید که آنها را آزمایش کرده است و همه آنها کار می کنند.
همچنین به خود دو آیتم اقدام داده است که یکی از آنها را به عنوان "تقویت ارتباطات" توصیف می کند که باعث می شود "سرعت اطلاع رسانی را با توسعه مکانیزم خودکار هشدار به ارتباط برای حوادث تأثیرگذار بر مکان تقویت کند."
مورد دیگر این است که "نتایج آزمایشی در سطح پلت فرم را برای رویدادهای سطح زیرساخت گسترش دهید."
هنگامی که گوگل این کار را انجام داد، شاید بتواند بهتر از پس قطعیها برآید – و اگر نه، حداقل سریعتر به مشتریان در مورد مشکلاتش مشاوره دهد. ®
متن اصلی (انگلیسی)
When datacenters lose power, generators should kick in. That didn’t happen for Google in London
October outage caused by bad PLC config exposed at a time maintenance work reduced resilience