یک هشدار کاذب دود تقریبا تنها مرکز داده نیویورک در خیابان جین را غرق کرد

افشای هوش مصنوعی: این داستان به طور کامل توسط دست انسان نوشته شده است و هوش مصنوعی در حال تصحیح خواندن و ویرایش های سبک است. برخی از عیوب ذوقی حفظ شده اند تا جلوه Wabi-Sabi را افزایش دهند.

همه شنیده‌اند که خیابان جین چقدر عالی است. کمتر کسی در مورد زمان هایی شنیده است که چیزی احمقانه نزدیک بود آن را از کار بیاندازد و با سخاوت و شانس احمقانه نجات پیدا کند. من برای برخی از آنها در تیم سیستم بودم. جین استریت عناوین را انجام نداد، و ما در تیم سیستم‌ها دستمان را کثیف نکردیم. شما می‌توانید ما را به‌عنوان برنامه‌نویس‌های یقه آبی OCaml شرکت در نظر بگیرید: وقتی چیزی خراب می‌شد، ما کسانی بودیم که از راهروها عبور می‌کردیم تا آن را تعمیر کنیم. این داستان را Star Trek: Lower Decks از خیابان جین بنامید.

برای طولانی ترین زمان جین استریت اصرار داشت که اتاق ماشین خود را نزدیک به طبقه تجاری خود داشته باشد. وقتی 10 نفر بود خیلی بامزه بود. وقتی 150 نفر بودند، شروع به احساس ... عجیب و غریب کرد. بخشی از دلیل این موضوع نگرانی مالکیت معنوی بود: آنها نمی‌خواستند به سرقت رفتن سرورهایشان توسط جاسوسانی که استراتژی‌های تجاری ارزشمندشان را یاد می‌گرفتند، بپذیرند. دلیل دیگر خطر فناوری بود: آنها می خواستند مطمئن شوند که سیستم های معاملات خودکار خارج از کنترل همیشه می توانند با دویدن در سراسر سالن و کشیدن کابل های برق خاموش شوند.

بله، ابزارهایی برای کاهش هر دوی این ترس ها وجود داشت. اما جین استریت به‌طور آهسته‌ای روی این چیزها حرکت می‌کرد، و آنها همچنان آخرین راه حل را می‌خواستند که سیم‌های برق را قطع کنند. فرهنگ ریسک آنها صرفا از خواندن مطالب متفکرانه سرچشمه نمی گرفت. بسیاری از آن توسط شریکی که در یک زیردریایی هسته‌ای خدمت کرده بود القا شد، و بیشتر به شکلی خوب نشان داد! در یک دستگاه فرعی، شما به اتوماسیون اعتماد ندارید مگر اینکه یک اهرم بزرگ با رنگ قرمز و متصل مکانیکی وجود داشته باشد که بتوانید آن را خاموش کنید.

همانطور که شرکت رشد کرد، این اتاق ماشین ساده به یک مرکز داده نسبتا بزرگ تبدیل شد که با یک UPS آنلاین، واحدهای تهویه مطبوع اتاق کامپیوتر (CRAC)، سوئیچ‌های شبکه به اندازه یخچال، یک ژنراتور پشتیبان دیزلی زیرزمینی و حدود 10 ردیف کابینت سرور، با عمق 10 کابینت کامل شد. اوه، و همه‌اش در وسط آسمان‌خراشی به نام 1 نیویورک پلازا، که در غیر این صورت فقط یک ساختمان اداری معمولی بود، جمع شده بود.

وقتی برای اولین بار کارم را در خیابان جین به دست آوردم، تمام مسیر را از کوئینز به سمت جنوب منهتن می رفتم، هر طرف یک ساعت یا بیشتر. من به دبیرستان آهنربایی در شهر رفته بودم، بنابراین از نوجوانی چنین رفت و آمدهایی را انجام می دادم و از آن خسته شده بودم.

حالا که داشتم پول کلان وال استریت می کردم، تصمیم گرفتم یک آپارتمان بگیرم. یک مشاور املاک مدام سعی می‌کرد به من چیزی را نشان دهد که آن‌ها به آن «قطره‌انداز شورت» می‌گفتند، اما من فقط به یک چیز علاقه داشتم: نزدیکی به دفتر. من به یک استودیوی 200 فوت مربعی رسیدم که 9 دقیقه پیاده از در آپارتمان تا میز من در طبقه تجاری رفت و آمد داشت. من به طرز عجیبی در مورد آن به بقیه تیم سیستم می بالیدم، اما این به این معنی بود که همه در دفتر می دانستند که در صورت بروز شرایط اضطراری، من در فاصله ای دورتر هستم.

و آن روز به زودی فرا رسید. یک غروب بعد از کار، درست زمانی که می خواستم وارد آسانسور ساختمان آپارتمانم شوم، تلفنم زنگ خورد. دفتر ما در هنگ کنگ بود و زمانی که هنگ کنگ مشکلی در نیویورک داشت، شماره من (اکنون) همان شماره ای بود که آنها با آن تماس گرفتند. زنگ هشدار دود در مرکز داده نیویورک ما به صدا درآمده بود.

ما پیمانکارانی داشتیم که روی یک اتاق آماده سازی در کنار دیتاسنتر کار می کردند. در حین برش مواد، مقداری گرد و غبار بلند شد و زنگ هشدار دود را روشن کرد. این بد است، اما نه به دلیلی که ممکن است فکر کنید. ساختمان های اداری دارای آبپاش هایی برای اطفاء حریق هستند. ممکن است در فیلم‌هایی دیده باشید که در آن یک سیگار روشن را تا آبپاش روی سقف نگه می‌دارد و کل اتاق را پر می‌کند. در واقع آنها آنقدرها هم احمق نیستند، اما نزدیک است.

اولا، آبپاش‌های روی یک اتاق ماشین مانند ما معمولا همیشه پر از آب نیستند. این شما را از مواجهه با هر گونه نشتی که ممکن است در طول سال ها سربار ایجاد شود، نجات می دهد. ثانیا، سرهای اسپرینکلر سنسور دود ندارند. در عوض، یک سیستم متفاوت دود را تشخیص می‌دهد، و این زمانی است که لوله‌ها با آب تحت فشار پر می‌شوند، اما هنوز اسپری نمی‌شوند. آنچه باعث شروع اسپری می شود گرما است: هر سر آبپاش دارای دوشاخه حساس به گرما است که پس از گرم شدن هوای اطراف آن باز می شود.

منطق این است که زنگ هشدار دود باید واقعی باشد، هر آتشی که ایجاد کرده باشد، از آنجایی که بسیار داغ شده است، کنترل نشده است، و آبپاش ها باید آن را با آب خنثی کنند.

البته سقف دیتاسنتر ما پر از اسپرینکلرهایی بود که دقیقا به همین شکل نصب شده بودند. ما هنوز خوب هستیم، زیرا حتی اگر پیمانکاران ممکن است آشکارساز دود را با پرتاب گرد و غبار خاموش کرده باشند، هیچ آتش سوزی واقعی وجود ندارد که گرما تولید کند، بنابراین آبپاش ها اسپری نمی کنند، درست است؟ خوب، نه. یکی از آخرین قطعات این روش این است که اگر زنگ هشدار دود دود را تشخیص دهد، حفظ گردش هوا در اتاق کاملا وحشتناک خواهد بود زیرا این امر به تغذیه هرگونه آتش سوزی کمک می کند، بنابراین زنگ هشدار دود برای خاموش کردن واحدهای CRAC سیمی است (!)

الان مشکل رو میبینی؟ اتاق‌های پر از قفسه‌های کامپیوتری نیاز به سرمایش بالایی دارند. اگر خنک کننده را خاموش کنید، دما شروع به بالا رفتن می کند. اگر دسته‌ای از آبپاش‌ها دارید که به‌تازگی به دلیل هشدار دود تحت فشار قرار گرفته‌اند، اکنون با یک مشکل جدی و بالقوه پایان کسب‌وکار روی دستان خود دارید.

و بنابراین ماموریت من روشن شد: تا آنجا که ممکن است، به خیابان جین برگردم، وارد اتاق ماشین شوم، و سیم برق هر دستگاه را در آن اتاق بکشم، قبل از اینکه دما از 150 درجه فارنهایت بالا برود و آبپاش ها همه چیز را نابود کنند.

من از خیابان آبی (به نام کنایه‌آمیز) در منطقه مالی سریع‌تر از هر کسی دویدم، دکمه آسانسور را در لابی 1 نیویورک له کردم، بی‌صبرانه منتظر شدم تا آسانسور از 33 طبقه بالا برود، کارت کلیدم را به خواننده کوبیدم، کلید ماشین را از در اصلی به سمت راست چرخیدم. در مقابل آن، وارد جایی شد که شبیه سونا بود و ردیف به ردیف، کابینت به کابینت رفت و کابل‌های برق را با دو دست بیرون آورد.

سپس مانیتور دما را تماشا کردم. 141 F. 142. 143. 143.5. 143.6. بالاخره متوقف شد. صدای آرامی که تا به حال نشنیده بودم در اتاق ماشین به وجود آمد.

اتاق ماشین در سراسر سالن نگه داشته شده بود تا همیشه کسی بتواند وارد شود و سیم های برق را بکشد. بعید می دانم کسی این کار را برای نجات سرورها از شر اسپرینکلرهای لعنتی انجام داده باشد.

از آنجایی که بازارهای اصلی نیویورک برای آن روز تعطیل بودند، زمان خرابی ناشی از این شکست بسیار کم بود و ما صبح روز بعد فعال بودیم.

بعد از آن چند جلسه برگزار شد. شاید تصور کنید که گوردون گکو با سردی تصمیم می گیرد که حرفه چه کسی تمام شده است، اما جلسات در خیابان جین هرگز اینطور نبودند. آنها کاملا واقعی، سطح سر و صادقانه به نوعی سرگرم کننده بودند، به دانشجویان مهندسی در یک خوابگاه کالج که بر سر مشکلی که پیش آمده بحث می کردند، نزدیک تر بودند. نتیجه همه آن بحث‌های سطحی: آبپاش‌ها باقی می‌مانند، رویه‌ها و نظارت را سخت‌تر می‌کنیم، و میزبانی سرورها را در ساختمان اداری خود درست در کنار طبقه تجاری خود ادامه می‌دهیم.

یعنی تا زمانی که طوفان سندی سرمان را زیر و رو کرد، اما این یک داستان برای یک روز دیگر است.

در مورد من، وقتی صبح روز بعد فرا رسید، می دانستم که باید چه کار کنم. تیم هنگ کنگ ما فقط با شانس متوجه این مشکل شده بود: شخصی به طور اتفاقی روی یک صفحه نمایش می دید که سرور بعد از سرور در حال نمایش شرایط دمای بالا می باشد. هیچ سروری برای هشدار پیکربندی نشده است، فقط به دلیل اینکه کمی داغ بود، زیرا هر از گاهی این اتفاق می افتد. اما افزایش سرتاسر دما در بسیاری از سرورها به این معنی است که یک خرابی خنک کننده عمومی وجود دارد.

چیزی که ما نیاز داشتیم یک مانیتور سیستمی بود که دقیقا برای این منظور ساخته شده بود، مانیتوری که می‌توانستیم به آن اعتماد کنیم که در نهایت برای درخواست دمای هر سرور لینوکس و محاسبه میانگین ساده قابل اعتماد است. باش برای این کار آن را قطع نمی کند. پرل هم همینطور. نه، شغلی به این بزرگی مستلزم معتبرترین و ایمن ترین زبان برنامه نویسی قابل تصور است.

بنابراین، emacs را راه‌اندازی کردم و آن را با OCaml خوب نوشتم: هر دقیقه، از هر سرور در هر مکان مستقیما از حسگرهای داخلی خود دما را بپرسید، میانگین را بگیرید و اگر بالاتر است، به همه اعضای تیم سیستم هشدار دهید تا گرمای بیش از حد مرکز داده را بررسی کنند.

بله، ما همچنین می‌توانستیم اگر واحدهای CRAC خاموش شوند یا یک سنسور دمای اختصاصی در اتاق بالا بود، هشدار دهیم، اما تله‌متری برای این موارد به اندازه‌ای قابل اعتماد نبود، و ناشناخته‌های ناشناخته همچنان می‌توانند شما را خراب کنند، بنابراین بادوام‌ترین کار گاهی اوقات واقعا این است که از ناوگان جعبه‌های لینوکس خود بپرسید دمای آنها را بپرسید و اگر میانگین کمی بیش از حد بالا باشد، نگران شوید.

تیم ما با شریک با تجربه زیربنایی هسته‌ای تعامل چندانی نداشت، اما من می‌خواهم فکر کنم که او موافقت می‌کرد.

داستان بهتری از وای دارید؟ به من در X، Bluesky، Hacker News یا Lobsters اطلاع دهید.