پروفسور استنفورد در حال کوبیدن پروتکل جدیدی برای جایگزینی TCP است

پروفسور بازنشسته دانشگاه استنفورد استدلال می کند که TCP، پروتکل انتقال داده که تقریبا کل وب و بیشتر محاسبات ابری بر اساس آن ساخته شده است، برای بارهای کاری هوش مصنوعی در حال ظهور مناسب نیست. برای حل این مشکل، پروتکل جدیدی به نام هما را تبلیغ می کند. جان اوسترهات، استاد بازنشسته علوم کامپیوتر در دانشگاه استنفورد، در سخنرانی اخیر در نمایشگاه جهانی مهندس هوش مصنوعی گفت: «TCP، با وجود همه کارهای شگفت انگیزی که انجام داده است، برای مراکز داده مناسب نیست. با توجه به وابستگی جهانی به پروتکل، حذف TCP کار بسیار بزرگی به نظر می رسد.

Ousterhout به The Register گفت، اما افزودن هما به یک شبکه بسیار ساده است. Homa را از منبع GitHub آن کامپایل کنید، سپس ماژول را در هسته های لینوکس روی کلاینت ها و سرورها نصب کنید. نیازی به راه اندازی مجدد نیست. او نوشت: «هما در کنار TCP کار می‌کند، بنابراین می‌توانید به تدریج اپلیکیشن‌ها را از TCP به هما منتقل کنید. اجرای هما حتی باعث می شود تا برنامه های TCP باقی مانده سریعتر اجرا شوند. Ousterhout گفت که شراب کهنه، پوست جدید هما یک بازاندیشی مجدد در مورد نحوه مدیریت شبکه ها ازدحام ترافیک است.

کار بر روی این پروتکل به عنوان پایان نامه دکترا برای اولین بار در سال 2019 توسط بهنام منتظری، که اکنون مهندس کارکنان گوگل است، منتشر شد. او گفت که اکنون که اوسترهوت از تدریس بازنشسته شده است، وظیفه تبلیغ هما را به عنوان "مأموریت زندگی" خود بر عهده گرفته است. چیزی که هما را از TCP متمایز می کند، در درجه اول این است که مبتنی بر پیام است، نه مبتنی بر جریان. مانند فراخوانی روش از راه دور (RPC)، طول پیام هما به صراحت تعریف شده است. بر خلاف TCP، هما گیرنده را برای مدیریت کنترل تراکم تعیین می کند. اولین بسته ای که گیرنده دریافت می کند، اطلاعاتی در مورد میزان داده های دریافتی دارد.

سپس می تواند به صراحت زمان ارسال بسته ها را برنامه ریزی کند. در انجام این کار، پیام‌های کوتاه‌تر را با استفاده از الگوریتم SRPT بر پیام‌های کوتاه‌تر اولویت می‌دهد. Ousterhout گفت که این رویکرد تأخیر پیام های کوتاه تر را به ترتیبی کاهش می دهد. صدک 99 (p99) تأخیر برای پیام‌های کوتاه‌تر برای هما 92 میکروثانیه است که 13 برابر سریع‌تر از 1.2 میلی‌ثانیه p99 برای TCP است (بر اساس بسته‌هایی که در یک شبکه 100 گیگابیت در ثانیه با استفاده 80 درصدی شنا می‌کنند). Ousterhout گفت که حتی در طولانی ترین پیام ها هما با ضریب دو بهتر است.

فهرست بلندی از وظایف دیگر که TCP کوتاهی می کند در حال حاضر، Ousterhout در حال تهیه پیش نویس سند استانداردسازی IETF از پروتکل است، و همچنین در حال کار بر روی فرآیند upstreaming Homa به هسته لینوکس است. در ماه مارس، این پروتکل به نسخه های 8 و 9.5 لینوکس Red Hat Enterprise بکپورت شد. او همچنین به شرکت‌های بزرگ کمک می‌کند تا کاربرد هما را بررسی کنند - او در حال حاضر با یک شرکت خدمات مالی بزرگ روی یک نمونه اولیه کار می‌کند. نه این که همه با پرتاب TCP به خاطر چند مشکل تأخیر موافق باشند.

معمار برجسته شبکه ایوان پپلنجاک در سال 2023 مقاله ای تند درباره هما نوشت و خصوصیات عملکرد Ousterhout از TCP را زیر سوال برد و هما را به عنوان راه حلی برای یافتن مشکل نقد کرد. اگر منصف باشیم، جامعه هوش مصنوعی تنها اکوسیستمی نیست که از TCP ناامید شده است. در جامعه پایگاه داده با کارایی بالا، DPDK (Kit توسعه هواپیمای داده) برای دور زدن پشته TCP برای پرس و جوی سریعتر استفاده می شود.

شبکه‌های فضای ذخیره‌سازی به NVMe-oF (NVMe over Fabrics) برای سرعت بخشیدن به دسترسی به درایوهای حالت جامد از طریق پارچه‌های شبکه، با استفاده از حمل‌ونقل از جمله RDMA، کانال فیبر، و TCP تبدیل شدند. برای وب، گوگل QUIC را ابداع کرد - که مبنایی برای HTTP/3 شد - تا از انسداد سر خط TCP عبور کند و مرورگرها را قادر سازد تا دارایی های بیشتری را به طور همزمان دانلود کنند. همچنین، انجمن‌های تجارت با فرکانس بالا و بازی‌های چند نفره، کسادی TCP را احساس کرده‌اند. پارچه های تخصصی RDMA و دیتاگرام قابل اعتماد مقیاس پذیر سرویس های وب آمازون نیز با موضوع تأخیر TCP مقابله کرده اند.

سوئیچ‌های بالای رک نیز در مدیریت ازدحام، تنظیم آستانه صف و علامت‌گذاری بسته‌ها با اعلان‌های تراکم اولیه هوشمندتر شده‌اند. تأخیر کنترل واقعی است وینت سرف و ریش‌های دیگرش TCP را ایجاد کردند تا نظم را به انبوهی از بسته‌های پیام در سراسر شبکه‌ها بیاورند و به آنها کنترل جریان مناسب، تحویل تضمینی، دست دادن اتصال و کنترل ازدحام را بدهند. کنترل ازدحام به معنای اجتناب از اضافه بار در مسیر شبکه، از جمله سوئیچ‌ها و روترها است، در حالی که مکانیسم‌های کنترل جریان جداگانه، فرستنده‌ها را از گیرنده‌های طاقت‌فرسا دور نگه می‌دارد.

مدل داده TCP بر اساس جریان های بایتی ساخته شده است، یک جریان پیوسته از بسته های داده بدون تمایز. پیام ها به صورت یک جریان تک بایتی بدون اولویت سریال می شوند. برای گیرنده، مجموعه‌های طولانی‌تر جریان بایت از مجموعه‌های کوتاه‌تر قابل تشخیص نیستند. سروری که پر از ترافیک است می‌تواند هشدارهایی را به فرستنده ارسال کند تا ورودی را کند کند، اما دید محدودی نسبت به میزان ترافیکی که هنوز وارد می‌شود دارد.

برای ترافیک معمولی اینترنت یا انتقال در مقیاس بزرگ در یک مرکز داده، افزایش تأخیر متوسط ​​ممکن است قابل تحمل باشد. اما برای بارهای کاری هوش مصنوعی حساس به تأخیر، حتی تأخیرهای اندازه‌گیری شده در میلی ثانیه نیز می‌توانند باعث ایجاد درد شوند. به پردازنده‌های گرافیکی فکر کنید آزمایشگاه‌های مرزی که توسعه مدل‌های زبان بزرگ (LLM) را هدایت می‌کنند، همیشه برای کارهایی مانند گرادیان وزن، وزن‌های مدل، ورودی‌های حافظه پنهان KV و نقاط بازرسی نیاز به عملکرد سطح بالای شبکه داشته‌اند.

با این حال، انتقال داده های بزرگ باید به طور فزاینده ای پهنای باند را با رگبارهای کوتاه ترافیک از سوی عوامل و کنترل وظایفی مانند هماهنگی ابرداده و جستجوی حافظه پنهان به اشتراک بگذارد. Ousterhout گفت: «برای این حجم کاری، آنچه واقعا اهمیت دارد تأخیر است. حتی یک میلی ثانیه تأخیر باعث می شود یک GPU گران قیمت بیکار شود. Ousterhout گفت: "پروتکل های قدیمی برای این محیط مناسب نیستند." پس آیا هما بالاخره مشکل خود را برای حل پیدا کرده است؟ یا همیشه جلوتر از زمانش بود؟ در حال حاضر به هر حال، TCP همچنان قهرمان است