وضعیت مهندسی زمینه

این هفته، من یک سخنرانی کوتاه در AGNTCon با عنوان "Context Fails & Fixes" ارائه کردم که به عنوان نوعی "State of Context Engineering" عمل می کرد. مهندسی زمینه چگونه پدیدار شد، کجا رفته است و ممکن است در آینده به کجا برود؟ از آنجایی که سازندگان مدل قابلیت‌های جدید را هدف قرار می‌دهند، ناخواسته چالش‌هایی را ایجاد می‌کنند که ما، به عنوان کاربران و سازندگان مهار، باید بر آن‌ها غلبه کنیم.

در زیر اسلایدها و رونوشت کمی ویرایش شده است. مثل همیشه، یک یادداشت با هر بازخورد، فکر یا سوالی برای من بنویسید. من واقعا قدردان آن هستم.

سلام به همه از اینکه امروز به من پیوستید متشکرم ما می‌خواهیم از طریق خرابی‌ها و اصلاحات زمینه عبور کنیم.

من کتابی دارم که در آینده منتشر می شود، کتابچه راهنمای مهندسی زمینه. وقتی برای اولین بار در ژوئن 2025 با تیم O'Reilly صحبت کردم، آنها یک سوال بسیار منطقی از من پرسیدند: "از کجا بفهمیم که این در چند هفته منسوخ نخواهد شد؟" مشکل کتاب های درسی هوش مصنوعی این است که بسیاری از افراد به طور فوق العاده سریع پیر می شوند.

گفتم نمی دانم، اما خوشبین هستم. ارائه دستورالعمل‌های واضح در مورد اینکه چه کاری باید انجام دهید و چه کاری را نباید انجام دهید، و اطمینان از اینکه این دستورالعمل‌ها سازگار هستند و پر سر و صدا نیستند، برای همیشه یک چالش برای هوش مصنوعی خواهد بود، مهم نیست چقدر خوب باشد.

ما همکاران، شرکا و افراد دیگری داریم که می شناسیم و با آنها تعامل داریم. آنها آزمون تورینگ را قبول می کنند، آنها "AGI" هستند، و در عین حال: ما هنوز برای انتقال دستورالعمل ها، ایده ها و مفاهیم به یکدیگر مشکل داریم.

مهندسی زمینه همچنان سخت خواهد بود. اما از راه‌های منحصربه‌فرد سخت خواهد بود، زیرا مدل‌ها آدم نیستند. می‌توانید در مورد اینکه مدل‌ها چگونه فکر می‌کنند یا چیزها را تفسیر می‌کنند، فرضیاتی داشته باشید (از هر کلمه انسان‌سازی که دوست دارید استفاده کنید)، اما به درک چگونگی ساخت، بهینه‌سازی و آموزش آنها کمک می‌کند. ویژگی‌ها و ساختار منحصربه‌فرد آن‌ها مجموعه‌ای از حالت‌های خرابی منحصربه‌فرد را ایجاد می‌کند که باید آنها را در نظر بگیریم.

اگر به خاطر داشته باشید، این اوج لحظه "RAG مرده است" بود.

امید این بود: اگر بتوانیم پنجره زمینه را به اندازه کافی بزرگ کنیم، می توانیم کل اینترنت را در آن قرار دهیم. ما می توانیم همه چیز را در آن قرار دهیم. ما نباید انتخابی باشیم ما مجبور نیستیم سیستم های عاملی بسازیم. ما می توانیم همه چیز را در آنجا جا دهیم و هوش مصنوعی حل خواهد شد.

سازندگان مدل شروع به هدف قرار دادن قابلیت‌های زمینه طولانی کردند و ما جهشی بزرگ از مدل‌های پنجره زمینه با 128000 توکن به مدل‌های پنجره زمینه میلیون‌توکنی داشتیم، که با Gemini 1.5 شروع شد.

اگر به مواد بازاریابی برای Gemini 1.5 Pro نگاه کنید، بیشتر در مورد پنجره زمینه میلیون توکن بود. آن‌ها حتی یک مدل پنجره زمینه 10 میلیونی را که در آزمایشگاه داشتند، تیز می‌کردند که به زودی منتشر می‌شد.

اما آنها به ضربات مشت خوردند. Llama 4 Scout با یک پنجره زمینه 10 میلیون توکن ظاهر شد، و خوب، آن چیزی که ما انتظار داشتیم نبود. استنتاج یک چالش بود، و پیشاهنگ هرگز واقعا به آن گیر نکرد، و ما هرگز لاما دیگری دریافت نکردیم.

اما ما هنوز یک میلیون توکن داریم. این خیلی خوب است. ما آن را خواهیم گرفت.

بنابراین این خلاصه در آن زمان بود: فقط همه چیز را در زمینه قرار دهید و اجازه دهید مدل آن را مرتب کند.

اما با زمینه بیشتر، جای مشکلات بیشتری داشتیم. زمینه های طولانی نوشدارویی نیستند.

وقتی در مورد این موضوع نوشتم، چهار حالت شکست کلیدی را شناسایی کردم.

مسمومیت زمینه زمانی است که چیزی وارد بافتی می شود که نباید وجود داشته باشد. این می تواند یک توهم یا یک واقعیت بد باشد و مدل نمی تواند از آن عبور کند.

حواس‌پرتی زمینه زمانی اتفاق می‌افتد که زمینه آنقدر طولانی می‌شود که مدل شروع به تمرکز بر زمینه بر روی دانش پایه خود می‌کند. ما می توانیم این را به روش های واقعا جالبی ببینیم.

سردرگمی زمینه زمانی اتفاق می‌افتد که حقایق خارجی - چیزهایی که به مشکلی که من روی آن کار می‌کنم مربوط نمی‌شوند - وارد می‌شوند و مدل را به روش‌هایی تحت تأثیر قرار می‌دهند که ما کاملا درک نمی‌کنیم. این یکی واقعا زیانبار است امروز قرار نیست به آن بپردازیم، اما یکی از حالت های شکست مورد علاقه من است. مدل در مورد اینکه شما چه کسی هستید، مفروضاتی ایجاد می کند و این فرضیات بر پاسخ تأثیر می گذارد.

در نهایت، تضاد زمینه زمانی اتفاق می‌افتد که تماس‌های ابزار، مهارت‌ها و سایر اطلاعات موجود در مهار شما شروع به تضاد می‌کنند و به روش‌هایی که انتظارش را نداشتید علیه شما کار می‌کنند.

(چند نفر از شما در ChatGPT یا Claude حافظه را روشن نگه می دارید؟ من آن را خاموش می کنم. از آن متنفرم. گاهی اوقات در مورد گفتگوهای کاری صحبت می کنم؛ گاهی اوقات در مورد پروژه ای صحبت می کنم که با پسرم انجام می دهم. مدل هر دو را یادداشت می کند، آن زمینه ها را با هم مخلوط می کند و سردرگمی از آنجا بیشتر می شود.)

بگذارید مثال مورد علاقه خود را از مسمومیت با زمینه به شما بگویم.

من با خودم قرار می گذارم: بازی را در سمت چپ بازی کردم. یکی از سال 1996، برای Game Boy اصلی. این اولین Pokémon Red است. سیاه و سفید بود.

در سال 2004، نینتندو Pokémon FireRed را برای Game Boy Advance منتشر کرد. اینها در اصل همان بازی بودند، با این تفاوت که یکی از آنها رنگ ها و صدای بهتری داشت.

اما یک تغییر ظریف وجود داشت. در هر دو پوکمون ردز، برای عبور از یک نگهبان، باید به آنها چیزی بنوشید. یک رشوه درسی کاملا عملی برای کودکان.

در بازی اصلی باید به گارد تشنه آبلیمو بدهید. در FireRed به دلایلی آن را به چای سرد تغییر دادند.

که برای نماینده مشکل ایجاد کرد. در گزارش فنی Gemini 2.5، محققان توضیح دادند که چگونه این مدل را مجبور به بازی پوکمون کردند. محققان پوکمون را به‌عنوان یک معیار عامل دوست دارند، زیرا محیطی منطقی کنترل شده است و سرعت خاصی ندارد.

چندین بار، Gemini 2.5 متقاعد شد که نیاز به گرفتن چای دارد، حتی اگر بازی قدیمی‌تر را انجام می‌داد. وظیفه چای برای FireRed در وزن آن بود، بنابراین زمینه آن را مسموم کرد. ساعت ها تلاش کرد تا نگهبان را پیدا کند یا چای بدهد. هنگامی که این مدل به لیست کارهای خود اضافه شد، این مدل نتوانست از آن عبور کند.

این مسمومیت زمینه است. و همیشه اتفاق می افتد.

حالت شکست دیگر حواس پرتی زمینه است. این یکی از نمایش های مورد علاقه من است، و تحقیق بعد از نوشتن قطعه اصلی انجام شد.

همانطور که زمینه شما طولانی تر می شود، رفتار شما چگونه تغییر می کند؟ سوال سریع: چند نفر از شما، وقتی در حال کدنویسی هستید، اجازه می‌دهید که زمینه به یک میلیون توکن برسد؟ همه را پر کنید؟

برای من، حدود 200000 یا 300000 جایی است که شروع به جستجو می کنم. بررسی می‌کنم، می‌بینم که 250000 است، و فکر می‌کنم: کار بزرگی پیش رو دارم. من می خواهم تنظیم مجدد کنم و تازه شروع کنم. بگذارید به شما نشان دهم که چرا این مهم است.

اخیرا به مقاله ای برخوردم که به طرز شگفت انگیزی حواس پرتی زمینه را نشان می دهد: کاری که من می گویم، نه آن گونه که من انجام می دهم، نوشته کارولینا کاماسا و درک شیلر.

آزمایش آنها کمی ساختگی است، اما برای فکر کردن در مورد چگونگی این اتفاق مفید است. آنها به مدل دستور می دهند: "من از شما می خواهم که هر سوال را به عنوان پاسخ شما به هر یک از سوالات من به روسی ترجمه کنید." سپس دسته ای از مثال ها را ارائه می کنند که با این دستورالعمل ها مغایرت دارد. در این مورد، بسیاری از سوالات با پاسخ به زبان فرانسه.

اینها دستورالعمل های جدیدی نیستند. آنها فقط نمونه هایی هستند که در تاریخچه چت نشسته اند.

سپس از مدل سوال می پرسند. آیا از دستورالعمل ها پیروی می کند؟

هر چند وقت یک‌بار مدل به روسی پاسخ می‌دهد، همانطور که در مثال‌ها دیده می‌شود، و هر چند وقت یک‌بار به فرانسوی پاسخ می‌دهد؟

محور x در این ماتریس تعداد مثال‌های بد را برمی‌شمارد. محور y مدل مورد آزمایش است. ارقام در تقاطع ها درصد دفعاتی هستند که مدل به دستورالعمل ها پایبند است، نه اینکه از نمونه ها پیروی کند.

به نظر می رسد که این روی هر مدلی تأثیر می گذارد! برای مدل‌های کوچک‌تر، مانند Gemma 3 12B، تنها پس از چند مثال متناقض، مدل کمتر از نصف زمان از دستورالعمل‌ها پیروی می‌کند. با Opus 4.6 که یک مدل شگفت‌انگیز است، نمونه‌های بسیار بیشتری را می‌گیرد، اما در آنجا هم اتفاق می‌افتد.

تصور کنید که در طراحی جلو و عقب می روید و سعی می کنید CSS را تغییر دهید و یک جزء را دقیقا به درستی دریافت کنید. چند نمونه بد را در آن مبادله کاشته اید؟ آن مثال ها شروع به تأثیرگذاری بر مدل می کنند. همانطور که زمینه شما رشد می کند، همه چیز از هم می پاشد.

Gemini 2.5 نیز در حین بازی پوکمون با این مشکل روبرو شد.

به یاد داشته باشید، گوگل واقعا به پنجره زمینه میلیون توکن خود افتخار می کرد. این روزنامه نشان داد که دو میلیون توکن در گوشه و کنار هستند. اما این مشاهدات در ضمیمه مدفون بود: هنگامی که زمینه به طور قابل توجهی از 100000 توکن رشد کرد، عامل به جای ترکیب برنامه های جدید شروع به تکرار اقدامات مربوط به تاریخ خود کرد.

من متقاعد شده ام که افراد بازاریابی هرگز ضمیمه را نمی خوانند. من عاشق این گزارش فنی هستم.

زمینه‌های طولانی به شما امکان می‌دهند اطلاعات بیشتری را بگنجانید، اما همچنین به شما امکان می‌دهند تا خطاهای بیشتری را در خود جای دهید. زمینه های طولانی نوشدارویی نبود.

خوشبختانه، ما یک جعبه ابزار بسیار خوب ایجاد کرده ایم. با کمال تعجب، حتی با ظهور چالش‌های جدید (در عرض یک دقیقه به آن‌ها خواهیم رسید)، این مجموعه از ابزارها ثابت مانده است.

شما تقویت زمینه دارید: RAG، مهارت‌ها و راه‌های دیگر برای وارد کردن اطلاعات مرتبط با مشکل.

شما ابزار بارگیری دارید: انتخاب ابزارها و مهارت هایی که باید در معرض دید قرار گیرند تا مدل را بیش از حد بارگذاری نکنید. من اخیرا با یک تیم سازمانی صحبت می کردم که عوامل آن ناگهان شروع به اجرای وحشتناکی کرده بودند. ما بررسی کردیم و متوجه شدیم که نرم افزار سازمانی آنها 600 مهارت را برای هر مهندس در هنگام راه اندازی بارگذاری می کند. ما متوجه شدیم که آنها احتمالا باید آنها را با یک تابع بارگذاری فیلتر کنند.

سوم قرنطینه زمینه است: عوامل فرعی و عوامل همتا، که در آن شما کاری را با یک تاریخچه خالی شروع می کنید اما اجازه می دهید در همان محیط کار کند.

چهارم هرس زمینه است. Claude Code و Codex این کار را انجام می دهند، گاهی اوقات حتی بدون اینکه شما متوجه شوید. مراحل اولیه تراکم اغلب نتایج ابزاری را که دیگر به آن نیاز ندارید از بین می برد.

پنجم، بارگذاری متن است: ذخیره اطلاعات در محیط، مانند فایل‌های Markdown یا پایگاه داده، تا بتوانید بعدا به آن دسترسی داشته باشید.

و ششم خلاصه سازی زمینه است که همه آن را به عنوان فشرده سازی می شناسند.

اینها ابزارها هستند، و ما به طور فزاینده ای آنها را به مهار انتقال داده ایم.

بیایید به یک مهار نمونه نگاه کنیم تا نشان دهیم این الگوها چقدر ساده هستند.

من واقعا به DSPy علاقه دارم. من فکر می‌کنم این یک راه فوق‌العاده خوانا و مؤثر برای ایجاد گردش‌های کاری و عوامل هوش مصنوعی است. و همچنین یک زبان عالی برای مشخص کردن رفتار است، بنابراین برای این نمایش مناسب است.

یک عامل یک حلقه while است. در اینجا ما از یک ماژول ReAct استفاده می کنیم: به آن درخواست می دهیم، پاسخ می خواهیم و ابزارهایی را به آن می دهیم. این ابزارها فقط توابع پایتون هستند.

برای این نسخه ی نمایشی ما یک مدل بزرگ داریم (در این مورد، کلود Claude Sonnet 4.5 را انتخاب کرد، موفق باشید!). و من از یک Jev به عنوان مدل کوچک استفاده می کنم: یک مدل تصمیم گیری کوچک که تصمیمات برق آسا می گیرد. در این مثال می‌توانید یک LLM کوچک را تعویض کنید، و همه چیز همچنان کار می‌کند.

ما یک حلقه while داریم که ورودی را می‌گیرد، آن را به ReAct می‌فرستد و تاریخچه جمع‌آوری‌شده را به جلو می‌برد. این یک عامل در حدود ده خط با استفاده از DSPy است. اگر مدل اضافی را بیرون بیاورید، حتی کمتر می شود.

چگونه بارگذاری ابزار را انجام دهیم؟ این فقط یک تابع است.

ما درخواست و ابزاری را به Jev ارائه می‌کنیم و می‌پرسیم که آیا برای این کار لازم است یا خیر.

Jev آنقدر سریع است که بتوانیم این ابزار را در یک زمان انجام دهیم. خوب می شود ما این را در یک تابع بارگذاری قرار می دهیم که در تمام ابزارها تکرار می شود و می پرسد که آیا هر کدام مورد نیاز است یا خیر، سپس زیرمجموعه رتبه برتر را برمی گرداند. همین است.

با قرنطینه زمینه، این فقط یک عامل فرعی است. شما یک عامل را به عنوان ابزاری که عامل اصلی می تواند از آن استفاده کند، در معرض دید قرار می دهید و با یک تاریخچه خالی شروع می شود.

با هرس زمینه، ما در تاریخ قدم می زنیم، هر نوبت را به Jev می گذرانیم و می پرسیم: آیا هنوز به این نیاز است؟ اگر نه، آن را برش دهید.

در اینجا می توانید به همان اندازه که می خواهید خشن یا ظریف باشید. فقط به ذخیره سریع خود توجه کنید.

ما همچنین می توانیم تاریخ را با فشرده سازی بازنویسی کنیم. چرخش های قدیمی را انجام دهید، یک خلاصه ایجاد کنید و زمینه جدید را از آن خلاصه شروع کنید.

یکی از تغییرات مورد علاقه من اخیرا این است که قبل از فشرده سازی موارد مهم را بررسی کنم. شما از Jev یا مدل تصمیم دیگری برای اولین پاس برای قضاوت در مورد آنچه مرتبط است استفاده می کنید. اکنون زیر مجموعه کوچکتری از تاریخ دارید و آن را خلاصه می کنید. این یک مرحله اضافی ساده است، اما خلاصه را مفیدتر می کند.

همه را کنار هم بگذارید و حدود 16 خط تغییر است. چهار اصلاح، یک حلقه. اینها حرکاتی است که ما در مهار داریم. در واقع به طرز قابل توجهی ساده است.

چیزی که ساده نیست زبان ماست: اینکه چگونه در مورد این چیزها صحبت می کنیم. همگام ماندن واقعا سخت است؛ هر روز تغییر می کند

یکی از نقل قول های مورد علاقه من از استوارت برند است که همیشه به آن فکر می کنم:

اگر می‌خواهید بدانید آینده کجا ساخته می‌شود، به دنبال جایی باشید که زبان اختراع می‌شود و حقوقدانان در کجا جمع می‌شوند.

مطمئنا در اینجا اعمال می شود! اما با تغییر زبان ما، هدف ما ثابت مانده است.

در سال 2023، ما انتخاب اطلاعات مناسب برای دریافت پاسخ مناسب را مهندسی سریع نامیدیم.

در سال 2025، ما آن را مهندسی زمینه نامیدیم، با این تفاوت که اکنون بیشتر خودکار شده است. این فقط شما نبودید که دستور را نوشتید. این سیستم شما بود که به صورت پویا زمینه را مونتاژ می کرد.

سپس، همانطور که بیشتر این ابزارها را از متن خارج کردیم و به کد منتقل کردیم، شروع کردیم به نام مهندسی مهار.

اما کار همان است. ما بیشتر و بیشتر کار مونتاژ زمینه را از فراخوانی های مدل احتمالی به کد قطعی پیش می بریم.

ما این اصلاحات زمینه را به مهار منتقل کرده ایم. بعدش چی میخوایم؟ ما مدل‌های عاملی می‌خواهیم که بتوانند مهارهای ما را به حرکت درآورند.

همه شروع به هدف قرار دادن مدل های نمایندگی بلند مدت کردند. شما گزارش های METR را دیده اید. GPT-5 می تواند وظایف را در حدود 3.4 ساعت در آن اندازه گیری انجام دهد. Gemini 3.1 تا 6.4 ساعت طول کشید. اونم با مهار مدل‌ها در استفاده از آن بسیار بهتر شده‌اند، و به همین دلیل است که می‌توانند برای مدت طولانی کار کنند.

Opus 4.6 تا حدود 12 ساعت طول کشید. و اکنون ما در مورد عواملی که برای روزها کار می کنند، انبوهی از عوامل و مدل هایی صحبت می کنیم که مهارها را در دوره های بسیار طولانی تری هدایت می کنند.

پیش از این، زمین این بود: زمینه را آنقدر بزرگ کنیم که بتوانیم همه چیز را در آن جا دهیم.

اکنون موضوع این است: به مدل آموزش دهید تا مهار را به کار گیرد و زمینه خود را مدیریت کند. این به الگوی غالب تبدیل شده است. این همان چیزی است که سازندگان مدل روی آن کار می کنند.

این رویکرد چه حالت‌های شکست جدیدی ایجاد می‌کند؟

وقتی به مدل‌ها آموزش می‌دهید که از مهاربندها واقعا خوب استفاده کنند، در نهایت آنها را به مجموعه خاصی از ابزارها و محیط‌هایی که در آن آموزش دیده‌اند، بیش از حد برازش می‌دهید.

چند نفر از شما از سرور Playwright MCP یا چیزی مشابه استفاده کرده اید؟ این کنفرانس MCP است، بنابراین احتمالا تعداد کمی از آنها.

مدل‌های کوچک‌تر، چیزی مانند هایکو یا لونا، اغلب در اولین تلاش این ابزار را خراب می‌کنند، سپس پارامترها را بازیابی و تنظیم می‌کنند. محیطی که در آن آموزش دیده بود ابزارهای مشابهی داشت که با نمایشنامه نویس متفاوت به نظر می رسید. هر آنچه Anthropic یا OpenAI در آموزش استفاده می شود. و شما باید با این تعصبات مبارزه کنید.

من این را مبارزه با وزنه‌ها می‌نامم: زمانی که مدل آنچه را که می‌خواهید انجام نمی‌دهد، زیرا شما بر خلاف آنچه برای انجام آن آموزش دیده است کار می‌کنید.

این یک مشکل واقعی است و فقط برای ما نیست. آزمایشگاه ها و افرادی که محصولاتشان را می سازند نیز باید با آن مقابله کنند.

در اینجا بخشی از دستور سیستم Claude Code و برخی از دستورالعمل های ابزار آن آمده است.

محیط‌های آموزشی که این مدل‌ها استفاده می‌کردند، برای مدت طولانی عمدتا سریال بودند. آنها در حال موازی تر شدن هستند، اما وقتی این نمونه ها را آوردم، تعصب آنها به سمت رفتارهای سریالی بود. بنابراین دستورالعمل های کلود کد مکررا می گویند: نه، نه، نه، ما می خواهیم از موازی سازی استفاده کنید. ما از شما می خواهیم که همزمان چندین تماس با ابزار برقرار کنید.

دستورالعمل‌ها این کار را بارها و بارها تکرار می‌کنند - هفت بار اینجا، چهار بار آنجا، دو بار، سه بار: لطفا وقتی ابزار مستقل هستند، تماس‌های موازی برقرار کنید.

هنگامی که یک دستور را باز می کنید و تکرار و تمام حروف را می بینید، احتمال زیادی وجود دارد که در حال مبارزه با وزنه ها باشید. شما در حال تلاش برای غلبه بر چیزی هستید که مدل برای انجام آن آموزش دیده است.

مشکل بعدی چیزی است که ما اخیرا شروع به مستندسازی کرده‌ایم. در واقع، چهار حزب فقط هفته گذشته در آن فرود آمدند.

من آن را اینرسی بافتی می نامم: مدل‌ها بر روی یک فرضیه، تکلیف فرعی یا هدف در بافت خود تمرکز می‌کنند و پس از توقف آن به دنبال آن ادامه می‌دهند.

اولین نمونه از آنتروپیک بود. آنتروپیک در پست اخیر خود در مورد اینکه آیا مدل ها به تکثیر و استقرار خود بر روی ماشین های دیگر نزدیک می شوند، در مورد مهاری نوشت که برای این آزمایش ها به نام Memento استفاده می کرد.

چیزی که آنها دریافتند این بود که اگر ماموران بیش از حد طولانی کار کنند، روی یک کار فرعی یا یک راه حل پیشنهادی متمرکز می شوند و متوقف نمی شوند. آنها به همین کار ادامه می دادند.

رفع آنها به طرز لذت بخشی ساده است. هر یک ساعت و نیم، نماینده یک یادداشت کوتاه می نویسد، سپس زمینه آن پاک می شود. محیط زیست حفظ می شود. تمام کارهایی که انجام داده هنوز وجود دارد. اما گفتگوی در حال اجرا از بین رفته است و باید دوباره از منظری تازه شروع شود.

مقاله دیگری از Microsoft Research، Fork-and-Flush نام دارد.

اگر آزمایش‌های جستجوی خودکار انجام داده‌اید، احتمالا نمودارهایی مانند این را دیده‌اید. شما سود زیادی کسب می کنید، سپس خط صاف می شود. شما سود بزرگ دیگری به دست می آورید، سپس دوباره یکنواخت است. این محاسبات، پول و زمان با پیشرفت بسیار کمی است.

وقتی محققان به دقت نگاه کردند، عوامل به معنای واقعی کلمه هیچ کاری انجام نمی دادند. آنها در حال ایجاد تغییرات کوچکتر و کوچکتر بودند. آنها ایده ای پیدا کرده بودند و به جای جستجوی جایگزین های خلاقانه تر، روی آن متمرکز بودند.

به نوعی در افکار خود وسواس پیدا می کنند. ما به آنها آموزش داده ایم که پایدار باشند و روی یک هدف متمرکز باشند، زیرا این چیزی است که یک عامل کدنویسی خوب را می سازد. اما همین کیفیت می تواند علیه آنها کار کند.

در اینجا مقاله دیگری به نام Scaling Discovery Requires Forgetting به رهبری Shangyin Tan در UC Berkeley است.

محققین اساسا به همین ایده رسیدند: به طور دوره ای زمینه را پاکسازی کنید و در عین حال مصنوعات تولید شده در محیط را حفظ کنید.

خط آبی نسخه با فراموشی است. هر بار که زمینه را پاک می کند، جهش دیگری در عملکرد مشاهده می کنید: فراموش کنید، بهبود بخشید. فراموش کردن، بهبود

شگفت‌انگیز است که ما این مدل‌های کاملا جدید را داریم که برای کارهای پیچیده و مداوم آموزش دیده‌اند و هنوز از همان ابزارهای اولیه استفاده می‌کنیم. ما یک اصلاح زمینه کاملا جدید را کشف نکرده ایم. ما از قرنطینه، بارگذاری و حذف تاریخچه انباشته شده برای مقابله با اینرسی بافت استفاده می کنیم.

این نصیحتی است که اکنون به آن ادامه می دهم. یکی می گوید: "عامل برنامه نویسی من کار عجیبی انجام می دهد. کلود عصبی شده است." و من می‌پرسم، "زمینه شما چقدر بزرگ است؟"

من شوخی نمی کنم. حدود 200000 توکن نقطه هشدار من است.

راه‌حل‌هایی که در مدل‌ها ایجاد می‌کنیم، مشکلات فردا را ایجاد می‌کنند. مدل ها بهتر می شوند، اما مهارهای ما نیز بهتر می شوند.

پنجره‌های زمینه طولانی‌تر به ما امکان می‌دهند اطلاعات بیشتری وارد کنیم، اما همچنین به ما امکان می‌دهند اطلاعات بدی را وارد کنیم. ما باید دریابیم که چگونه آن را مدیریت کنیم، و هنوز هم اشتباه می کنیم.

مدل‌های عاملی به ما اجازه می‌دهند وظایف طولانی‌تری را اجرا کنیم و زمینه آن‌ها را مدیریت کنیم، اما آنها همچنین اجازه می‌دهند وظایف بیشتر از آنچه باید اجرا شوند و ترجیحات ما را نادیده می‌گیرند، زیرا برای مهارهای خود آموزش دیده‌اند.

وعده بزرگ سال 2027 چیست؟ چیز بعدی که مدل ها قرار است ارائه دهند که مجموعه جدیدی از مشکلات را برای همه افراد حاضر در این اتاق ایجاد می کند چیست؟

(مگر اینکه مدل های خود را آموزش دهید. اما این یک جلسه مهندسی زمینه است، بنابراین احتمالا نه.)

به همه عوامل شخصی فکر کنید: Hermes، OpenClaw، Dot، Bot، Muse، و سیستم های مشابه. تعداد بسیار کمی از مردم واقعا این مهارها را برای بیش از شش ماه تجربه کرده اند.

من شش ماه است که یک نماینده هرمس را اداره می کنم. وقتی به مهارت هایی که ایجاد می کند و به روز می شود نگاه می کنید، متوجه می شوید که راه حل های مشکلات شما می تواند در طول زمان بدتر شود. مهارت ها همه این راه حل های عجیب و غریب را جمع می کنند. آنها ماموران عمومی هستند: آنها یک کار را به یک طریق حل می کنند، سپس راه دیگری را برای حل چیزی مشابه دوباره کشف می کنند. دستورالعمل ها و خاطرات شروع به ساختن و تضاد با یکدیگر می کنند.

همانطور که بیشتر بر حافظه تمرکز می کنیم، باید به فراموشی استراتژیک نیز فکر کنیم. با گذشت زمان، خاطرات بیش از حد دقیق متناقض و کثیف می شوند، و هیچ کس هنوز متوجه نشده است که چگونه با این موضوع کنار بیاید.

من فکر می کنم این مشکل زمینه فردا است.

هر پیشرفت در قابلیت مدل، آنچه را که به مدل تفویض می کنیم و سیستم هایی که باید اعمال کنند، تغییر می دهد.

من این اسلاید را برای یک عرشه برای آموزش تیم های سازمانی، حدود یک سال و نیم پیش ساختم، و درست است.

خروجی ما حاصل زمینه و وزن است.