هیچ نقطه ای وجود ندارد که در آن خاموش کردن مغز شما کارساز باشد
آدرس مقاله: https://danluu.com/brain-off/ آدرس نظرات: https://news.ycombinator.com/item?id=49757178 امتیاز: 196 # نظرات: 156
در اوایل سال 2025، دیدم افرادی که از LLMs 1 استفاده می کنند مغزشان را خاموش می کنند. آنها از یک LLM می خواهند که اقدامی انجام دهد (متن را خلاصه کند، مقداری کد بنویسد، و غیره)، و فقط فرض کنند که کار کرده است 2 . این معمولا در اوایل سال 2025 کار نمی کرد و نتیجه اغلب احمقانه بود.
همانطور که LLM ها بهتر شده اند، من بیشتر از این ها دیده ام. گاهی اوقات، افراد سعی می کنند LLM را دریافت کنند تا برای آنها کد بنویسد و اساسا فقط فرض می کنند که کار می کند 3 . گاهی اوقات یک انسان در حلقه وجود دارد و اگر چیزی کار نکرد، از LLM میخواهد تا مشکل را کشف کند و آن را حل کند. نیکلاس گرون برخی از انواع این کار را پروکسی گوشت می نامد. 4
پروکسی برای حلقه گوشت بودن بهتر از اوایل سال 2025 کار میکند و نرمافزاری که من امتحان کردهام که به این شکل توسعه یافته است، گاهی اوقات واقعا کار میکند. به اندازه کافی خوب نیست که بخواهم از آن استفاده کنم یا موفقیت آمیز باشد، اما از اینکه یک پروکسی گوشت در سپتامبر 2026 چقدر موثر است، تحت تاثیر قرار گرفته ام. می توانید تصور کنید LLM ها به اندازه کافی بهبود می یابند که توسعه مغز-آف meat-proxy نرم افزاری با کیفیت متوسط در آینده قابل پیش بینی تولید کند، یا حتی LLM ها به اندازه ای بهبود می یابند که در نرم افزار حلقه ای عالی بدون انسان تولید می کنند.
بیایید بگوییم که این اتفاق می افتد. چه دلیلی برای استخدام نمایندگی گوشت توسط شرکت وجود دارد؟ شرکت فقط می تواند LLM را به صورت حلقه ای اجرا کند و کارمند را اخراج کند. هیچ نقطه ای وجود ندارد که در آن این روش برای کارمند کار کند 5 .
با تشکر از مکس بیتکر، یوسی کرینین، لوک برتون، توماس دالین، دنیس اسنل، پیتر گیگان و جیمی براندون برای نظرات/اصلاحات/بحث.
من فکر می کنم توانایی انجام این کار بیشتر از آنچه مردم فکر می کنند در مورد نوع کار انجام شده بیان می کند. من فقط در صورتی از این کار کنار میروم که کار بسیار کم ارزش باشد، اگر توانایی شکست را داشته باشد.
برای کارهایی که ارزش بالایی دارند، احتمال اینکه یک LLM یکباره آنها را انجام دهد بسیار کمتر است. من باید نقش QA، مدیر مهندسی و معمار را به عهده بگیرم. حلقه while اغلب شبیه زمان بحران است. من این ظن آزاردهنده را احساس میکنم که چیزی را از دست دادهام و اینکه یک درخواست بد مشخص میتواند منجر به یک انتخاب معماری شود که باید لغو شود.
مشاهدات دیگر این است که توان عملیاتی بالا باعث میشود من برای چیزی که ارسال میکنم، نوار خودم را بالا ببرم. در حالی که پیش از این ممکن بود یک MVP ارسال میکردم و تکرار میکردم، اکنون نمایندگانی دارم که موارد لبهای را بسیار فراتر از حد معمول من صیقل میدهند و کاوش میکنند، که آنها همیشه موفق نمیشوند مگر اینکه از شما خواسته شود.
شاید افکار ناخوشایندی را برای مردم ایجاد کند، اما سوال من در مورد پروکسی های گوشت وجود دارد، اگر ماموران به این راحتی آن را میخکوب می کنند: 1) آیا ممکن است قبلا کمی پرخاش کرده باشید؟ 2) چرا عوامل را فراتر از وظایفی که می توانند به راحتی از عهده آن برآیند، تحت فشار قرار نمی دهید؟
ما کاری را انجام دادهایم که فکر میکنید به شدت سازگار با اتوماسیون «دستهای دور» است، که در حال تبدیل [تدوین] به ساخت با Bazel است. حتی با ماموران هم ماه ها طول کشیده است. بسیاری از ملزومات ناملموس و غیرقابل تعیین در درون این وظیفه دفن شده است و داشتن مامورانی که در این مسیر قدم بردارند به معنای نظارت دائمی است. دادن یک اعلان مانند "تبدیل این به بازل" و دور شدن از آن حداقل ماه ها در آینده است، شاید سال ها، و شاید هرگز؟ نقاط تصمیم گیری بسیار زیاد است و مجهولات ناشناخته زیادی در آن دخیل هستند.
مانند چند وقت یکبار این سناریو پیش میآید: با کدی مواجه میشوید و مشخص نیست که چرا به این شکل عمل میکند، اما دانستن این موضوع بهطور مادی تغییر میکند که شما باید چه کاری را انجام دهید. شاید تجربه توسعه دهنده را تغییر دهد، شاید شما نمی دانید که آیا برخی از مشتریان شروع به استفاده از آن کرده اند، و غیره. دقیقا چگونه پروکسی خود را از طریق آن میبینید؟
برعکس، کارهایی را که با برخی از ذینفعان انجام دادهاید مرور میکنید و آنها میگویند "اوه این؟ آن بخشی از آن مورد نیاز نبود، ما حتی دیگر از آن استفاده نمیکنیم". چه نوع تصمیماتی پیرامون این فرض غلط گرفته شد که عنصر خاصی باید حفظ شود؟
[پایان نظر لوک، نظر از من]. جایی که واضحتر است که شما باید تصمیم بگیرید زمانی که عامل با چیزی خارج از توزیع مواجه میشود. یک نسخه کوچک از این زمانی بود که ما به خوبی عوامل استفاده از زبانهای برنامهنویسی مختلف را مقایسه کردیم و عاملها در زبانهای مبهم، که روی آنها آموزش دیدهاند، بسیار بدتر بودند، نه به اندازه زبانهای رایج. یک مثال خارج از توزیع این است که سعی کنید یک بازی رومیزی انجام دهید (مخصوصا یک بازی مدرن و نه یکی از بازی های کلاسیک مانند شطرنج یا رفتن).
به طور کلی، برای بازی هایی مانند Lost Cities یا Dominion، یک مدل SOTA و مهار بدتر از انسانی است که در بازی های رومیزی منطقی است اما قبلا بازی را انجام نداده است. اگر از نماینده در مورد بازی بپرسید، او چیزهای زیادی در مورد بازی میداند و میتواند چیزهایی بگوید که به نظر میرسد برای کسی که بازی را نمیفهمد منطقی به نظر میرسد، اما آشکارا برای هر کسی که بازی را درک میکند اشتباه میکند. من اخیرا مقداری Dominion را با بازیکن جدیدی بازی کردم که فکر می کرد استفاده از ChatGPT برای کمک به درک بازی به آنها کمک می کند تا بازی را یاد بگیرند و بازی کنند.
من نسبت به این موضوع کاملا مشکوک بودم و پیشنهاد کردم که احتمالا آنها را بدتر خواهد کرد (که، AFAICT، چنین شد). پس از انجام چند بازی، به آنچه ChatGPT به آنها میگفت نگاه کردم، و شاید نصف آن درست و نیمی اشتباه بود، اما نیمههای اشتباه آنها را به جای بدتری نسبت به کسی که عموما بازیها را به خوبی انجام میدهد و از بازیهای کلی اکتشافی استفاده میکند، هدایت میکرد.
BTW، اطلاعات عمومی کافی در آنجا وجود دارد که فکر میکنم شخصی که قبلا هرگز بازی نکرده است، اما تصمیم گرفته است مثلا پنج ساعت را صرف خواندن در مورد بازی کند و ببیند چه اطلاعاتی در آنجا وجود دارد، میتواند به راحتی 99٪ یا بالاتر در بازی باشد اگر مقداری پیش خواندن انجام دهد (شاید 30 دقیقه اگر استفاده از ارجاعات در حین بازی مجاز باشد). فکر میکنم این کار جالبی نیست و به کسی توصیه نمیکنم که این کار را انجام دهد، اما با توجه به اینکه عاملها میتوانند جستجو، جستجو در APIها و غیره انجام دهند، این شکاف بین یک انسان و یک عامل را امروز در هنگام نزدیک شدن به یک مشکل خارج از توزیع به شما نشان میدهد.
با توجه به آنچه من می دانم، نسخه بزرگ بعدی این مدل را تغییر خواهد داد، اما این شکاف هنوز هم امروز نسبتا زیاد است.
به هر حال، منظور من در اینجا این است که، حتی هنگام انجام وظایف کدنویسی، اغلب با سوالات توزیع مواجه می شوید که در آن عامل در مقایسه با یک انسان معقول بسیار ضعیف عمل می کند. اگر امروز می خواهید نتیجه کلی خوبی داشته باشید، باید به این موارد توجه کنید و با آنها برخورد کنید.
برخی از نمونههایی از مواردی که وقتی کسی فقط فرض میکند کارها کار میکنند اشتباه میشود، این مورد است، که در آن عوامل (گاهی اوقات) به شدت به آزمایشها اضافه میشوند یا این مورد که عاملها بهشدت بیش از حد به یک معیار اندازهگیری میشوند. من نظریهای شنیدهام که میگوید ماموران بیشتر در مورد مشکلات شبیه به ارزش تقلب میکنند. مطمئن نیستم که درست باشد، اما حتی با فرض اینکه درست باشد و در پروژههای کاری و شخصیام، من تمایل به ایجاد دستورالعملهای شبیهبهشکل بیشتری نسبت به بسیاری از افراد دارم، حتی زمانی که ارزیابیها را اجرا نمیکنند، افراد دیگری را دیدهام که چیزهای بسیار شبیهشکل خلق نمیکنند (فکر میکنم واقعا شدیدتر) هنگام نوشتن با مشکل مشابهی مواجه میشوند.
برخی از دستورالعملها و اجازه دادن به ماموران بدون نظارت (شانس داشتم که این کار را با حداقل نظارت انجام دادم، اما فقط با حصار کشی کمی از عوامل، که باعث میشود چیز شبیهتر از آنچه به نظر میرسد اکثر مردم انجام میدهند).
وقتی نرم افزار افرادی را امتحان می کنم که تفکر را به LLM برون سپاری کرده اند، نرم افزار مشکلات جدی دارد. من از مردم به من گفتهام که این نوع چیزها کار میکند، اما نرمافزار اغلب در سطحی است که میتوانم بگویم طبق استانداردی که در اینجا بحث شد کار نمیکند.
برای انتخاب یک مثال احمقانه، دیدم که یک رهبر فکر برنامه نویسی در توییتر اعلام کرد که برنامه نویسی حل شده است زیرا آنها پروژه ها را در انواع زمینه ها (برنامه نویسی) امتحان کردند و کلود توانست همه مشکلات را به عنوان یک متخصص حل کند. من رفتم و در واقع به GitHub آنها نگاه کردم و همه نمونه هایی که نگاه کردم (عددی غیر صفر) یا کار نکردند یا خیلی بد کار کردند. زمانی که داشتم هوش مصنوعی بازی های تخته ای می ساختم و به دنبال هوش مصنوعی های موجود می گشتم تا هوش مصنوعی هایم با آن ها بازی کنند، در واقع به این موضوع برخورد کردم.
هوش مصنوعی آنها یک ربات به سبک AlphaZero بود که ضعیفتر از آن چیزی بود که اگر از یک LLM بخواهید یک ربات اکتشافی ساده بنویسد و سپس LLM را در یک حلقه اجرا کنید تا امتیاز اکتشافی را تغییر دهید (که برای این بازی باید توسط یک ربات متوسط به سبک AlphaZero از بین برود) ضعیفتر بود.
برای انتخاب یک مثال احمقانه دیگر، پیروی از جریان استاندارد (یک محصول تجاری واقعی) شما را در یک حلقه نامحدود قرار می دهد که از نظر فنی امکان فرار وجود دارد (اکثر برنامه نویسان احتمالا می توانند نحوه فرار را بفهمند) اما یک کاربر معمولی (برای این نرم افزار که هدف برنامه نویسان نبود) احتمالا نمی تواند فرار کند و در واقع از عملکرد اصلی نرم افزار استفاده کند.
BTW، من نرمافزارهای زیادی برای خودم میسازم که نرمافزار با کیفیت «برای من کار میکند» که اگر یک محصول واقعی باشد، آنها را بهعنوان «اساسا کار نمیکند» رتبهبندی میکنم، بنابراین فکر نمیکنم زمانی که نرمافزار اساسا کار نمیکند، ذاتا بد نیست (مثلا، موتور regex که در اینجا مورد بحث قرار گرفت، من یک سازنده داشتم برای افزایش سرعت ripgrep یا یک Rustbuilder برای جستجوهای من در ripgrep حلقه تکرار در برخی پروژه ها، که از هر دوی آنها نباید استفاده کنید).
من همچنین در اینجا اشاره کردم که به نظرم بسیار ارزشمند است که یک عامل در یک حلقه برای تجزیه و تحلیل داده ها اجرا شود و نتایج کاملا نادرستی تولید کند و سپس آن را به تعمیر هدایت می کنم. اما بین ساختن نرمافزاری برای خودتان که برای استفاده محدود شما کار میکند و میدانید که اگر «اشتباه داشته باشید» کار نمیکند یا کاری را که میدانید درست نیست درست کنید کار نمیکند و اعلام کنید که برنامهنویسی پس از نوشتن یکسری نرمافزار که کار نمیکند حل شده است، یا به همین ترتیب قرار دادن چیزی با آن کیفیت در یک محصول تجاری، تفاوت دارد.
در هنگام خواندن پیشنویس این پست، وقتی از من پرسیدم که آیا این مجموعه کوتاه از افکار ارزش انتشار دارد، توماس دالین (معروف به Halvarflake) گفت: "پست خوبی است! بله، آن را منتشر کنید، زیرا هر وقت میگویم "LLM همه مشکلات برنامهنویسی را حل نمیکند" به من نگاه کنید که من دیوانه هستم، و من به آنها همانطور که هستند نگاه میکنم. و، تصادفا، پس از اتمام این پیش نویس، دیدم که گری برنهارت در توییتی نوشت: "تضاد با خروجی واقعی نماینده با چیزهایی که می بینم مردم در اینجا درباره آنها می گویند، بسیار سورئال است. در تغییرات روزمره، نظرات من اغلب تفاوت را تا 25٪ از اندازه اصلی آن کاهش می دهد."
هزاران تست بی فایده؛ پارانویا منطق معکوس سپس توییتر را خواندم و «کد نویسی حل شد»، و سپس «یک مثال در یک ساعت از زمانی که توییت کردم که: به آن گفتم مدیریت DATABASE_URL را اصلاح کند. اگر مستقیما داخل اسکریپتهای NPM باشد، و یک فراخوانی گره شرطی در CI که یک اسکریپت JS درون خطی اجرا میکند، اضافه کرد. حدود 20 تانک در تفاوت. بعد از اینکه آن را اصلاح کردم: +0 خطوط، +1 کلمه."
من فکر می کنم هر کسی که نگرش توماس یا نگرش گری نسبت به نرم افزار را داشته باشد، برای مدتی چنین احساسی را داشته است. برای مدتی فکر میکردم که آیا بسیاری از افرادی که بزرگترین ادعاها را در مورد بهرهوری LLM میکنند به نحوی ارزش بیشتری از LLM دریافت میکنند، اما همانطور که در اینجا بحث کردیم، همانطور که شواهد بیشتری به دست آمد، مطمئنتر شدم که مردم فقط خودشان را گول میزنند. یکی از چیزهایی که من در مورد مثال بازی تخته ای دوست دارم این است که شما فقط می توانید اندازه گیری کنید که هوش مصنوعی حاصل چقدر خوب است.
در حد مجاز، میتوانید نوعی موقعیت کاغذ-قیچی سنگ را داشته باشید که در آن A>B>C>A را مشاهده میکنید، اما، اگر چیزی صرفا مزخرفات هوش مصنوعی باشد، این به روشی عینی کاملا واضح است. و به همین ترتیب برای نرم افزارهای تجاری، جایی که می توانید با افراد شرکت صحبت کنید یا خودتان به داده ها نگاه کنید و متوجه شوید که نرخ تبدیل ضعیف است، ریزش بسیار زیاد است، نظرسنجی های رضایت کاربران سطوح بسیار بالایی از نارضایتی را گزارش می دهند و غیره.
اگر میخواهید یک مثال احمقانه اما کمتر متمرکز بر نرمافزار دیگر، در یک پست اخیر، شخصی برای من یک بررسی واقعیت ChatGPT با یک نظر توهینآمیز درباره خطاهایم ارسال کرد، اما البته من قبلا پست را با ChatGPT بررسی کرده بودم و خطاهای واقعی را برطرف کرده بودم، بنابراین تنها چیزی که باقی مانده بود خطاهای ChatGPT بود. به طور کلی، من دریافتم که برای این نوع چیزها (برای محتوای هر کسی، نه فقط من)، نرخ مثبت کاذب (دقت) ضعیف است، و نرخ منفی کاذب (یادآوری) متوسط است.
اگر کمی از مغزتان استفاده کنید، فکر میکنم هنوز ارزشش را دارد که این بررسیهای واقعیت را انجام دهید، زیرا مهارت من در فهرستی با مجموعهای از نکات مثبت کاذب هنوز بسیار ارزانتر از درخواست از یک انسان اضافی برای خواندن یک پست پیشنویس است.
برای مثال احمقانه دیگری، موضوعی tpatcek وجود دارد که اخیرا به آن اشاره شده است، که شما نباید اجازه دهید که توسط یک LLM متملق شوید و فکر کنید که برخی از کارهایی که انجام داده اید خوب بوده است (او به طور خاص به نوشتن اشاره می کرد، اما این برای انواع دیگر کار نیز صدق می کند). اگر نگرش گری یا نگرش Halvarflake که در بالا ذکر شد، ناگفته نماند، اما برخی از مردم نمیخواهند این را بدانند (من فکر میکنم شما واقعا باید سعی کنید از توجه به این موضوع اجتناب کنید تا این را ندانید) زیرا من میبینم که مردم از نوعی LLM استفاده میکنند که کار خود را پف میکنند تا توجیه کنند که چقدر عالی است.
ممکن است روزی برسد که یک LLM اعلام کند که کار شما نابغه است یا استدلال شما به طور کامل استدلال شخصی را که با او بحث می کنید از بین می برد، اما ما امروز (از نظر دقت؛ این پیش بینی در مورد اینکه چقدر از نظر زمان فاصله دارد) به اندازه کافی فاصله داریم که شخصی که از یک LLM استفاده می کند، دلیل خود را به خوبی نشان می دهد. فکر کردن و یک سیگنال نسبتا قوی مبنی بر ضعیف بودن کار یا استدلال.
شاید این کار برای بنیانگذاران، سهامداران بزرگ و غیره کارساز باشد، اما زمانی که من شخصا دیده ام که افرادی تاکنون این کار را انجام می دهند، این کارمندان در محل کار یا افرادی هستند که روی پروژه های شخصی کار می کنند که در مورد اینکه چگونه این کار خوب کار می کند، نرم افزار حل شده است، و غیره بیان می کنند، که به معنای چیزی در مورد اینکه چگونه نرم افزار یک مشکل حل شده برای مهندسان نرم افزار شاغل است.
استدلال دیگر ممکن است چیزی شبیه این باشد که «الان همه ما منسوخ خواهیم شد، پس چرا تسلیم نشویم؟»، اما این استدلال به نظر من عقب مانده است، مگر اینکه تضمین شود کهنگی انسان بسیار نزدیک است. اگر از نظر مالی آماده بازنشستگی هستید، فقط می توانید مغز خود را خاموش کنید، اما همیشه می توانید این کار را انجام دهید و همیشه افراد زیادی هستند که آن را پست کرده اند و هیچ کاری انجام نداده اند. اگر آماده بازنشستگی نیستید، می توانید کاری انجام دهید که پول بیشتری برای شما به ارمغان بیاورد، که احتمالا شامل خاموش کردن مغز شما نمی شود.
اگر آینده غیر منسوخ نیست، نیازی به عجله برای پول درآوردن نیست، اما اگر فکر می کنید کهنه شدن به زودی در راه است و باید پول در بیاورید، اکنون زمان آن است که برای پول درآوردن عجله کنید و برعکس خاموش کردن مغزتان را انجام دهید. یک خط استدلال وجود دارد که چیزی شبیه به "چرا زحمت کار کردن یا انجام کار درست را به زحمت بیاندازید، به هر حال دستمزد بیشتری دریافت نمی کنید"، که به نظر من کاملا اشتباه است، زیرا من حقوق دریافت کرده ام، پاداش دریافت کرده ام و غیره.
از رفتن و پیدا کردن یک مشکل و رفع آنها و این نیز تجربه دوستان من است، مگر اینکه آنها در یک مکان بسیار ناکارآمد باشند که اصلا پاداشی برای انجام کار خوب نداشته باشد، در این صورت آنها می روند و به جای دیگری می روند.
شاید استدلال دیگری وجود داشته باشد که چیزی شبیه به "به دلیل اینرسی، پس از اینکه LLM ها به اندازه کافی برای جایگزینی برنامه نویس ها خوب هستند، پنجره ای وجود خواهد داشت که می توانید از پروکسی گوشت بودن خلاص شوید". در واقع، با توجه به اینکه شرکتها چقدر از افراد عادی هیجان زده هستند، به نظر میرسد که این نیز برعکس درست است، زیرا اگر هدف شما انجام کمترین کار ممکن است، بهترین زمان برای انجام این کار در گذشته بوده است.
اگر با افراد شرکتهای بزرگ در مورد این نوع چیزها صحبت کرده باشید، انواع فروشگاهها در مورد افرادی وجود دارد که به معنای واقعی کلمه در محل کار حاضر نمیشوند (و همچنین از راه دور کار نمیکنند) و ماهها تا سالها طول میکشد تا آنها اخراج شوند. من در چند سال گذشته تعداد زیادی از این داستانها را نشنیدهام، اما یکی از تیمی که در آن بودم این کار را انجام داد و IIRC (قبلا شماره را میدانستم، اما مطمئن نیستم که الان آن را درست به خاطر نمیآورم) شش ماه طول کشید تا آنها را اخراج کنند، پس از اینکه تصمیم به بازنشستگی گرفتند و فهمیدند که میتوانند چند چک حقوق دیگر دریافت کنند، اگر فقط جلوی بیماری را نگیرند (این یک بیماری پیش از بیماری همهگیر بود.
یک شرکت غیر از راه دور). یکی از دوستانم در یک شرکت دیگر از شخصی خواسته بود این کار را انجام دهد که دو سال طول کشید. هیچ کس حتی برای مدتی طولانی روند اخراج آنها را شروع نکرد، و سپس روند آهسته هشدارها قبل از سرخ شدن آنها وجود داشت. دوست من گفت که مدیر گفته است که اگر آنها می خواستند سیستم را بازی کنند و تازه وارد می شدند و وانمود می کردند که کمی کار می کنند، این یک ساعت جدید شروع می شد و حتی بیشتر طول می کشید تا آنها را اخراج کنند. اگر آنها یک تنبل با صلاحیت بودند، می توانستند شغل را برای مدت نامحدودی طبق شرایط آن زمان حفظ کنند.
مطمئن نیستم چرا شرکتها تا به حال در این وضعیت بودند، اما به نظر میرسد شرکتها از هوش مصنوعی بهعنوان بهانهای برای دور شدن از این وضعیت استفاده میکنند، و اکنون و احتمالا آینده نزدیک را بدترین زمان در یک زمان بسیار طولانی برای تلاش برای نگهداشتن یک شغل در حالی که هیچ تلاشی انجام نمیدهند و هیچ ارزشی ارائه نمیدهند، تبدیل میکنند. بدون شک برخی از شرکتها وجود خواهند داشت که میتوانید با این کار کنار بیایید، اما اگر میخواستید کاری انجام ندهید و چک حقوقی دریافت کنید، میتوانستید برای مدت طولانی این کار را انجام دهید (ممکن است به معنای واقعی کلمه اصلا سر کار حاضر نشوید) در محیطی که آسانتر از آینده نزدیک است.
متن اصلی (انگلیسی)
There's no point at which turning your brain off will work
Article URL: https://danluu.com/brain-off/ Comments URL: https://news.ycombinator.com/item?id=49757178 Points: 196 # Comments: 156