پارادوکس فشرده سازی قصد: چگونه توسعه دهندگان LLM فرسایش معنایی را حل می کنند تا نیت انسان را زنده نگه دارند

همانطور که افراد استدلال انتزاعی تری را به مدل های زبانی بزرگ (LLMs) واگذار می کنند، معنی دقیق و ظرافت کلمات ما می تواند در تفسیر بی پایان گم شود زیرا LLM ها مکررا این کلمات را پردازش، خلاصه و بازگردانی می کنند.

انسان ها ربات هایی نیستند که تمام جملات خود را رسمی کنند. در عوض، ما با برخی لحن های نانوشته فرهنگی و موقعیتی صحبت می کنیم. به عنوان مثال، در برخی از فرهنگ ها، پرسیدن "آیا تا به حال غذا خورده اید؟" به معنای واقعی کلمه به این معنی نیست که بپرسید آیا فرد غذا خورده است یا خیر، اما آیا روش دیگری برای گفتن "حالت چطور است؟" یک LLM ممکن است این تفاوت ظریف را در یک مقاله از دست بدهد، آن را به معنای واقعی کلمه تفسیر کند و خروجی اشتباه بدهد.

اگر هوش مصنوعی مدل A را تعبیر کند: «تاکنون غذا خورده‌اید؟» به معنای واقعی کلمه، سپس همان تفسیر را به مدل B منتقل می کند، که سپس آن را به مدل C می دهد. در لایه سوم، تفاوت های ظریف از بین می رود. مدل‌های هوش مصنوعی خروجی منسجمی ارائه می‌دهند، اما خروجی خارج از بافت فرهنگی و موقعیتی. این نمونه‌ای از فرسایش معنایی است که در آن دقت تعریف و تفاوت‌های فرهنگی به تدریج از بین می‌رود، زیرا مدل‌های هوش مصنوعی تفاسیر و ایده‌ها را بازگردانی می‌کنند.

فرسایش معنایی یک خطای ساختاری است، نه یک «توهم» که در آن مدل‌های هوش مصنوعی حقایق اشتباهی را اختراع می‌کنند. در عوض، خروجی واضح باقی می ماند، اما با حذف زمینه، معنی تغییر می کند. این یک گلوگاه بزرگ است که توسعه دهندگان LLM باید روی آن کار کنند. بیایید عمیقا این مسئله را بررسی کنیم و اینکه توسعه دهندگان چگونه در راه حل آن نوآوری می کنند.

فرسایش معنایی به تفصیل توضیح داده شده است

همانطور که LLM ها به طور فزاینده ای اطلاعات بیشتری را پردازش می کنند، تفسیرهای نادرست کوچک می تواند بر کیفیت خروجی تاثیر بگذارد. LLM ها می توانند متن انسانی را اشتباه بخوانند یا آن را با یک مترادف جایگزین کنند و خروجی هایی ایجاد کنند که ممکن است روان و از نظر گرامری صحیح باشد اما آن چیزی نیست که کاربر واقعا می خواهد.

در بالا مثالی زدیم «آیا خوردی؟» در زمینه فرهنگی اشتباه تفسیر می شود، اما بیایید نمونه مناسب دیگری را ببینیم.

صورت‌های مالی سالانه یک شرکت را تصویر کنید و از یک مدل هوش مصنوعی چند عامله خواسته می‌شود تا این بیانیه را برای استخراج بینش‌های کلیدی تجزیه و تحلیل کند. عامل A، «سود خالص» را به اشتباه به عنوان «سود عملیاتی» تفسیر می‌کند، حتی زمانی که آنها یکسان نیستند (سود عملیاتی کل سود شرکت از فعالیت‌های تجاری آن است، در حالی که سود خالص چیزی است که پس از کسر مالیات، استهلاک، خدمات بدهی و سایر هزینه‌ها از سود عملیاتی باقی می‌ماند).

عامل A این تفسیر نادرست را به عامل B منتقل می کند و داده ها را تخریب می کند. پس از تجزیه و تحلیل عامل C، D و E صورت مالی، بینش استخراج شده اشتباه خواهد بود. این یک خطای صریح نیست، اما یک خطای آرام است که کاربر می تواند به راحتی از آن چشم پوشی کند و بینش های اشتباه می تواند باعث تصمیم گیری های اشتباه شود.

اگر کنترل نشود، فرسایش معنایی دقت خروجی های مدل هوش مصنوعی را کاهش می دهد. یک تفسیر نادرست در اینجا، دیگری در آنجا، و دیگری در اینجا، و مدل‌های هوش مصنوعی می‌توانند آنقدر غیرقابل اعتماد شوند که توسط کاربران قابل اعتماد نیستند، بنابراین توسعه‌دهندگان LLM باید با این مشکل مقابله کنند.

پارادوکس فشرده سازی قصد

انسان ها ربات هایی نیستند که به صورت برنامه ای صحبت کنند. ما احساسات، درک، و زمینه فرهنگی و محیطی را اضافه می کنیم، جایی که فقط لحن صدا می تواند معنای جمله را تغییر دهد. به عنوان مثال، «ما باید صحبت کنیم» می‌تواند نشان‌دهنده توجه باشد وقتی با لحن ملایم صحبت می‌شود، اما وقتی با لحن بلند و بلند صحبت می‌شود، نشان‌دهنده رویارویی است. وقتی با لحن گرم و ملایم صحبت می‌شود، «می‌توانید دوباره بگویید» نشان‌دهنده توافق دوستانه است، اما وقتی با صدای بلند صحبت می‌شود، می‌تواند متضاد به نظر برسد.

مسئله این است که انسان ها هنگام صحبت با مدل های هوش مصنوعی از نحوه صحبت ما با یکدیگر تقلید می کنند، حتی اگر این مدل ها احساسات را درک نکنند. مدل های هوش مصنوعی کلمات را به صورت آماری تجزیه و تحلیل می کنند و خروجی کمی می دهند. این یک تناقض ایجاد می کند که در آن هر چه یک مدل هوش مصنوعی بهینه تر باشد تا تحلیلی ترین پاسخ ها را ارائه دهد، ممکن است به طرز تهاجمی تری نیت انسان را نادرست تفسیر کند. به پارادوکس فشرده سازی قصد معروف است.

توسعه‌دهندگان LLM معمولا دستورات را فشرده می‌کنند تا در هزینه‌های توکن صرفه‌جویی کنند، اما از آنجایی که قصد انسان به شدت فشرده می‌شود، احتمال بیشتری وجود دارد که مدل‌ها پاسخ‌های غیرقابل اعتمادی ارائه دهند. برای جبران فشرده‌سازی، مدل‌های هوش مصنوعی حتی ممکن است خروجی طولانی‌تر و در عین حال مستقیم کمتری تولید کنند که با هدف مطابقت ندارد.

استراتژی هایی برای پرداختن به فرسایش معنایی و پارادوکس فشرده سازی قصد

در بالا، مشکل را به تفصیل توضیح دادیم. اکنون بیایید به استراتژی هایی که توسعه دهندگان مدل هوش مصنوعی برای رفع مشکل اعمال می کنند نگاه کنیم. چگونه از تفسیر نادرست قصد انسان جلوگیری می کنند؟ چگونه مدل‌های هوش مصنوعی از فشرده‌سازی هدفمند جلوگیری می‌کنند و در عین حال در هزینه‌های توکن صرفه‌جویی می‌کنند؟ بیایید به برخی از رویکردهای دنیای واقعی نگاه کنیم.

فیلتر کردن داده ها

اساس هر مدل هوش مصنوعی مجموعه داده آموزشی آن است، بنابراین تنظیم دقیق آن برای درک مقاصد انسان از اینجا شروع می شود. استفاده از مجموعه داده‌های مدیریت‌شده‌تر مانند مجلات بررسی‌شده، بحث‌های تخصصی، مقالات عمیق و ادبیات، نه مجموعه داده‌های عمومی، به مدل‌های هوش مصنوعی کمک می‌کند تا زمینه را بهتر درک کنند. این مجموعه داده‌های مدیریت‌شده حاوی اطلاعات غنی و با یکپارچگی بالا هستند که به مدل‌های هوش مصنوعی کمک می‌کند تا به جای گرفتن ادعاهای تأیید نشده از هر کجا، تجزیه و تحلیل ساختارمند، مبتنی بر زمینه و استدلال درست را تشخیص دهند. بحث های تخصصی انسانی دارای تفاوت های ظریف زیادی است که تشخیص آن برای مدل های هوش مصنوعی مهم است.

مجموعه داده‌های انتخاب‌شده گران‌تر از مجموعه داده‌های عمومی هستند، اما نتیجه آن دقت و قابلیت اطمینان بهتر است. نیازی نیست که کل مجموعه داده تنظیم شود، اما معرفی حجم قابل توجهی از مجموعه داده های انتخاب شده به LLM ها کمک می کند تا زمینه را بسیار بهتر درک کنند.

برای حفظ یکپارچگی مجموعه داده‌های انتخاب‌شده، حتی زمانی که مدل‌های هوش مصنوعی خروجی تولید می‌کنند که ممکن است متن را به اشتباه تفسیر کند، توسعه‌دهندگان می‌توانند واترمارک‌های رمزنگاری یا آماری (مانند SynthID Google) را در خروجی‌های هوش مصنوعی خود پیاده‌سازی کنند. این واترمارک به مدل‌ها اجازه می‌دهد خروجی خود را تشخیص دهند و از آموزش بر اساس آن اجتناب کنند، و از "فروپاشی مدل" جلوگیری می‌کند که در آن LLM‌ها پس از آموزش بر روی داده‌های تولید شده خود، کیفیت خود را کاهش می‌دهند.

رویکرد دیگر ایجاد خطوط لوله داده های آموزشی است که فقط شامل داده های قبل از سال 2023 می شود، سالی که LLM ها به جریان اصلی تبدیل شدند و وب شروع به پر شدن از محتوای تولید شده توسط هوش مصنوعی کرد. مقابله با فرسایش معنایی در مدل‌های هوش مصنوعی با فیلتر کردن مجموعه داده‌های آموزشی پایه آن‌ها شروع می‌شود و ما برخی از رویکردهای موثر را شرح داده‌ایم.

راه حل های معماری

توسعه دهندگان می توانند با طراحی معماری مدل استراتژیک هوش مصنوعی با فرسایش معنایی مقابله کنند. به عنوان مثال، مدل‌های هوش مصنوعی را می‌توان از حدس زدن معنای فیلدهای داده منع کرد و در عوض، از یک پلتفرم معنایی محلی (مانند SqIDBM) برای نگاشت پرس‌و‌جوهای داده‌ها به معیارهای ساخت‌یافته، نه جداول پایگاه داده خام که مدل می‌تواند داده‌های اشتباه را از آنها استخراج کند، استفاده کند.

به جای اینکه مدل‌های هوش مصنوعی مستقیما به جداول پایگاه داده نگاه کنند، توسعه‌دهندگان یک پلتفرم معنایی را در وسط قرار می‌دهند که مانند یک مترجم عمل می‌کند و به مدل هوش مصنوعی می‌گوید که چه چیزی را خروجی بگیرد به جای اینکه مدل را رها کنند تا در جداول جستجو کند و احتمالا بینش‌های اشتباه استخراج کند.

توسعه‌دهندگان همچنین می‌توانند تشخیص رانش خودکار و قابلیت مشاهده در سطح جلسه را پیاده‌سازی کنند، جایی که سیستم‌های مستقل بررسی می‌کنند که آیا خروجی عامل هوش مصنوعی شروع به انحراف از خطوط پایه معنایی از پیش تعیین‌شده‌اش می‌کند یا زمانی که خروجی شروع به خارج شدن از زمینه می‌کند. این رویکرد به جای نظارت بر تماس‌های API ایزوله، شامل ردیابی پاسخ‌های عامل هوش مصنوعی در کل یک مکالمه و گردش‌های کاری متعدد است.

اگر انحراف زمینه تشخیص داده شود، اصلاحات خودکار می‌تواند فعال شود، مانند اختصاص دادن کار به مدل دیگری، تزریق خودکار به‌روزرسانی‌های آگاه‌تر از متن، و توقف حلقه‌های تکراری برای صرفه‌جویی در هزینه‌های توکن.

توسعه دهندگان همچنین می توانند توابع از دست دادن را معرفی کنند که عامل های هوش مصنوعی را به دلیل یکنواخت بودن بیش از حد جریمه می کند و آنها را مجبور می کند تا مقداری آنتروپی (تنوع) آماری را در خروجی های خود حفظ کنند. بدون این جریمه، مدل‌های هوش مصنوعی می‌توانند تا حدی بهینه‌سازی شوند که یک پاسخ موفقیت‌آمیز برای یک پرس و جو پیدا کنند، سپس آن را بی‌پایان برای پرس‌و‌جوهای مشابه حتی زمانی که زمینه متفاوت است، تکرار کنند. جریمه آنتروپی عامل هوش مصنوعی را وادار می کند تا به جای اطمینان 100 درصدی به یک پاسخ، احتمالات را بین گزینه های متعدد توزیع کند.

تابع ضرر را به‌عنوان یک کتاب قوانین ریاضی در نظر بگیرید که به مدل هوش مصنوعی می‌گوید چه زمانی اشتباه می‌کند، و مدل فقط برای اشتباهات جریمه می‌شود. این باعث می‌شود که مدل هوش مصنوعی از تمایل به دادن پاسخ‌های اشتباه اجتناب کند، بنابراین از واژگان متنوعی استفاده می‌کند، ساختار جملات را تغییر می‌دهد و به جای دنبال کردن امن‌ترین و عمومی‌ترین مسیر، از رویکردهای «خلاقانه» برای پاسخ به پرسش‌های کاربر پیروی می‌کند (مثلا «من می‌دانم که...»).

حرکت از 1 به 5 عامل سطح بالایی از پیچیدگی هماهنگی را معرفی می کند. به خطاهای احتمالی حالت، شرایط مسابقه و نقاط شکست برای یک مدل هوش مصنوعی فکر کنید و آن را در تعداد مدل‌های افزایش‌یافته تا توان 2 ضرب کنید. این چیزی است که توسعه‌دهندگان با آن مواجه هستند. به عنوان مثال، انتقال به 3 عامل پیچیدگی را 9 افزایش می دهد و حرکت به 5 عامل آن را 25 افزایش می دهد. تحقیقات نشان می دهد که 36.9٪ از خرابی های سیستم چند عاملی به دلیل عدم همسویی هماهنگی است.

عواملی که حافظه مشابهی دارند ممکن است داده های قدیمی را از لایه های کش بخوانند. برخلاف مدل‌های مستقل هوش مصنوعی با محدودیت‌های سختگیرانه API، سیستم‌های چند عاملی می‌توانند بی‌نهایت حلقه بزنند و متن را اشتباه تفسیر کنند. انتقال بین عاملی و تکرار زمینه منجر به این می شود که این سیستم ها توکن های بیشتری را نسبت به همتایان مستقل مصرف کنند.

برای حل این مشکل، توسعه دهندگان از یک هماهنگ کننده مرکزی استفاده می کنند تا پرس و جوهای کاربر را به بخش های مختلف تقسیم کنند، قطعات را به صورت پویا یا متوالی به عوامل مختلف اختصاص دهند و نتایج را جمع آوری کنند. با این حال، قبلا، محدودیت‌های این رویکرد ارکستراسیون متمرکز را شرح دادیم.

راه حل های الگوریتمی

توسعه دهندگان می توانند رویکردهای الگوریتمی را دنبال کنند که از فرسایش معنایی در مدل های هوش مصنوعی جلوگیری می کند. این شامل تزریق دقت ریاضی به مدل‌ها برای اعمال سازگاری معنایی، محدود کردن توزیع احتمالات و محدود کردن وقوع توهم است.

یک رویکرد تکمیل جستجوهای فاصله برداری خالص با مسیرهای نمودار دانش دقیق در عوامل هوش مصنوعی است. این به عوامل هوش مصنوعی کمک می کند تا از جستجوی ساده به دنبال شباهت معنایی به استدلال ساخت یافته بر اساس حقایق رابطه ای حرکت کنند. مسیرهای نمودار دانش، موجودیت‌ها (مانند مکان‌ها، افراد و اشیاء) را با لبه‌های جهت‌دار به هم متصل می‌کنند و به عوامل اجازه می‌دهند تا مسیرهای چند جهشی از پیش تعیین‌شده مانند نویسنده > کتاب > فصل > نقل قول را دنبال کنند تا حقایق را بازیابی کنند.

(اعتبار تصویر: LeewayHertz) جستجوهای بردار از راه دور به طور کامل کنار گذاشته نمی شوند، زیرا برای پاسخ های معمولی و به سبک روایت ضروری هستند. در عوض، از مدل ترکیبی استفاده کنید که در آن فاصله برداری، پرس و جوهای معمول کاربر را بررسی می کند، و مسیرهای نمودار دانش، پرس و جوهای پیچیده تری را مدیریت می کنند.

برای مدل هوش مصنوعی خود، توسعه‌دهندگان همچنین یادگیری ماشین آماری (پیش‌بینی مبتنی بر داده) را با محدودیت‌های جبری کدگذاری‌شده سخت (محدوده‌های ریاضی) ترکیب می‌کنند که نمی‌توان آنها را دور زد. به عنوان مثال، یک مدل هوش مصنوعی که واکنش‌های شیمیایی را شبیه‌سازی می‌کند، از یادگیری ماشین آماری برای شبیه‌سازی واکنش‌ها و یک لایه جبری استفاده می‌کند که آن را به قانون بقای جرم و انرژی متصل می‌کند، که بیان می‌کند مجموع جرم و انرژی در یک سیستم ایزوله ثابت می‌ماند و نمی‌توان آن را ایجاد یا از بین برد.

از نظر ریاضی، E = mc 2 است، که در آن E انرژی کل، m جرم و c سرعت نور در خلاء (3×108 m/s) است.

محدودیت جبری بالا تضمین می کند که وقتی مدل هوش مصنوعی واکنش های شیمیایی را شبیه سازی می کند، با ایجاد یا از بین بردن انرژی شیمیایی، قوانین فیزیک را نقض نمی کند. فرسایش معنایی به مدل هوش مصنوعی اجازه نمی‌دهد نتایج فیزیکی غیرممکن با انرژی بیشتر یا کمتر نسبت به واکنش‌دهنده‌های اصلی در یک فرآیند شیمیایی ایجاد کند.

در طول آموزش، توسعه‌دهندگان همچنین عملکرد پاداش مدل هوش مصنوعی را به نتایج کامپایل‌شده یا توکن‌های قطعی، معروف به مکانیسم پاداش مبتنی بر نتیجه، محدود می‌کنند. بر نتایج و صحت بیش از انطباق فرمت تأکید می کند، جایی که مدل باید یک آزمون واحد را پشت سر بگذارد، نه فقط قانع کننده به نظر برسد در حالی که احتمالا بسیار اشتباه است.

مدل‌های هوش مصنوعی در «هک کردن پاداش» خوب هستند، جایی که می‌توانند متنی منسجم اما بسیار نادرست تولید کنند، و این پشت توهماتی است که کاربران اغلب می‌بینند. محدود کردن تابع پاداش مدل به نشانه‌های قطعی، از توهمات و فرسایش معنایی جلوگیری می‌کند و به مدل کمک می‌کند تا پاسخ‌های دقیقی به سؤالات پیچیده ارائه دهد.

رویکردهای انسان در حلقه (HITL).

مدل‌های هوش مصنوعی ممکن است پس از آموزش به طور مستقل کار کنند، اما قرار دادن یک انسان در حلقه همچنان مفید است. رویکرد انسان در حلقه (HITL) قضاوت انسان را مستقیما به خطوط لوله داده های هوش مصنوعی تزریق می کند تا از فرسایش معنایی جلوگیری کند.

(اعتبار تصویر: آینده) در حین برچسب‌گذاری داده‌های آموزشی، متخصصان دامنه می‌توانند به جای اجازه دادن به خروجی‌های بازگشتی AI به AI که به راحتی تفسیر نادرست می‌شوند، تلاش کنند تا توکن‌های دریفت را مجددا به تعاریف دنیای واقعی متصل کنند. جای تعجب نیست که پلتفرم هایی مانند مرکور با استخدام کارشناسان حوزه (مانند مهندسان نرم افزار، وکلا، پزشکان و بانکداران سرمایه گذاری) برای برچسب گذاری داده ها برای آزمایشگاه های هوش مصنوعی، کسب و کارهای بزرگی را ایجاد کرده اند. Mercor به تنهایی ده ها هزار داده تنظیم دقیق استعدادهای استخدام شده برای بسیاری از توسعه دهندگان مدل هوش مصنوعی، از جمله Anthropic (Claude) و OpenAI (ChatGPT)، دو بزرگ ترین آنها، دارد.

توسعه دهندگان همچنین بازخورد مکرر تایید شده توسط انسان را برای جلوگیری از حلقه های فرسایش معنایی که در آن مدل های هوش مصنوعی بر روی داده های تولید شده توسط هوش مصنوعی آموزش می بینند و به تدریج ارتباط خود را با داده های واقعی انسانی از دست می دهند، القا می کنند. اگر بدون بازخورد انسانی به حال خود رها شود، سوگیری‌های کوچک، توهمات و خطاها می‌توانند به داده‌های اساسی برای آموزش رویدادهای هوش مصنوعی بعدی تبدیل شوند و موارد لبه ناپدید شوند و مدل هوش مصنوعی داده‌های اساسی خود را فراموش کند. با این حال، توسعه دهندگان به طور منظم داده های سنگین بیشتری را برای جلوگیری از این اتفاق تزریق می کنند.

همچنین رویکرد یادگیری تقویتی از بازخورد انسانی (RLHF) وجود دارد، روشی آموزشی که در آن متخصصان انسانی خروجی های مدل هوش مصنوعی را برای همسویی با مقادیر و اولویت های اعلام شده ارزیابی می کنند. این مدل از این فرآیند یاد می‌گیرد تا خروجی‌هایی ارائه دهد که با نیت انسان همخوانی داشته باشد، نه تنها بر قوانین سخت‌کد شده تکیه کند.

یادگیری تقویتی از بازخورد انسانی (RLHF) در مرحله پس از آموزش اتفاق می افتد، پس از اینکه مدل برای ایجاد دانش پایه، پیش آموزش را پشت سر گذاشت و به دنبال آن مرحله تنظیم دقیق نظارت شده (SFT) که به مدل می آموزد پاسخ ها را به درستی قالب بندی کند و مانند یک دستیار عمل کند. سپس، RLHF وارد می شود تا مدل پایه را با ارزش های انسانی تراز کند.

هیچ استراتژی گلوله نقره ای برای پرداختن به فرسایش معنایی در مدل های هوش مصنوعی وجود ندارد. در عوض، توسعه‌دهندگان روش‌های مختلفی را که به تفصیل توضیح داده‌ایم، ترکیب می‌کنند. فرآیند گسترده آموزش هوش مصنوعی هرگز واقعا به پایان نمی رسد، حتی زمانی که بیشتر کارها در مرحله اولیه انجام می شود، بنابراین فرسایش معنایی همیشه یک مسئله ماندگار خواهد بود که باید مورد توجه قرار گیرد. خوشبختانه، توسعه‌دهندگان استراتژی‌هایی را برای رسیدگی به آن و حفظ دقیق مدل‌ها تا حد امکان به اثبات رسانده‌اند.