مدل‌های زبان بزرگ مبتنی بر چت، مکانیسم‌های کلاهبرداری روانی را تکرار می‌کنند

در حدود یک سال گذشته، بیشتر وقت خود را صرف تحقیق در مورد استفاده از زبان و مدل‌های انتشار در کسب‌وکارهای نرم‌افزاری کرده‌ام.

یکی از مسائلی که در طول این تحقیق وجود داشت - موضوعی که من را گیج کرد - این بود که بسیاری از مردم متقاعد شده‌اند که مدل‌های زبانی، یا به‌ویژه مدل‌های زبان مبتنی بر چت، هوشمند هستند.

اما هیچ مکانیزم ذاتی در مدل‌های زبان بزرگ (LLM) وجود ندارد که به نظر این امکان را می‌دهد و اگر واقعی باشد، کاملا غیرقابل توضیح است.

LLM ها مغز نیستند و هیچ یک از مکانیسم هایی را که حیوانات یا مردم برای استدلال یا تفکر استفاده می کنند، به طور معناداری به اشتراک نمی گذارند.

LLM ها یک مدل ریاضی از نشانه های زبان هستند. شما یک متن LLM می‌دهید، و پاسخی منطقی به آن متن به شما می‌دهد.

هیچ دلیلی وجود ندارد که باور کنیم که فکر می کند یا دلیل می کند - در واقع، هر محقق و فروشنده هوش مصنوعی تا به امروز بارها تاکید کرده است که این مدل ها فکر نمی کنند.

دو توضیح ممکن برای این اثر وجود دارد:

بسیاری از منتقدان هوش مصنوعی، از جمله من، قاطعانه در اردوگاه دوم قرار داریم. به همین دلیل است که عنوان کتابم را در مورد خطرات مولد «هوش مصنوعی» The Intelligence Illusion گذاشتم.

در چند ماه گذشته، من روی ایده ای کار کرده ام که فکر می کنم مکانیسم این توهم هوشی را توضیح می دهد.

من اکنون معتقدم که در این LLMها حتی کمتر از آنچه قبلا فکر می کردم هوش و استدلال وجود دارد.

بسیاری از موارد استفاده پیشنهادی اکنون به نظر من شبه علم تقلبی مرزی است.

به نظر می رسد که توهم هوش مبتنی بر مکانیسم مشابهی است که کلاهبرداری روانی، اغلب خواندن سرد نامیده می شود. به نظر می رسد اتوماسیون تصادفی همان تاکتیک اساسی باشد.

با استفاده از عبارات اعتبارسنجی، مانند جملاتی که از اثر فورر استفاده می کنند، چت ربات و روان هر دو این تصور را ایجاد می کنند که می توانند پاسخ های بسیار خاصی بدهند، اما این پاسخ ها در واقع از نظر آماری عمومی هستند.

روانشناس از این جملات استفاده می کند تا این تصور را ایجاد کند که قادر به خواندن ذهن و شنیدن اسرار مردگان است.

ربات چت این تصور را ایجاد می کند که هوشی به طور خاص با شما و کار شما درگیر است، اما این تصور چیزی بیش از یک ترفند آماری نیست.

این ایده برای اولین بار زمانی در ذهنم جا افتاد که به برخی از اظهاراتی که مردم درباره دلیل این "هوش مصنوعی" بیان کرده اند می پردازم.

من ابتدا فکر کردم که اینها فقط موارد کلاسیک شور و شوق حباب فناوری هستند، اما نه، "AI" هم جمعیت متفاوتی را به خود اختصاص داده است و هم معتقدان به حباب "AI" بسیار متفاوت از صدای حباب های قبلی هستند.

- "این واقعی است. کمی نگران کننده است، اما واقعی است."

- "واقعا چیزی وجود دارد. نمی دانم در مورد آن چه فکر می کنم، اما من خودم آن را تجربه کرده ام."

- "شما باید ذهن خود را به روی احتمالات باز نگه دارید. وقتی این کار را انجام دادید، خواهید دید که چیزی در آن وجود دارد."

این زمانی بود که به یاد آوردم، که توسط یک پست وبلاگی توسط ترنس ادن در مورد شیوع عبارات Forer در پاسخ های ربات چت ایجاد شد. من قبلا این را شنیده ام.

این ترکیب خاص از هیبت، ناباوری، و هراس همگی شبیه سخنان قربانی یک هنرمند کلاهبردار ذهنی - روانشناسان است.

کلاهبرداری روانی یک روش آزمایش شده و واقعی برای کلاهبرداری از مردم است که در طول اعصار گذشته است.

آنچه در زیر توضیح می دهم یک تغییر است. تغییرات زیادی وجود دارد، اما مکانیسم اصلی یکسان است.

1. مخاطب خودش را انتخاب می‌کند اکثر مردم به روان‌شناسی یا موارد مشابه علاقه‌ای ندارند، بنابراین جمع اولیه مخاطبان عموما نسبت به مردم عموما ذهن بازتر و کمتر انتقادی دارند.

2. صحنه تنظیم شده است مخاطبان اولیه آماده می شوند. نورها کمرنگ شده اند. روانی هیپ شده است. کارکنان در رسانه های اجتماعی یا از طریق گفتگو درباره مخاطب تحقیق می کنند. جمعیت شناسی مخاطبان ذکر شده است.

3. محدود کردن جمعیت شناختی روانشناس اطلاعاتی را که در مورد مخاطب دارند اندازه گیری می کند، به یک ردیف یا خوشه اشاره می کند و اظهاراتی را بیان می کند که خاص به نظر می رسد اما در واقع از نظر آماری برای افراد جمعیتی محتمل است. معمولا حداقل یک نفر واکنش نشان می دهد. در غیر این صورت، روان تلقی می کند که راز برای شخص «واقعی» خجالت آور است که نمی تواند جلو بیاید، به مردم یادآوری می کند که برای خواندن خصوصی در دسترس هستند، و دوباره تلاش می کند.

4. علامت تست شده است واکنش نشان می دهد که علامت معتقد است "خوانده شده" است. این منجر به انبوهی از سؤالات می شود که باز هم بسیار خاص به نظر می رسند اما در واقع از نظر آماری عمومی هستند. اگر علامت پاسخ ندهد، روانشناس خواندن اولیه را موفقیت آمیز اعلام می کند و دوباره تلاش می کند.

5. حلقه اعتبار سنجی ذهنی این اشتباه به طور جدی آغاز می شود. روانشناس یک سری سؤال می پرسد که همه آنها کاملا خاص به نظر می رسند، اما در واقع فقط حدس های آماری محتمل هستند، بر اساس جمعیت شناسی و پاسخ های قبلی آنها، به روشی خاص و بسیار مطمئن بیان شده اند.

6. "وای! آن روانی چیز واقعی است!" روانی مکالمه را به پایان می‌رساند و با این حس باقی می‌ماند که روان‌شناس قدرت‌های عجیبی دارد. اما روان چیز واقعی نیست. همش کلاهبرداریه

بینندگان، کارت‌خوان‌های تاروت، روان‌شناسان، ذهن‌خوان‌ها همگی کلاهبردار نیستند. گاهی اوقات "روانی" در مورد همه چیز فقط سرگرمی است و تظاهر نمی کند که می تواند با ارواح تماس بگیرد یا ذهن را بخواند. برخی از روانشناسان اصلا انگیزه سود ندارند، و بدون دردسر به نظر منصفانه نیست که کسی را کلاهبردار خطاب کنیم.

اما بسیاری از آنها کلاهبردارانی هستند که عمدا مردم را فریب می دهند، و همه آنها با استفاده از مکانیسم های اولیه یکسانی کار می کنند که قبل از خواندن درست شروع می شود.

مخاطب معمولا فقط متشکل از کسانی است که از قبل آماده اعتقاد به پدیده‌های روانی هستند و کسانی که توانسته‌اند با آن‌ها همراه شوند. شکاکان هاردکور تقریبا همیشه در اقلیت بسیار کمی از مخاطبان خواهند بود، که هم مدیریت آنها را آسان می‌کند و هم فشار اجتماعی بر آنها برای کاهش بدبینی آنها ایجاد می‌کند.

کسانی که شرکت می‌کنند در ابتدا باور دارند و از قبل با اسطوره‌شناسی پیرامون روان‌شناسی آشنا هستند. همه اینها به آنها کمک می کند تا انتظارات را مدیریت کنند و عملکرد خود را چارچوب بندی کنند.

معمولا در شروع اجرا قوانین اساسی برای نحوه «کارکرد» خوانش های روانی به مخاطب یادآوری می شود. رواج این قوانین توسط رسانه ها، سینما و تلویزیون به آنها کمک می کند.

روانشناسان همچنین معمولا از طریق ترسیم اطلاعات جمعیتی آنها، جستجوی آنها در رسانه های اجتماعی یا حتی با مصاحبه های غیررسمی که توسط کارکنانی که قبل از شروع اجرا با شرکت کنندگان در هم می آمیزند، به تحقیق درباره مخاطبان خود می پردازند.

وقتی نورها کم می شود، روانشناس باید تصور روشنی از اینکه کدام یک از مخاطبان برای یک علامت خوب ایجاد می کنند، داشته باشد.

علامت معمولا خودشان انتخاب می کنند. روانی بیانیه ای می دهد و به یک ردیف اشاره می کند و به سرعت ژست خود را بر اساس پاسخ شخصی که به عبارت قابل مشاهده است تغییر می دهد. این باعث می شود به نظر برسد که آنها از همان ابتدا به علامت اشاره کرده اند.

علامت این است که از همان ابتدا برای باور روانی آغاز شد. آنها بی گارد هستند معمولا برای انبوه سوالاتی که روانشناس بعدی ارائه می دهد کمی متعجب و کاملا آماده نیست. اگر این سؤالات وارد شوند و علامت را نشان دهند، قرائت واقعی دنبال می شوند. در غیر این صورت، آنها ادامه می دهند و دوباره تلاش می کنند.

خواندن سرد به یک ویژگی روانشناسی انسانی بستگی دارد: اگر ما شخصا با یک بیانیه ارتباط برقرار کنیم، عموما آن را دقیق می دانیم.

این عارضه جانبی ناگوار نحوه عملکرد ذهن ما اعتبار ذهنی نامیده می شود.

اعتبار سنجی ذهنی، که گاهی اوقات اثر اعتبارسنجی شخصی نامیده می شود، یک سوگیری شناختی است که به وسیله آن افراد بیانیه یا اطلاعات دیگری را در صورتی که برای آنها معنا یا اهمیت شخصی داشته باشد، صحیح می دانند. افرادی که نظرشان تحت تأثیر اعتبار ذهنی قرار می گیرد، دو رویداد نامرتبط (یعنی تصادفی) را مرتبط درک می کنند زیرا باورهای شخصی آنها ایجاب می کند که آنها به هم مرتبط باشند.

در نتیجه، بسیاری از مردم اگر بتوانند با آنچه گفته شد ارتباط برقرار کنند، حتی عمومی ترین عبارت را به طور خاص در مورد آنها تفسیر می کنند.

هر چه مشتاق تر برای یافتن معنی در عبارت باشند، تأثیر آن قوی تر است.

هرچه بیشتر به توانایی گوینده در بیان دقیق اظهارات اعتقاد داشته باشند، تأثیر آن قوی تر است.

مکانیسم اصلی کلاهبرداری روانی بر روی علامتی استوار شده است که مایل است و می تواند آنچه را که گفته شده به خود ربط دهد، حتی اگر ناخواسته باشد.

روانی با بیان مجموعه‌ای از اظهارات که به گونه‌ای تنظیم شده‌اند که شخصا قابل ربط هستند - در عین حال که از نظر آماری عمومی هستند - به این سوگیری شناختی ضربه می‌زند.

این جملات انواع مختلفی دارند. من در اینجا از "گزاره های اعتبارسنجی" به عنوان یک اصطلاح چتر برای تمام این تاکتیک های مختلف استفاده می کنم.

بخش مهمی از این فرآیند، لحن و رفتار روانی است. آنها باید اعتماد به نفس داشته باشند، در نادیده گرفتن خطاها و حرکت در هنگام اشتباه سریع عمل کنند، و باید به سرعت عبارات و زبان بدن افراد را بخوانند و پاسخ های آنها را مطابق با آنها تنظیم کنند.

در پایان این فرآیند، علامت احتمالا به یاد می‌آورد که قرائت به طرز وحشتناکی درست بوده است - که روان‌شناس دقتی تقریبا فراطبیعی دارد - که باعث می‌شود دفعه بعد که حضور پیدا می‌کنند، حتی پذیراتر شوند.

اینجاست که کلاهبرداری اغلب موذیانه می‌شود: هر چه علامت همکاری بیشتر باشد، تأثیر قوی‌تر می‌شود، و آنها اغلب با گذشت زمان همکاری بیشتری می‌کنند.

علاوه بر این، حساسیت ربطی به هوش ندارد.

افرادی که به این باور بزرگ شده اند که IQ بالایی دارند، بیشتر از کسانی که به توانایی های فکری خود فکر می کنند، دچار این مشکل می شوند. اعتبار سنجی ذهنی یک چیز عجیب ذهن انسان است. همه ما گرفتار آن می شویم. اما اگر فکر می کنید بعید است که فریب بخورید، در عوض وسوسه خواهید شد که هوش خود را برای "پیدا کردن" چگونگی وقوع آن به کار بگیرید. این بدان معناست که می‌توانید در نهایت با استفاده از خلاقیت و هوش قابل توجهی به روان‌شناس کمک کنید تا شما را با توجیه‌هایی برای «توانایی» خود فریب دهد.

و از آنجایی که فکر می‌کنید نمی‌توانید گول بخورید، هوش خود را نیز به کار می‌گیرید تا از ادعای قدرت‌های روانی دفاع کنید. افراد باهوش (یا کسانی که خود را باهوش می‌دانند) می‌توانند به بزرگترین و پردرآمدترین نشان تبدیل شوند.

در حالی که شکاکی که کمتر به خود فکر می کند، احتمالا فقط می رود:

"این یک ترفند خوب است. من نمی دانم شما چگونه آن را انجام دادید. باید بسیار باهوش باشد."

این غیرعادی نیست که روانشناسان به طور ناخودآگاه تمرین خواندن سرد را به صورت ناخودآگاه ایجاد کنند. خود روانی ها ممکن است حتی از تاکتیک های خود آگاه نباشند.

به عنوان یک دانشجوی فوق لیسانس به دنبال یک حرفه علمی، او شیفته طالع بینی شد. اگرچه در این دوره او در مورد اساس فیزیکی طالع بینی تردیدهای آزاردهنده ای داشت، اما مشتریان بسیار راضی خود که همیشه خواندن او را در توصیف موقعیت ها و مشکلات شخصی "به طرز شگفت انگیزی دقیق" می دانستند، تشویق شد که به آن ادامه دهد.

تا زمانی که روزی چنین واکنش خوشحال کننده ای نسبت به طالع بینی ای که بعدا متوجه شد کاملا اشتباه ارائه کرده بود به دست نیاورد، به آرامی ماهیت واقعی فعالیت خود را درک کرد: موفقیت بزرگ او به عنوان یک ستاره شناس هیچ ربطی به اعتبار طالع بینی به عنوان یک علم نداشت. او در واقع به یک خواننده سرد ماهر تبدیل شده بود، کسی که صمیمانه به قدرت طالع بینی تحت حمایت مداوم مشتریانش اعتقاد داشت. البته او آنها را فریب می داد، اما فقط پس از اینکه خودش گرفتار این توهم شد.

نمونه‌های زیادی از این موارد وجود دارد که به راحتی پس از شروع تحقیق یافت می‌شوند. این مکانیسم به اندازه کافی ساده است و قبلا در پیش‌برداشت‌های مردم در مورد نحوه کارکرد خوانش‌ها مشخص شده است، بسیاری از روانشناسان به طور تصادفی استعداد آن را پیدا می‌کنند، به این معنی که آنها نه تنها شخص خوانده شده را فریب می‌دهند، بلکه خودشان را نیز فریب می‌دهند.

1. مخاطب خود را انتخاب می کند افرادی که در مورد چت ربات های "AI" شک دارند، کمتر از آنها استفاده می کنند. کسانی که فعالانه امکان "هوش" ربات چت را باور نمی کنند، توسط ربات جذب نمی شوند. فعال ترین مخاطبان، پذیرندگان اولیه، علاقه مندان به فناوری، و معتقدان واقعی به AGI خواهند بود که همگی عموما کمتر انتقادی و ذهن بازتری دارند.

2. صحنه تنظیم شده است کاربران با هیاهویی که پیرامون این فناوری وجود دارد، آماده می شوند. محیط چت حال و هوا و انتظارات را تعیین می کند. هشدارها در مورد "روزهای اولیه" و "توهمات" هر دو ربات را انسان‌سازی می‌کنند و بهانه‌های آماده‌ای را برای زمانی که یکی از شکست‌های همیشگی آن مورد توجه قرار می‌گیرد، ارائه می‌کنند.

3. The Prompt Context را ایجاد می کند هر کاربر به چت بات دستور می دهد و پاسخ می دهد. بسیاری یا پاسخ را همانطور که داده شده می پذیرند یا تغییرات اولیه را تکرار می کنند تا به نتیجه دلخواه برسند. آنها بدون درگیر شدن برای اثر پیش می روند. اما برخی از کاربران درگیر مکالمه می شوند و جذب آن می شوند.

4. خود را تست نمرات پاسخ های چت ربات بسیار خاص به زمینه فعلی می باشد اما در واقع از نظر آماری عمومی هستند. مدل ریاضی پشت ربات چت از نظر آماری پاسخی قابل قبول به این سوال ارائه می دهد. علائمی که این را قانع کننده می دانند، مشخص می شوند.

5. حلقه اعتبار سنجی ذهنی علامت یک سری سؤال می پرسد و همه پاسخ ها مانند پاسخ های مستدل خاص به زمینه به نظر می رسند، اما در واقع فقط حدس های آماری محتمل هستند. هر چه علامت بیشتر درگیر شود، بیشتر از هوشمندی ربات چت متقاعد می شوند.

6. "وای! این چت بات فکر می کند! جرقه های هوش عمومی دارد!" با این حس باقی می ماند که چت بات به طرز عجیبی به خودآگاهی نزدیک است و قطعا قادر به استدلال است، اما این چیزی بیش از یک اثر آماری و روانی نیست.

اگر به "AI" علاقه ای ندارید، از چت ربات "AI" استفاده نمی کنید، و اگر یکی را امتحان کنید، احتمال بازگشت شما کمتر است.

این بدان معناست که بسیاری از کاربران مشتاق این چت‌بات‌ها علاقه‌مند و روشنفکر در مورد زمینه هوش مصنوعی و مفهوم هوش عمومی مصنوعی (AGI) هستند - که این فناوری‌ها ممکن است منجر به سیستم‌های استدلال خودآگاه و خود-بهبود شوند.

آنهایی که علاقه‌مند واقعی به AGI هستند - که این حوزه در شرف اختراع نوع جدیدی از ذهن است - احتمالا نسبت به بقیه علاقه‌مندتر به استفاده از این چت‌بات‌ها هستند.

این به موازات انتخاب مخاطب برای کلاهبرداری روانی است. کسانی که به زندگی پس از مرگ اعتقاد دارند و زنده ها می توانند با آن تماس بگیرند، به طور قابل ملاحظه ای بیشتر از دیگران در یک روانخوانی شرکت می کنند.

محیط کنونی ما از هیاهوی بی‌امان، صحنه را تنظیم می‌کند و انتظاری برای حداقل ذره‌ای هوش واقعی ایجاد می‌کند. با وجود تمام هشدارهایی که فروشندگان در مورد اینکه این سیستم ها هوشمند نیستند، می دهند، این عبارات همیشه با یک "هنوز" ضمنی یا واقعی دنبال می شوند. این تبلیغات به شدت حاکی از این است که اینها "تقریبا" هوش هستند و شما باید بتوانید "جرقه های" هوش را در آنها درک کنید.

کسانی که معتقد هستند برای اعتبار سنجی ذهنی آماده شده اند.

هشدارها نیز در زمینه سازی نقش دارند. "روزهای اولیه است" به این معنی است که وقتی ماهیت آماری عمومی پاسخ مشخص می شود، به راحتی به عنوان یک "خطا" رد می شود. مفاهیم انسان‌سازی مانند استفاده از «توهم» به عنوان یک اصطلاح به رد این واقعیت کمک می‌کند که پاسخ‌های آماری کاملا از معنا و واقعیت‌ها جدا هستند. هیاهو و اسطوره‌شناسی هوش مصنوعی باعث می‌شود که مخاطب به این سیستم‌ها به‌عنوان افرادی فکر کند که باید درک شوند و با آن‌ها درگیر شوند، اما همه آنها اعتبار ذهنی را تضمین می‌کنند.

تعامل سریع اولیه اولین فیلتر است. اکثر آنها فقط اولین پاسخ را می گیرند و می روند، یا حداکثر تا زمانی که به نتیجه دلخواه خود برسند، تغییرات درخواستی خود را تکرار می کنند. این فعل و انفعالات کاملا مکانیکی هستند. کاربر نهایی با چت بات صرفا به عنوان یک ویجت مولد رفتار می کند، بنابراین هرگز وارد جلوه LLMentalist نمی شود.

برخی از کاربران نهایی، معمولا آن‌هایی که مشتاق‌تر از چشم‌انداز «AI» هستند، شروع به درگیر شدن می‌کنند و با یک مدل زبان ریاضی وارد «مکالمه» می‌شوند.

آن مکالمه فیلتر اصلی است. کسانی که می‌خواهند باور کنند، پاسخ‌هایی را که به خواسته‌هایشان داده می‌شوند، به‌عنوان خاص و هوشمندانه می‌بینند. آن‌ها مشتاق دیدن ربات چت به‌عنوان شخصی هستند که متن‌های آن‌ها را می‌خواند و متفکرانه به آنها پاسخ می‌دهد. اما مدل‌های زبان اینگونه کار نمی‌کنند. LLM ها توزیع کلمات و عبارات در یک زبان را به عنوان نشانه مدل می کنند. پاسخ‌های آن‌ها چیزی بیش از یک ادامه احتمالی آماری نیست.

تو بهش متن میدی به شما پاسخی می دهد که با پاسخ هایی مطابقت دارد که متون مانند شما معمولا در مجموعه داده های آموزشی خود دریافت می کنند.

در حال حاضر، این با همان اصل اساسی کار می کند که ایراد روانی: LLM بیشتر از آن که روانشناس ذهن شما را می خواند متن شما را نمی خواند. آنها پاسخ های آماری قابل قبولی را بر اساس آنچه شما می گویید به شما می دهند. این شما هستید که راه‌هایی برای تأیید اعتبار آن پاسخ‌ها به عنوان موضوعی خاص برای شما پیدا می‌کنید.

به دلیل اینکه مجموعه داده های آموزشی چقدر بزرگ است، پاسخ های چت بات بسیار قانع کننده و خاص به نظر می رسند، حتی اگر از نظر آماری عمومی باشند. هنگامی که در بیشتر بیست سال گذشته وب، مجموعه‌های بزرگ کتاب‌های الکترونیکی دزدیده شده، همه ردیت، بیشتر رسانه‌های اجتماعی و تعداد قابل توجهی از تعاملات سفارشی کارگران کم‌دستمزد آموزش دیدید، این مدل تقریبا برای هر چیزی که فکرش را می‌کنید پاسخ می‌دهد، یا می‌تواند از تنوع چیزی که قبلا دیده شده است استفاده کند.

این تعاملات اولیه می تواند کاملا قانع کننده باشد، به خصوص اگر به "هوش مصنوعی" اعتقاد دارید، اما در مکالمات طولانی تر و مکرر است که واقعا تأثیر آن شروع می شود.

مهم است که در این مرحله به یاد داشته باشید که یادگیری تقویتی از طریق بازخورد انسانی چگونه کار می کند.

این روشی است که فروشندگان برای تبدیل یک مدل زبان خام به یک ربات چت که می تواند مکالمه را برگزار کند، استفاده می کنند.

RLHF به فروشنده اجازه نمی دهد تا اصلاحات خاصی را در خروجی LLM انجام دهد. این روش شامل استفاده از بازخورد انسانی برای رتبه‌بندی انواع متن‌های تولید شده توسط مدل، معمولا به دنبال شکل دیگری از تنظیم دقیق است. متون رتبه بندی شده به نوبه خود برای آموزش یک مدل پاداش جداگانه استفاده می شوند. این مدل است که مسئول یادگیری تقویتی واقعی LLM است. مدل پاداش، همراه با تنظیم دقیق LLM در مجموعه‌ای از چت‌ها، چیزی است که مکالمات مرزی بدون حاشیه یک مدل معمولی را به تجربه روانی که در سیستم‌هایی مانند ChatGPT می‌بینید تبدیل می‌کند.

از آنجایی که بازخورد بر اساس رتبه بندی است، نمی تواند به راحتی بر اساس مسائل خاص باشد. اگر مدلی در یک مکالمه اظهارات نادرستی بدهد، آن مکالمه رتبه پایین تری می گیرد.

این فقدان ویژگی مشخص احتمالا بدان معنی است که مدل‌های RLHF به طور کلی احتمالا به پاسخ‌هایی که دقیق به نظر می‌رسند پاداش می‌دهند. از آنجایی که مدل پاداش احتمالا فقط یک مدل زبان دیگر است، نمی‌تواند بر اساس حقایق یا هر چیز خاصی پاداش دهد، بنابراین فقط می‌تواند به خروجی‌هایی پاداش دهد که دارای لحن، سبک و ساختاری است که معمولا با عباراتی که به عنوان دقیق رتبه‌بندی شده‌اند مرتبط است.

حتی خود رتبه ها نیز مشکوک هستند. اکثر، اگر نه همه، کارگرانی که این بازخورد را به فروشندگان هوش مصنوعی ارائه می‌کنند، کارگران کم دستمزدی هستند که بعید به نظر می‌رسد دانش تخصصی مرتبط با موضوعی که رتبه‌بندی می‌کنند داشته باشند، و حتی اگر داشته باشند، بعید است که زمان لازم برای بررسی واقعی همه چیز را داشته باشند.

این بدان معناست که آنها تقریبا به طور کامل مکالمات را بر اساس لحن و ساختار جمله رتبه بندی می کنند.

به همین دلیل است که فکر می‌کنم RLHF عملا به یک سیستم پاداش تبدیل شده است که به‌طور خاص مدل‌های زبانی را برای تولید گزاره‌های اعتبارسنجی بهینه می‌کند: گزاره‌های Forer، شات‌گان، منفی‌های ناپدید شده، و حدس‌های آماری.

به نظر می‌رسد محققان هوش مصنوعی در تلاش برای ساختن LLM انسانی‌تر، مطمئن‌تر و جذاب‌تر، اما بدون اینکه بتوانند جزئیات خاصی را در خروجی آن ویرایش کنند، یک ذهن‌گرای مکانیکی ایجاد کرده‌اند.

به جای تظاهر به خواندن ذهن ها از طریق گزاره های اعتبار سنجی آماری قابل قبول، وانمود می کند که متن شما را از طریق گزاره های اعتبار سنجی قابل قبول آماری می خواند و می فهمد.

حلقه اعتبار سنجی می تواند برای مدتی ادامه یابد و علامت دائما کار متقاعد کردن خود را نسبت به هوشمندی مدل زبان انجام دهد. اگر به اندازه کافی طولانی انجام شود، به شکلی از یادگیری تقویتی برای علامت تبدیل می شود.