راه حل های ریاضی OpenAI هنوز با استانداردهای این رشته مطابقت ندارند

هنگامی که OpenAI صدها راه‌حل ادعایی برای برخی از سخت‌ترین مسائل ریاضی جهان را در این هفته منتشر کرد، آزمایشگاه مرزی گفت که با یک گروه مشاوره‌ای از ریاضیدانان نخبه مشورت کرده است تا از بحث و جدل‌هایی که با آخرین باری که یکی از مدل‌هایش یک مشکل قدیمی را در این زمینه حل کرد، جلوگیری کند.

اما OpenAI از آن استانداردها کوتاهی کرد، به ویژه در جایی که ریاضیدانان بر نیاز به درک انسانی از یک نتیجه ریاضی تأکید کردند. این امر به ویژه پس از اینکه مقاله جدیدی شکاف های بین زبان طبیعی و راه حل رسمی برای یک مشکل میلیون دلاری را که ظاهرا توسط مدل های OpenAI حل شده است، برجسته کرد، نگران کننده است.

گروه مشاوره در ریاضیات و هوش مصنوعی که توسط موسسه مطالعات پیشرفته دانشگاه پرینستون برگزار می شود، متشکل از 9 محقق برجسته در موسسات در سراسر جهان است.

این سازمان دستورالعمل‌هایی را برای آزمایشگاه‌های مرزی برای حل مسائل ریاضی در پایان سپتامبر منتشر کرد. AGMAI در بیانیه‌ای درباره آخرین مجموعه شواهد، گفت: «در نهایت به جامعه ریاضی بستگی دارد که میزان موفقیت توصیه‌های ما را ارزیابی کند.»

با این حال، اولین درخواست این سازمان «توقف آزمایش مسائل ریاضی پیشرفته بر روی مدل‌های اختصاصی» بود. انتشار OpenAI به صراحت می گوید که مدل های اختصاصی خود را با استفاده از مسائل تحقیق باز در ریاضیات ارزیابی می کند.

گروه مشاوره وقتی از TechCrunch برای ارزیابی دقیق‌تر آخرین نسخه اثباتی OpenAI درخواست شد، پاسخی ندادند. این آزمایشگاه به وضوح برخی از اصول خود را دنبال کرد، از جمله انتشار نتایج در اسرع وقت و شامل اطلاعاتی در مورد چگونگی رسیدن مدل ها به نتیجه گیری. اما نه برای همه آنها: فقط ده نسخه از 719 نسخه خطی شامل انتشار زنجیره فکری مدل بود.

برای مقالاتی که مردم نمی‌فهمند، ریاضیدانان پیشنهاد کردند که اثبات‌ها باید رسمی شوند – اما فقط ۴۲ درصد از شواهد منتشر شده توسط OpenAI این فرآیند را طی نکرده بودند.

در نهایت، هنوز مشخص نیست که OpenAI مطابق با اصول AGMAI "مسئولیت اطمینان از اینکه درک انسانی را دنبال می کند" در هنگام انتشار مدارک آن بر عهده می گیرد. AGMAI پیشنهاد کرد که OpenAI باید به کار ریاضیدانان انسانی کمک کند تا راه‌حل‌های آزمایشگاه را به هر طریق واقعی معنادار کنند.

ترنس تائو، ریاضیدان برجسته ای که پس از انتشار این رویکرد در رسانه های اجتماعی انتقاد کرده است، می نویسد: «مشکلات به طور مستقل توسط اعلان کننده های هوش مصنوعی حل می شوند که پس از حل شدن هدف اولیه خود، هیچ علاقه ای به خود حوزه وسیع تر ندارند، و خروجی هوش مصنوعی را به اندازه کافی خوب درک نمی کنند تا به سؤالات در مورد نتیجه پاسخ دهند، صحبت کنند یا با بقیه زمینه تعامل داشته باشند.

این مشکل با مقاله ای که این هفته توسط ریاضیدانان دانشگاه کمبریج و کالج کینگ در لندن منتشر شد، نشان داده شده است که روشی را که آزمایشگاه های مرزی به این چالش ها نزدیک می کنند، زیر سوال می برد.

وقتی مدل‌های هوش مصنوعی مسائل ریاضی را حل می‌کنند، ابتدا یک توضیح «زبان طبیعی» ایجاد می‌کنند، سپس سعی می‌کنند آن نتیجه را در Lean بیان کنند، یک زبان برنامه‌نویسی که در تئوری صحت اثبات را با کامپایل کردن آن به صورت کد تأیید می‌کند.

با این حال، ممکن است مشکلاتی در نحوه ترجمه مدل‌ها اثبات زبان طبیعی خود به کد وجود داشته باشد. این مقاله حداقل دو تناقض بین اثبات زبان طبیعی و کد ناب پشت راه‌حلی را که OpenAI برای مسئله‌ای به دست آمده از معادلات ناویر-استوکس که رفتار پیچیده سیالات را توصیف می‌کند، ارائه کرده است، مستند می‌کند.

این اختلافات لزوما هیچ یک از راه‌حل‌ها را رد نمی‌کنند، اما سؤالاتی را ایجاد می‌کنند که آیا می‌توانیم به سادگی به مدل‌ها برای رسمی کردن راه‌حل‌های خود بدون دخالت انسان تکیه کنیم. این یکی از دلایلی است که AGMAI از OpenAI خواسته است که «فراداده‌های قابل خواندن ماشینی را که زبان طبیعی و مصنوعات رسمی را به هم مرتبط می‌سازد، شامل شود»، کاری که آزمایشگاه مرزی با این نسخه‌ها انجام نداد.

نویسندگان مقاله «گمشده در ترجمه» نتیجه می‌گیرند: «به دلیل پدیده ترجمه‌های نادرست - همانطور که در این مقاله مشخص شد - اثبات NL توسط OpenAI و سایر اثبات‌های ناب خودکار رسمی‌شده در ابتدا نباید بدون همان فرآیند بررسی همتا و بررسی دقیقی که سایر شواهد تحت آن قرار می‌گیرند، اعتماد کرد.

ریاضیدانان تاکید می کنند که وقتی نتایج جدید توسط انسان کشف می شود، مسئولیت آن را بر عهده می گیرند و از طریق مقالات، گفتگوها و سمینارها با جامعه گسترده تر درگیر می شوند. این فرآیند درک راه‌حل‌ها را افزایش می‌دهد، راهبردهایی را پیدا می‌کند که می‌توان از آنها برای حل مشکلات دیگر استفاده کرد و اجازه می‌دهد دانش جدید در زمینه‌های عملی به کار رود.

ملانی وود، استاد ریاضیات دانشگاه هاروارد، به تک‌کرانچ گفت: وقتی از مدلی خواسته می‌شود یک مشکل سخت را حل کند و راه‌حلی را ارائه می‌کند، «در نقطه‌ای که منتشر می‌شود، درک انسانی از آن‌ها وجود ندارد و اکنون کار شروع می‌شود».

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

ترامپ از نیروی ابر اطلاعاتی جدید خود آنتونی ها رونمایی کرد

قاضی فدرال، آنتونی ها را "نظارت جمعی بی رویه" می نامد

آمازون در پاسخ به عکس العمل مرکز داده، می گوید دیگر از NDA آنتونی ها استفاده نمی کند

کارمند ایمنی OpenAI با این ادعا که آنتونی ها «فرهنگ شرکت شکسته است» استعفا داد

متا می‌خواهد ابزار بعدی شما Kirsten Korosec باشد