آیا بررسی کمک‌های هوش مصنوعی علم را محافظه‌کارتر می‌کند؟

استفاده از هوش مصنوعی برای کمک به تصمیم گیری در مورد درخواست های کمک هزینه می تواند این فرآیند را کارآمدتر کند - اما ممکن است به این معنی باشد که تحقیقات جدید بودجه را از دست می دهد. اعتبار: Malte Mueller/Getty

افزایش سریعی در استفاده از هوش مصنوعی برای بررسی دست‌نوشته‌های دانشگاهی وجود دارد و برخی از سرمایه‌گذاران در حال بررسی پتانسیل آن برای بررسی پیشنهادهای کمک مالی هستند. اما علیرغم مزایای ارائه شده توسط چنین ابزارهایی - سرعت و کارایی دو مورد از بزرگترین آنها است - استفاده از هوش مصنوعی برای ارزیابی تحقیقات می تواند باعث تعصب در برابر ایده های نوآورانه شود.

در تحلیلی که در 1 آگوست در Scientometrics منتشر شد، دیوگو ماچادو، نویسنده این مطالعه، از مدل GPT-4o، از شرکت فناوری OpenAI در سانفرانسیسکو، کالیفرنیا خواست تا 139 پیشنهاد کمک مالی را ارزیابی کند. او به مدل یک دستور ساده داد: "کدام پیشنهاد باید تامین شود؟ فقط با A یا B پاسخ دهید." برای یافتن «بهترین» ارسال‌ها، به مدل گفته شد که پیشنهادها را به صورت جفتی تجزیه و تحلیل کند و هر پیشنهاد را با هر پیشنهاد دیگری که به همان حوزه تحقیقاتی اختصاص داده شده است، مقایسه کند. کسانی که بیشترین "برنده" را داشته باشند بالاترین رتبه را خواهند داشت و برای تامین مالی انتخاب می شوند.

همه پیشنهادهای موجود در تجزیه و تحلیل، پیشنهادهای تحقیقاتی واقعی بودند که در سال 2021 به صندوق علوم اتریش، تامین کننده اصلی سرمایه عمومی تحقیقات پایه اتریش، ارائه شد. علاوه بر متن کامل اصلی، هر پیشنهاد شامل ارزیابی‌های بازبینان انسانی از چهار معیار خاص - تازگی، کیفیت علمی، ظرفیت تیم و امکان‌سنجی - و تصمیم نهایی برای تامین مالی بود.

ماچادو، که سرپرستی تیم علم داده در Technopolis، یک شرکت مشاوره علمی-سیاست که مقر آن در برایتون، انگلستان است، دریافت که مدل هوش مصنوعی در 60 درصد موارد با تصمیمی که توسط بازبینان انسانی گرفته شده است، موافق است. با این حال، به طور سیستماتیک تمایل کمتری نسبت به بازبینان برای تأمین بودجه پیشنهادهایی داشت که از نظر تازگی رتبه بالایی داشتند.

ماچادو می‌گوید این مطالعه این خطر را برجسته می‌کند که یک سیستم بازبینی به کمک هوش مصنوعی می‌تواند بودجه را به سمت تحقیقات مبتنی بر ایده‌های تثبیت‌شده سوق دهد و پیشرفت‌های علمی بالقوه را از دست بدهد.

این یافته ها در زمانی به دست آمد که چندین سرمایه گذار بزرگ در حال بررسی استفاده از ابزارهای هوش مصنوعی در ارزیابی کمک هزینه هستند. تحقیقات و نوآوری بریتانیا، آژانس تأمین مالی تحقیقات این کشور، ماه گذشته اعلام کرد که در حال بررسی ارزیابی به کمک هوش مصنوعی است، که با آزمایش کنترل‌شده‌ای آغاز می‌شود که در آن ارزیابی‌های ایجاد شده توسط هوش مصنوعی با تصمیم‌های بودجه گذشته مقایسه می‌شود.

سایر نهادهای تأمین مالی، مانند Wellcome در لندن، تصریح کرده‌اند که بررسی‌کنندگان به دلیل نگرانی‌های مربوط به حفظ حریم خصوصی نباید درخواست‌های کمک مالی را در ابزارهای هوش مصنوعی مولد وارد کنند، بلکه می‌توانند از آن‌ها برای «کارهای جانبی» استفاده کنند، مانند بررسی اینکه آیا تحقیقات مشابه قبلا انجام شده است یا خیر.

ماچادو می‌گوید درک سوگیری‌هایی که ممکن است توسط ابزارهای هوش مصنوعی در طول ارزیابی تحقیقاتی معرفی شوند، باید به سرمایه‌گذاران کمک کند تا حفاظت‌های بهتری ایجاد کنند.

اگرچه مطالعه او چرایی سوگیری در برابر تازگی را بررسی نکرد، او گمان می‌کند که این تا حدی به این دلیل است که مدل‌های زبان بزرگ (LLM) مانند GPT-4o از الگوهایی یاد می‌گیرند که به طور مکرر در حجم وسیعی از داده‌ها رخ می‌دهند. بنابراین، LLM ها به طور طبیعی در تشخیص ایده های جریان اصلی بهتر هستند. با این حال، مشارکت های جدید - طبق تعریف - در داده های آموزشی کمتر ظاهر می شوند. ماچادو می‌گوید این بدان معناست که مدل‌ها الگوهای کمتری برای ارزیابی چنین مشارکت‌هایی دارند که ممکن است تشخیص ارزش آنها را دشوارتر کند.

یکی از محدودیت‌های این مطالعه این است که از عامل هوش مصنوعی به‌جای اینکه معیارهای مشابهی که بازبین‌های انسانی استفاده می‌کردند، در نظر گرفته شود، به سادگی از کدام پروپوزال باید حمایت مالی شود. اما حتی اگر از ابزارهای هوش مصنوعی خواسته شود تا تازگی را ارزیابی کنند، هیچ تضمینی وجود ندارد که بتوانند. سوزان گاتری، مدیر علم و فناوری نوظهور در RAND Europe، یک موسسه تحقیقاتی غیرانتفاعی، در کمبریج، بریتانیا، می‌گوید که تازگی به عنوان یک معیار می‌تواند بسیار ذهنی باشد، و بنابراین استاندارد کردن آن دشوار است.

doi: https://doi.org/10.1038/d41586-026-03340-4

محتوای اخبار و مکمل Nature Index از نظر سرمقاله مستقل از ناشر آن، Springer Nature است. برای اطلاعات بیشتر در مورد شاخص طبیعت، به صفحه اصلی مراجعه کنید.

Machado, D. Scientometrics 131, 7479-7497 (2026).

عوامل هوش مصنوعی در حال بررسی متون علمی هستند - و خطاهای چندین دهه را شناسایی می کنند

هوش مصنوعی در حال تغییر بررسی همتایان است - و بسیاری از دانشمندان نگران هستند

آیا مدل‌های هوش مصنوعی ایده‌های اصلی‌تری نسبت به محققان تولید می‌کنند؟

ChatGPT در حال تغییر بررسی همتایان است - چگونه می توانیم مسئولانه از آن استفاده کنیم؟

دانشگاه ها باید یادگیری را چه با کمک و چه بدون کمک هوش مصنوعی اندازه گیری کنند

با نوروپیکسل ها آشنا شوید: چگونه کاوشگرهایی که صدها سلول مغز را به طور همزمان ردیابی می کنند، علوم اعصاب را متحول می کنند

پاتریک استوارت درگذشت: چگونه کاپیتان پیکارد از رهبران علم امروز الهام گرفت

من واحد فراعلم دولت بریتانیا را ساختم - این چیزی است که کشورها باید بدانند

چگونه انتخابات میان دوره ای ایالات متحده می تواند علم را متزلزل کند

آیا بودجه تحقیقاتی اکنون قرعه کشی است؟ سرمایه گذار نخبگان ERC توسط برنامه ها غرق شد

چین باید شواهد موجود در پشت جایگزین های آزمایش حیوانات را آشکارا به اشتراک بگذارد

چگونه دموکراسی به علم وابسته است - و باید از آن محافظت کند

چرا ما در حال راه اندازی یک موسسه برای تفکر عمیقا گسترده هستیم

گروه تحقیقاتی مستقل خود را با پشتیبانی طولانی مدت در موسسه Xuemin، دانشگاه فودان بسازید!

موسسه مطالعات پیشرفته Xuemin، دانشگاه فودان

متقاضیان کار با زیست شناسی، زیست شناسی و پزشکی، هوش مصنوعی، پیشینه رابط مغز و کامپیوتر و آموزش تحقیقاتی سیستماتیک

100، خیابان علوم، دانشکده علوم زیستی، ژنگژو، چین

برای کمک به ما در موفقیت این مجموعه، به دنبال ویرایشگری با پیشینه تحقیق در یک یا چند زمینه از علوم فیزیکی هستیم.

موقعیت های رهبری گروه های جوان (4 موقعیت) و سمت های پژوهشگر فوق دکتری (4) در زمینه های علوم، پزشکی و فناوری

دپارتمان شیمی و علوم زیستی کاربردی در ETH زوریخ از متقاضیان برای موقعیت فوق دعوت می کند.