این هوش مصنوعی الگوهایی را در فعالیت بصری مغز پیدا کرده و آنها را به تصویر تبدیل می کند

یک ابزار هوش مصنوعی (AI) می‌تواند از اسکن‌های مغزی برای بازسازی تصاویری که مردم با دقت وهم‌آوری نگاه می‌کنند، استفاده کند.

این سیستم که Brain-IT نام دارد، از داده های تصویربرداری تشدید مغناطیسی عملکردی (fMRI) برای اندازه گیری فعالیت در قشر بینایی، بخشی از مغز که ورودی های بینایی را پردازش می کند، استفاده می کند. سپس یک مدل کامپیوتری هم طرح گسترده یک تصویر و هم اطلاعات سطح بالا در مورد محتوای آن را پیش‌بینی می‌کند. محققان در مطالعه‌ای که در پایگاه داده پیش‌چاپ arXiv آپلود شد، توضیح دادند که این پیش‌بینی‌ها را به یک تولیدکننده تصویر هوش مصنوعی منتقل می‌کند. این تحقیق در کنفرانس ICLR 2026، که در 23 تا 25 آوریل برگزار شد، ارائه شد و توسط نویسندگان آن در سپتامبر منتشر شد.

Brain-IT مبتنی بر رویکردی به نام رمزگذار جهانی مغز است. این مدل با یک تصویر شروع می‌شود و سپس پاسخ fMRI را پیش‌بینی می‌کند که در "وکسل‌های" منفرد - واحدهای کوچک سه‌بعدی - در یک اسکن مغزی انتظار می‌رود.

رومن بلی، نویسنده اول مطالعه، کاندیدای دکترا در دپارتمان علوم کامپیوتر و ریاضیات کاربردی در موسسه علوم وایزمن در اسرائیل، گفت: ایده کلیدی این است که هر وکسل، یک مکعب کوچک از بافت مغز، بردار آموخته شده خود را دریافت کند که آنچه را که برایش مهم است در تصاویر ثبت می کند.

برخی از وکسل‌ها ممکن است روی عناصر نسبتا ساده یک تصویر، مانند لبه‌ها، بافت‌ها یا مکان‌ها تنظیم شوند. دیگران ممکن است به مقوله‌های انتزاعی سطح بالاتری مانند چهره‌ها، بدن‌ها یا صحنه‌ها پاسخ دهند.

نگاه کردن به درون ذهن شما

سیستم‌های سنتی تصویر به fMRI معمولا برای هر شرکت‌کننده و مجموعه داده آموزش داده شده‌اند. رمزگذار مغز جهانی انعطاف پذیرتر است. بر اساس این مطالعه، از داده‌های افراد متعدد یاد می‌گیرد و می‌تواند اطلاعات را بین شرکت‌کنندگان، مجموعه داده‌ها یا سیستم‌های MRI مختلف با قدرت میدان مغناطیسی متفاوت انتقال دهد.

یک وکسل می تواند بر اساس نمایه آموخته شده اش تعیین کند که کدام قسمت های یک تصویر با آن مرتبط است و اساسا می گوید: "من لبه ها را تشخیص می دهم. کدام قسمت های این تصویر لبه هستند؟"

رمزگذار جهانی مغز با یک تصویر شروع می شود و فعالیت مغز را پیش بینی می کند. Brain-IT با اندازه گیری فعالیت مغز شروع می شود و تصویری را که فرد دیده است بازسازی می کند. به عبارت دیگر، می پرسد "بر اساس این فعالیت مغز، سوژه به چه چیزی نگاه می کرد؟" هزاران اندازه گیری اسکن مغزی کوچک از قشر بینایی را بر اساس انواع اطلاعات بصری که تمایل به حمل دارند به 128 گروه دسته بندی می کند.

بلی توضیح داد که سیستم سپس به آن گروه‌ها اجازه می‌دهد تا سرنخ‌هایی را با یکدیگر به اشتراک بگذارند و به آن‌ها اجازه می‌دهد، برای مثال، اطلاعات مربوط به شکل صحنه، رنگ و اشیاء احتمالی را ترکیب کنند تا تصویر کامل‌تری از تصویر بسازند.

رمزگشا دو نوع پیش بینی بصری تولید می کند. یکی اطلاعات معنایی را می گیرد - ویژگی های مرتبط با آنچه در یک صحنه محتمل است. برای مثال، برای تصویری از سگی که در چمن ایستاده است، این شامل مواردی مانند ویژگی‌های یک سگ و فضای باز و چمن‌دار است. دیگری اطلاعات ساختاری، مانند طرح بصری گسترده یا نحوه چیدمان فرم ها را به تصویر می کشد.

در مثال بالا، این جنبه هایی مانند طرح کلی سگ یا جایی است که در قاب قرار گرفته است. پیش‌بینی ساختاری به مولد یک نقطه شروع برای تصویر می‌دهد، نه اینکه از نویز خالص شروع کند، در حالی که اطلاعات معنایی یک مولد تصویر را هدایت می‌کند که باقی مانده استاتیک را تا زمانی که تصویر ظاهر شود، حذف می‌کند.

اگرچه ابزار جدید می تواند آنچه را که مردم می بینند بازسازی کند، اما نمی تواند خاطرات یا صحنه های خیالی را بازتولید کند.

میکال ایرانی، یکی از نویسندگان این مطالعه، دانشمند کامپیوتر در موسسه علوم وایزمن، به لایو ساینس گفت: "ما افکار مردم را نمی خوانیم." "تصاویری که ما موفق به بازیابی از fMRI می‌شویم نیازمند همکاری افراد و همکاری کامل در نظر گرفته شده است."

تصویر اصلی یک بازی بیسبال (سمت چپ) و بازسازی (راست) که توسط مدل Brain-IT AI بر اساس فعالیت مغز فردی که تصویر را مشاهده می کند، ایجاد شده است. (اعتبار تصویر: Brain-IT) چگونه دانشمندان این مدل را آزمایش کردند

تصاویر مصنوعی Brain-IT با تصاویری که شرکت کنندگان دیدند مقایسه شد. نویسندگان این مطالعه نوشتند که Brain-IT از روش‌های پیشرو پیشین در معیارهای استاندارد بازسازی هدف پیشی گرفت و نتایج وفادار تری تولید کرد. هنگامی که داده‌های fMRI محدود از یک شرکت‌کننده جدید در دسترس بود، سیستم می‌درخشید، و تنها یک ساعت از داده‌های یک شرکت‌کننده جدید نتایجی را به همان دقت روش‌های قبلی که روی 40 ساعت ضبط آموزش دیده بودند، تولید می‌کرد.

با این حال، یک خروجی با امتیاز بالا یا واقعی نباید با یک کپی کامل از آنچه که کسی دیده است اشتباه گرفته شود.

در مرحله نهایی پردازش، سیستم از یک ژنراتور انتشار خارج از قفسه استفاده می کند که بر روی تعداد زیادی تصویر آموزش دیده است. مدل‌هایی مانند این تصاویر قابل قبولی تولید می‌کنند و می‌توانند بافت‌ها را صاف کنند، ویژگی‌های صورت را واضح‌تر کنند یا جزئیات از دست رفته را پر کنند.

بلی گفت که این «زیباسازی» می‌تواند بازسازی‌ها را صیقلی‌تر و قانع‌کننده‌تر کند و جزئیاتی را معرفی کند که لزوما از خود داده‌های مغز ناشی نمی‌شوند. به عبارت دیگر، اسکن تصویر تولید شده را محدود می کند، اما مدل هوش مصنوعی بخشی از واقع گرایی خود را از الگوهای آموخته شده در عکس ها تامین می کند.

چرا این رمزگشایی حافظه نیست

در حالی که سیستم جدید نتایج قابل توجهی را برای تصاویر دیده شده ایجاد می کند، نمی توان از آن برای بازسازی یک تصویر تصور شده یا به یاد ماندنی استفاده کرد.

ایرانی می‌گوید: «Brain-IT بر نحوه پردازش مغز یک تصویر دیده شده متکی است. "اطلاعات از چشم ها به قشر بینایی اولیه و به بعد از طریق یک سری مناطق بصری که اشیا و صحنه ها را تشخیص می دهند، جریان می یابد."

داستان های مرتبط

«رمزگشای مغز» هوش مصنوعی تنها با یک اسکن مغزی سریع و تقریبا بدون آموزش می‌تواند افکار افراد را بخواند.

ایمپلنت مغزی ذهن خوان تقریبا بلافاصله افکار را به گفتار تبدیل می کند

ایمپلنت مغزی جدید می تواند "تک گویی درونی" فرد را رمزگشایی کند.

در یک آزمایش کنترل‌شده، محققان همچنین می‌دانند دقیقا کدام تصویر نشان داده شده است و در طول آموزش و ارزیابی به مدل هدف می‌دهد. در مقابل، خاطرات و تصاویر تخیلی همان مرجع تمیزی را ارائه نمی دهند. ایرانی گفت که آنها می توانند مبهم باشند و توسط شبکه های مغزی درگیر در حافظه و فکر شکل بگیرند، تنها با فعال شدن مجدد جزئی و ضعیف تر مناطق بینایی. یکی از محدودیت‌هایی که مانع از به کارگیری گسترده این فناوری می‌شود این است که تنها راه برای دستیابی به نتایج قابل اعتماد، اسکن fMRI است که دست و پا گیر و گران است.

این تیم در حال حاضر در حال آزمایش با استفاده از داده‌های الکتروانسفالوگرام (EEG) با قابلیت جمع‌آوری آسان‌تر هستند که از طریق الکترودهای روی سر به دست می‌آید، اما به گفته ایرانی، این کار در مراحل اولیه است.

این سیستم جدید می تواند به محققان مغز کمک کند تا درک بهتری از اطلاعات بصری در مناطق مختلف مغز، نحوه تعامل آن مناطق و نحوه تفاوت الگوهای افراد داشته باشند. چنین ابزارهایی در نهایت می‌توانند تفاوت‌هایی را در پردازش بصری نشان دهند که می‌تواند به پزشکان در تشخیص شرایط عصبی، رشد عصبی و روانپزشکی کمک کند.

ایرانی گفت: کاربردهای پزشکی بسیار مفیدی وجود دارد که ما در حال حاضر به دنبال آن هستیم. اینها شامل استفاده از رمزگذار/رمزگشای مغز ما برای تشخیص و تجزیه و تحلیل اختلالات مغزی مانند ام اس، PTSD، اوتیسم و ​​اختلالات روانپزشکی است.