شبکه های عصبی تمیز هستند

فکر می کنم خبرهای خوبی در مورد ماهیت شبکه های عصبی دارم.

پس از ماه‌ها مطالعه نورون‌ها و مدارها در مدل‌های تصویر و زبان، به این باور رسیدم که مکانیسم‌های خود یک شبکه، بلوک‌های سازنده خوانا آن هستند، و اینکه چشم‌انداز تفسیرپذیری مکانیکی ممکن است بسیار بهتر از آن چیزی باشد که می‌ترسیدم. شواهد متعارف چند معنایی و برهم نهی که بسیاری از حوزه‌ها، از جمله من را متقاعد کرد که شبکه‌ها مفاهیم را خودسرانه بسته‌بندی می‌کنند، اشتباه خوانده شد. چیزی که شبیه بسته بندی دلخواه به نظر می رسید، بیشتر موتیفی بود که من آن را تعمیم بازگشتی می نامم، که بسیار کمتر نگران کننده است.

این بدان معناست که ما می توانیم شبکه ها را مستقیما مطالعه کنیم، به جای اینکه ابتدا آنها را باز کنیم. شبکه های عصبی در حال حاضر تمیز هستند.

حداقل دو راه برای نزدیک شدن به تفسیرپذیری مکانیکی وجود دارد. اولین مورد، علم عادی سریع در خود شبکه است: به نورون ها و مدارهای شبکه نگاه کنید، نحوه ارتباط آنها را مطالعه کنید، جریان داده ها را از طریق آنها مشاهده کنید، و آزمایش هایی را در مقیاس عاملی برای آزمایش توضیحات انجام دهید. دومی از فهرستی از ویژگی‌های فرضی شروع می‌شود و سعی می‌کند همه آنها را استخراج کند، اهداف بازسازی پیچیده‌تر را طراحی می‌کند و معمولا اصل را نادیده می‌گیرد.

این میدان با رویکرد اول آغاز شد و به رویکرد دوم بازگشت، زیرا به نظر می‌رسید شبکه‌های عصبی گره‌های درهم‌تنیده‌ای دارند. ما نمونه‌های متعارفی از نورون‌های چند معنایی داشتیم، نام گسترده‌ای برای نورونی که به نظر می‌رسد چندین شغل نامرتبط دارد یا درک آن غیرممکن به نظر می‌رسد. معروف ترین آنها در یک مدل تصویری هم به صورت گربه ای و هم به جلوی ماشین ها پاسخ می داد. و آخرین لایه ارگانیسم مدل اولیه میدان اولیه، InceptionV1، آنقدر پر از مخلوط های دلخواه به نظر می رسید که نحوه مطالعه آن مشخص نبود: تقریبا هیچ یک از نورون ها به راحتی قابل تفسیر نبودند.

توضیح اصلی برای چند معنایی، برهم نهی بود. این یک اصل یادگیری جدید را پیشنهاد کرد: هنگامی که یک شبکه عصبی از تعداد نورون‌های خود به پایان می‌رسد، از گروه‌بندی چیزهای مرتبط با یکدیگر دست می‌کشد و در عوض شروع به تا کردن چیزهای نامرتبط با هم می‌کند، صرفا به این دلیل که تداخلی ندارند. نتیجه یک نوع گره است: شبکه می‌توانست به روش‌های تقریبا به همان اندازه خوب جمع شود، بنابراین چیزهایی که یک نورون با هم گروه‌بندی می‌کند تقریبا چیزی به شما نمی‌گوید. قبل از اینکه بتوانید چیزی را مطالعه کنید، باید گره را باز کنید.

در عمل، این به معنای آموزش یک مدل دوم - تجزیه‌ای مانند رمزگذار خودکار پراکنده - برای تقریب‌سازی شبکه به‌طوری که به نظر می‌رسد آشکار شده است و در عوض مطالعه آن است. اگر شبکه واقعا گره خورده باشد، ممکن است هیچ جایگزینی وجود نداشته باشد.

یکی از نتایج اصلی این است که برهم نهی توضیح اشتباهی برای InceptionV1 بود. مشکلات معماری باعث سرریز شدن لایه های بعدی شد. ابزارهای ضعیف تفسیرپذیری این مشکلات را تشدید کردند و لایه‌های آخر را نامنسجم جلوه دادند. از آن زمان، تغییرات معماری که برای کمک به یادگیری بهتر لایه‌های عمیق طراحی شده‌اند، تأثیر ناخواسته‌ای در تفسیرپذیرتر کردن آن‌ها داشته است. وقتی برای اولین بار InceptionV1 را مطالعه کردیم، تقریبا هیچ نورون قابل تفسیری در آخرین لایه آن نیافتیم.

اما با این پیشرفت‌های معمولی، و بدون تغییر در اندازه مدل یا داده‌های آموزشی، 99 تا 100 درصد نورون‌ها در لایه آخر به راحتی قابل تفسیر هستند و مدل به‌طور گسترده در تمام طول مسیر خوانا است. این اولین شبکه عصبی غیر پیش پا افتاده ای است که احساس می کنم بیشتر آن را درک می کنم. می توانید آن را در اینجا مرور کنید. من نسخه هایی از آن را در محدوده 300× در اندازه آموزش دادم و در هر مقیاسی به طور گسترده خوانا است. با فضای کمتر، شبکه چیزهای نامرتبط را با هم جمع نمی کند. نورون‌های آن فقط مفاهیم درشت‌تری را پوشش می‌دهند، مانند یک نورون خودرو که انواع مختلفی از خودروها را پوشش می‌دهد.

با فضای بیشتر، آن نورون به بسیاری از اتومبیل های خاص متمایز می شود. بنابراین مشکل وجود یک اصل یادگیری دوم نبود، فقط یک شکست معمولی یادگیری اولی بود، و رفع آن آسان است.

نمونه‌های دید متعارف چند معنایی و برهم نهی نیز خطا بودند. در سال 2019، من و کریس اولا مداری را پیدا کردیم که در ابتدا به عنوان پدیده برهم نهی در Zoom In [4] معرفی شد. Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. مراجع ↓ . این یک ویژگی ماشین را نشان داد که به نظر می رسید در مجموعه ای از نورون های سگ نامرتبط پخش می شود. این تنها موردی بود که نشان دادیم و تنها چیزی بود که تا به حال دیدم.

ما آن را به‌عنوان شبکه‌ای خواندیم که ماشین را در یک مخفیگاه با ابعاد بالا قرار می‌دهد تا نورون‌های پایین‌دست بازخوانی کنند. اما هیچ چیز آن ترکیب را نمی خواند. چیزی را پنهان نمی کرد؛ تعمیم و ترکیب معمولی بود. تا آنجا که من می دانم، هیچ کس مدار دومی با شکل درست منتشر نکرده است.

مدل‌های زبان مدرن نیز بسیار بیشتر از آنچه تصور می‌شود قابل تفسیر هستند. Anthropic’s Towards Monosemanticity [10] Towards Monosemanticity: Decomposing Language Models With Dictionary Learning Bricken, T., Templeton, A., Batson, J., et al., 2023. Transformer Circuits Thread. مراجع ↓ (2023)، با مطالعه یک مدل کوچک یک لایه، به نورون میانه از 14 ممکن، 0 را در روبریک خود داد، به این معنی که رتبه‌دهنده نمی‌تواند هیچ فرضیه‌ای ایجاد کند. پروژه تفسیرپذیری خودکار [8] مدل‌های زبانی می‌توانند نورون‌ها را در مدل‌های زبانی توضیح دهند Bills, S., Cammarata, N., Mossing, D., et al., 2023.

OpenAI. منابع ↓ من در OpenAI شروع کردم (همچنین در سال 2023) حدود 1.7٪ از نورون ها را با سخاوتمندانه ترین معیارهای ما تفسیر کردم.

با ابزارهای بهتر و مدل های مدرن، وضعیت کاملا متفاوت به نظر می رسد. در ممیزی های اولیه Qwen3-32B، ما تخمین می زنیم که تقریبا 90٪ از قطب های نورون یک کار اصلی دارند، اغلب با شاخه های کوچک مرتبط. حدود 7 درصد دیگر دو شغل مرتبط دارند. و فقط 2-4٪ هنوز درک نشده است. 1 نکته در مورد این عدد: سهم نورون ها با یک کار بسته به نحوه تعیین آستانه برای شمارش فعال سازی های ضعیف، عمق، تراکم مدارهای فرعی و آنچه که به عنوان "یک چیز" می بینید متفاوت است. در اینجا چقدر باید به سمت فعال سازی ضعیف رفت. بخشی وجود دارد که فعال‌سازی‌های ضعیف را در زیر توضیح می‌دهد.

تمایل دارد تعداد «چیزهای مرتبط» را افزایش دهد، بیش از اینکه نورون قضاوتی درباره چیزی خوانا باشد. برای مثال، فعال‌سازی ضعیف نورون ترامپ، کلاه‌های MAGA و افراد مرتبط با او را به همراه می‌آورد. فعال‌سازی ضعیف نورون تایتانیک داستان‌هایی از سفرهای عمومی‌تر یا موتورهای بخار و سایر فناوری‌های آن دوران را به همراه دارد. همچنین این سوال وجود دارد که آیا به صدک‌های فعال‌سازی اهمیت می‌دهیم یا کسری از قوی‌ترین فعال‌سازی‌ها. به طور کلی من فکر می کنم آنچه که نورون می آموزد باید مورد اعتماد باشد، پراکندگی طبیعی و محدوده فعال سازی آن و غیره.

که من اکثرا باور نمی کردم! من تا حدودی مخالف تلاش برای استانداردسازی اشیا در همه نورون‌ها هستم. من فکر می‌کنم امروزه صدک‌ها رایج‌تر هستند، زیرا فکر کردن به آن‌ها راحت‌تر است. به سمت دیگری هم می رود. به عنوان مثال، وقتی به «مشاغل نامرتبط» نورون تایتانیک نگاه می‌کنید، اغلب متوجه می‌شوید که «قایق» بعدی است. ابزار این مورد را از دست داد زیرا در هنگام قضاوت در مورد زمینه فقط به عقب نگاه می کرد. وقتی عمیقا به این "شغل های نامرتبط" نگاه می کنیم، تقریبا همیشه این گونه است. ساختن یک ابزار ناقص آسان است.

به طور کلی، من فکر نمی کنم رسیدن به یک امتیاز در واقع آنقدر مهم باشد. اما زمانی که آن را بیرون آوردند، منتقدان اولیه بدون حتی یک عدد تقریبی، احساس بی‌ثباتی کردند. در مجموعه‌هایی که من دقیق‌تر به آنها نگاه کردم، با توجه به فعال‌سازی‌های قوی، به 97٪ مخلوط‌های غیرخودسرانه نزدیک‌تر است، اما اینها نمونه‌های نسبتا کوچکی هستند. تقطیر کلی همه چیز در یک امتیاز «پاکیزگی» باید به‌عنوان یک نشانگر گسترده برای رژیمی که یک شبکه عصبی در آن قرار دارد در نظر گرفته شود، نه چیزی دقیق برای بهینه‌سازی مستقیم یا محکم نگه داشتن آن.

بسیاری از این مقاله برای کاهش ابعاد کمتر، برخورد متفاوت با هر نورون و مدار، با توجه به نقش، عمق، نقش و غیره است. با وجود این، یک عدد تقریبی می تواند مفید باشد. . مدل‌های متراکم و ترکیبی از کارشناسان تقریبا مشابه به نظر می‌رسند. ما نتایج مشابهی را در مدل‌هایی با تریلیون‌ها پارامتر، مانند Kimi K3، یافتیم که مقاله همراه با جزئیات بیشتری به آن‌ها می‌پردازد.

این درصدها یک تصویر با ابعاد بالا را به چند عدد فشرده می‌کنند، و عدد دقیق بستگی به این دارد که در کجا آستانه‌هایی را برای آنچه به‌عنوان «یک چیز» به حساب می‌آید تنظیم کنید - مانند اینکه اصطلاحات نزدیک به هم را در دو زبان کنار هم قرار دهید. من فکر نمی‌کنم که تفسیرپذیری زیاد به این سؤال وابسته باشد. آنچه بسیار مهم است این است که چرا چیزها در وهله اول یک نورون مشترک دارند.

به نظر می رسد بیشتر چند معنایی ظاهری باقی مانده، موتیفی است که من آن را تعمیم بازگشتی می نامم. ساده است: همانطور که یک نورون رشد می کند، مانند شاخه های درختی که شاخه های فرعی جوانه می زند، جوانه می زند. به عنوان مثال، یکی از نورون‌هایی که «iy» را شناسایی کرد، رشد کرد تا «diy» را تشخیص دهد، و سپس «آن را خودتان انجام دهید» که اصلا حاوی «iy» نیست. این ایده برای اولین بار در بخش فراموش شده مقاله ای به نام نورون های چندوجهی [3] نورون های چندوجهی در شبکه های عصبی مصنوعی Goh, G., Cammarata, N., Voss, C., et al., 2021. Distill ظاهر شد. مراجع ↓ (2021).

در آن زمان، من رشد نورون ها را در طول تمرین مشاهده نکرده بودم. اکنون آسان‌تر است، و در هر جایی که دیده‌ام قابل اجراست. حتی InceptionV1 اصلی نیز گره خورده نبود. وقتی معماری اصلی آن را که هنوز لایه‌های عمیق درهم و برهم ایجاد می‌کند، دوباره آموزش می‌دهم، و نورون‌هایی که کمترین خوانایی را می‌توانم پیدا کنم را دنبال می‌کنم، معلوم می‌شود که آنها به صورت محلی بیش از حد رشد می‌کنند و در قلمروی منطقی و مجاور رشد می‌کنند.

بنابراین دو توضیح برای چند معنایی بودن وجود داشت و من به پیشنهاد هر دو کمک کردم. از برخی جهات، آنها متضاد هستند: تعمیم چیزهای مشابه را با هم گروه بندی می کند و برهم نهی چیزهای غیر مرتبط را با هم گروه می کند. برهم نهی همان چیزی است که میدان روی آن شرط بندی می‌کردم و تا همین اواخر من هم همینطور بودم. اما اکنون فکر می‌کنم تعمیم بازگشتی اساسا درست بود. در نهایت یک اصل یادگیری باقی می ماند. هنوز هم تعمیم است، اما به نظر می رسد تعمیم فراکتال است.

این موضوع بسیار کمتر نگران کننده است: چیزی برای یادگیری از نحوه گروه بندی اشیا وجود دارد، و چیزی برای یادگیری از دو مورد در برهم نهی وجود دارد. و از آنجایی که تعمیم به خودی خود فراکتال است، توضیحات ما نیز می تواند باشد: با یک توضیح اولیه شروع کنید، سپس زمانی که می خواهید بیشتر متوجه شوید بزرگنمایی کنید. از این نظر، اگر به اندازه کافی دقیق نگاه کنیم، تقریبا کل شبکه قابل تفسیر است، به خصوص اگر به نحوه رشد آن در طی آموزش نگاه کنیم.

چرا فاصله اینقدر زیاد بود؟ من فکر می کنم چندین مشکل معمولی ترکیب شدند. مدل‌های توضیح‌دهنده 2023 نتوانستند حلقه حدس و آزمایش را اجرا کنند. ابزارها و معیارها ضعیف بودند، توضیحات مفیدی که می‌توانستند فعال‌سازی‌ها را شبیه‌سازی کنند تا مواردی که درست هستند، که اغلب از هم جدا می‌شوند. هیچ‌کس نمی‌دانست که موتیف‌های نورون‌های زبانی را باید انتظار داشت، و مردم به طور گسترده به دنبال چیزهای اشتباه بودند. و بیشتر مطالعات از مدل های کوچک یا ساده شده استفاده می کردند. به یک معنا، آن مدل‌ها واقعا جای خود را نداشتند، که باعث برهم‌نهی توضیح طبیعی شد.

اما شبکه کوتاه در اتاق اصول یادگیری را تغییر نمی دهد. نورون‌های آن مانند مدل‌های بینایی کوچک گسترده‌تر می‌شوند. زمانی که بدانید به دنبال چه چیزی باشید، معمولا به راحتی می توان نورون های وسیع را تجزیه کرد. بدون این دانش، و با ابزارهای ابتدایی، آنها مانند مخلوط های دلخواه به نظر می رسند.

تفسیرپذیری شتاب شگفت‌انگیزی دارد: مانند یک پازل یا جدول کلمات متقاطع، هر درکی که به دست می‌آورید شروع به محدود کردن بقیه سیستم می‌کند. در ابتدا، شما به یک نورون واحد نگاه می کنید. اگر نمی‌توانید آن را درک کنید، چیز دیگری کمک می‌کند: مدارها و نمودارهای اسناد فقط یک نورون را بر حسب نورون‌های دیگری که هنوز درک نکرده‌اید توضیح می‌دهند. این می تواند شروع را سخت کند. با این حال، هنگامی که نقشه شروع به پر شدن می کند، به طرز شگفت انگیزی خوب پیش می رود.

اگر دقیقا نمی‌دانید یک نورون دقیقا چه کاری انجام می‌دهد، می‌توانید مطالعه کنید که به چه چیزی متصل می‌شود، اکوسیستم اطرافش، و - در یک مدل ترکیبی از متخصصان - متخصص آن در چه چیزی تخصص دارد. همانطور که در کنار هم قرار گرفتن یک پازل، هر قطعه سرنخ‌های زیادی دارد، و ساختار خوبی دارند و آزمایش‌ها بر روی آنها آسان است. به همین دلیل است که تقریبا خالی و اکثرا پر شده مکان‌های شگفت‌انگیزی نیستند. آنها لنگرهای طبیعی هستند

نورونی را در نظر بگیرید که «حس درستی وقتی که یک خرید مقرون به صرفه بهتر از جایگزین گران قیمت کار می کند» را ردیابی می کند. نورون هایی که یک احساس یا نشانه اجتماعی مانند این را دنبال می کنند، از رایج ترین مواردی هستند که ما پیدا کرده ایم. تصور کنید این یکی را بدون دانشی از نقوش نورون زبان و مدارهایی برای تکیه بر آن بیابید، زیرا تعداد کمی از نورون های همسایه هنوز توضیح داده شده اند. بیشتر انسان‌ها و عوامل از نورون‌ها انتظار دارند که اسم‌ها را با شلیک روی آن‌ها شناسایی کنند، که اکثرا چنین نمی‌کنند. به جایی که این یکی با شدت بیشتری شلیک می کند، نگاه کنید، و انبوهی از کاماهای به ظاهر نامرتبط را می بینید.

حالا تصور کنید نقشه عمدتا پر شده است. می‌دانید که بسیاری از نورون‌ها احساسات ظریف یا زمینه‌های اجتماعی را تشخیص می‌دهند، و آنها اغلب نه بر روی کلماتی که حامل احساس هستند، بلکه بر روی علائم نقطه‌گذاری شلیک می‌کنند، مانند کاما، جایی که مدل معنای جمله را خلاصه می‌کند، یا روی کلمه درست قبل از اینکه احساس برای پیش‌بینی اتفاقات بعدی اهمیت داشته باشد. بنابراین شما به جای آن جملات اطراف را می خوانید و تأثیرات فرمان آن (آنچه که مدل هنگام چرخاندن نورون به بالا می نویسد) را بررسی می کنید، که از نزدیک در یک ردیف قرار می گیرند. شما در بالادست به نحوه ساخت آن و پایین دست به آنچه که انجام می دهد نگاه می کنید و هر دو در یک ردیف قرار می گیرند.

شما قطب منفی آن را بررسی می کنید، چه چیزی آن را به شدت منفی می کند، و یک نوع ظریف از همان نشانه یا لحظه ای که بافت اجتماعی به پایان می رسد، پیدا می کنید. می‌توانید آزمایش‌های خاصی را انجام دهید، مانند بررسی اینکه به کدام مارک فروشگاه پاسخ می‌دهد. هر یک از اینها می تواند توضیح را به هم بزند، اما همچنان به همان مکان اشاره می کنند. و درک این نورون موتیف گسترده‌تر را واضح‌تر می‌کند: پس از هزاران آشکارساز حس ظریف و زمینه اجتماعی، شما شروع به دانستن اینکه از بعدی چه انتظاری دارید، می‌کنید، که بخشی از این است که چرا نقشه هر چه سریع‌تر پر می‌شود.

روی ابزارها هم کار می کند. وقتی می‌توانید 2 درصد از یک شبکه را ببینید، نمی‌توانید بگویید کجا ابزارهای شما خراب شده‌اند. وقتی می توانید بیشتر آن را ببینید، باقی مانده غیرقابل توضیح مستقیما به آنها اشاره می کند. اینگونه بود که من و برخی از همکاران یک رژیم منفی دوگانه را در نورون های SwiGLU یافتیم که تا آنجا که ما می دانیم، هیچ کس متوجه آن نشده بود و احتمالا تجزیه ای که بسیاری از نورون ها را با هم مخلوط می کند پنهان می کند.

خبر بد در مورد شبکه های عصبی مدرن این است که آنها بسیار زیاد هستند. خبر خوب این است که بزرگی کمک می کند: همانطور که نقشه پر می شود، هر توضیحی به شدت توسط همه چیز در اطراف آن محدود می شود و مدل های بزرگتر نورون های باریک تری را می آموزند که در وهله اول تشخیص آنها آسان تر است.

از این نظر، درک کل شبکه ممکن است ساده تر از درک بخش هایی باشد که بیشتر به آنها اهمیت می دهیم. اول، سخت است که بدانید چگونه مانند یک شبکه عصبی فکر کنید تا زمانی که آن را از نزدیک مطالعه نکرده باشید. به عنوان مثال، «فریب» یک چارچوب اولیه مفید است، اما بلوک‌های سازنده‌ای که به رفتار فریبنده مدل‌ها کمک می‌کنند، احتمالا ساختار ریز مرتبط با هم‌ترازی دارند که بدون وارد کردن و نگاه کردن به آن‌ها تشخیص آن سخت خواهد بود. دوم، هدف قرار دادن مجموعه کوچکی از مکانیسم ها مانند کار کردن روی یک ردیف از جدول کلمات متقاطع خالی است.

این کار شدنی است و ممکن است کارساز باشد، اما بدون گذرگاه ها سخت است که بدانید درست می گویید یا خیر. ممکن است حل کل موضوع آسان‌تر باشد - یا حداقل بخش‌های وسیع‌تری از شبکه که این مکانیسم‌ها به آن متصل می‌شوند.

وقتی این فرآیند را روی شبکه‌های کانولوشن مدرن اجرا کردم، اساسا کار می‌کرد. عوامل می توانند نورون ها و مدارها را ترسیم کنند، میکروسکوپ های قابل کاوش بسازند و آنها را کاوش کنند، توضیحات را به طور کامل آزمایش کنند و صدها هزار نمودار اسناد را ردیابی کنند. هرگز نقطه ای وجود نداشت که علم عادی سریع شکست بخورد. اکنون احساس می‌کنم اساسا این مدل‌ها را درک می‌کنم، حداقل به اندازه‌ای که بدانم سؤالی که داشتم از کجا شروع کنم. در نهایت، جدول کلمات متقاطع به تازگی پر شده است. تا کنون در مدل های زبان نیز کار کرده است، تا تریلیون ها پارامتر.

آنها به دلیل اندازه زیاد به حل نزدیک نیستند، اما من به مقیاس پذیری روند خوشبین هستم.

همه اینها مرا به یک امید قدیمی بازگرداند: درک مستقیم یک شبکه عصبی، با مطالعه مکانیسم‌های آن و داده‌های جریان یافته بین آن‌ها، بدون اینکه ابتدا تلاشی برای رفع یا باز کردن آن داشته باشم. در مجموع، استدلال چهار مرحله دارد.

این الگو برای یادگیری عمیق به طور کلی بوده است: چیز ساده در مقیاس پوچ، هوشمندانه را شکست می دهد. ریچ ساتون آن را درس تلخ نامید [22] درس تلخ ساتون، آر.، 2019. ایده های ناقص. مراجع ↓ . شاید یک درس تلخ برای تفسیرپذیری نیز وجود داشته باشد: مقیاس‌بندی تحقیقات معمولی مهندسی یک تجزیه جدید هوشمندانه را شکست می‌دهد.

یک مقاله همراه فنی شرح مفصل تری از آزمایشات نورون مدل زبان ارائه می دهد، مانند آنچه که ما در مورد رژیم های مختلف غیرخطی های مدرن و انواع موتیف های مدار در اعماق مختلف نشان داده ایم. این مقاله به مکان‌های زیادی نگاه می‌کند و حدس‌هایی در مورد اینکه همه اینها ممکن است به کجا اشاره داشته باشد، می‌پردازد.

معروف ترین نورون چند معنایی 4e:55 از InceptionV1 است که شبیه ترکیبی دلخواه از گربه ها و ماشین ها بود. این به عنوان مدرکی ارائه شده است که نورون ها ممکن است واحد مطالعه مناسبی در چندین مقاله پرخواننده این زمینه نباشند، از تجسم ویژگی [1] تجسم ویژگی Olah, C., Mordvintsev, A. and Schubert, L., 2017. Distill. منابع ↓ در سال 2017 به بزرگنمایی [4] بزرگنمایی: مقدمه ای بر مدارها Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. مراجع ↓ .

در Zoom In، که من هم‌نویسنده آن بودم، صریح گفتیم که «به برخی از مشترکات ماشین‌ها و صورت گربه‌ها پاسخ نمی‌دهد». 2 در نورون های چندوجهی ما بسیار به هم نزدیک شدیم. ما پرسیدیم که آیا نورون ممکن است به برخی از ویژگی‌های مشترک پاسخ دهد، «شاید چشم‌های گربه و چراغ‌های ماشین شبیه به هم باشند»، سپس از روی سبیل و کروم تجسم ویژگی به این نتیجه رسیدیم که «واقعا OR (گربه، ماشین) است. ما حق داشتیم به دنبال شکل مشترک بگردیم، اما فکر می‌کنم ما تا چه حد به تعمیم می‌رسد دست کم گرفتیم. ویژگی مشترک V بود.

من فکر می کنم سبیل ها ما را گمراه کردند زیرا تعمیم در الگوهای سطح بالا اتفاق می افتد. نورون V واقعا مدار گربه را می گیرد و وظیفه تجسم ویژگی افزایش فعال سازی است، بنابراین هنگامی که مسیر گربه را پیدا کرد، هر چیزی را که مسیر به ارمغان می آورد اضافه می کند. سبیل ها برای سوار شدن همراه می شوند، حتی اگر نورون آنها را "نخواهد". در پایین دست، خوانندگان خودرو سیگنال گربه کوچکی را از طریق نورون V دریافت می کنند، اما به سختی به خروجی می رسد: شلیک یک آشکارساز گربه به خودی خود کار کمی انجام می دهد، زیرا بسیاری از آنها با هم کار می کنند، بنابراین شبکه هرگز برای لغو آن نیاز به وزن منفی ندارد.

برای دیدن الگوی مشترک، باید آنچه را که ورودی های نورون مشترک هستند، تجسم کنید، نه نورون به تنهایی.

پس از ماه‌ها مشاهده نورون‌های تمیز، به این فکر کردم که آیا برخی از نمونه‌های برجسته اولیه چند معنایی و برهم نهی را اشتباه تفسیر کرده‌ایم. نورون چند معنایی متعارف مکان آشکاری برای بررسی به نظر می رسید، بنابراین شبکه تصویر گربه و ماشین را که قبلا صدها بار دیده بودم باز کردم و کاری را انجام دادم که هرگز انجام نداده بودم: چند ثانیه به این فکر کردم که این ممکن است چه چیزی باشد. تقریبا فورا واضح بود: این یک نورون گربه و ماشین نیست، یک نورون V شکل است.

به اتصالات مدارش نگاه کردم: شعله های V شکل، فواره های آب V شکل از یک قایق آتش نشانی، روباه های V شکل. من به قطب منفی آن نگاه کردم: یک O، گرد جایی که V اشاره شده است. چرا باید ترکیبی دلخواه از گربه ها و ماشین ها به شدت به شعله وصل شود؟

سپس به مدار برهم نهی متعارفی رفتم که برای اولین بار در سال 2019 پیدا کردم. 3 آن را در حین ساختن اولین رابط مدارهایم پیدا کردم، که فقط دارای تجسم ویژگی و وزن هایی بود که نورون های آنها را به هم متصل می کرد. سپس آنها را نزد کریس اوله بردم و پرسیدم که چرا ماشین اینطور به داخل این سگ ها می رود. ما به این نتیجه رسیدیم که باید در حال انجام نوعی تا شدن باشد و آن را برهم نهی نامیدیم. این توضیحی بصری برای آنچه دیدیم بود، بنابراین باعث نشد بیشتر در ابزارها غوطه ور شویم، که هک پاداش تجسم ویژگی و موارد مختلف دیگر را آشکار می کرد.

قرار گرفتن آن در فضایی با ابعاد بالا مانند یک پاسخ معقول به نظر می رسد. . نورون V و این مدار Zoom In [4] Zoom In: An Introduction to Circuits Olah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020 بودند. Distill. مراجع ↓ دو نمونه اصلی از این است که چرا تصویر آن از نورون ها، که تقریبا همه آنها قابل درک است اگر جدی نگاه کنید، ممکن است "بیش از حد گلگون" باشد.