Circuit Breaker Labs امیدوار است که هوش مصنوعی را برای فرزندان شما (و شما) ایمن تر کند.

آخرین روز برای نمایش موفقیت خود برای بیش از 10000 رهبر فناوری در 2 اکتبر است. میز نمایشگاه کتاب هم اکنون.

با همه صحبت هایی که در مورد اینکه چگونه هوش مصنوعی ممکن است روزی همه ما را بکشد، به راحتی می توان فراموش کرد که هوش مصنوعی قبلا برای برخی تهدید کننده زندگی بوده است، نه از طریق سلاح های زیستی، بلکه از نظر روانی.

برای مثال، Character.AI اوایل سال جاری چندین پرونده مرگ نادرست را که توسط خانواده‌های کاربران زیر سن قانونی که پس از تعامل با ربات‌هایش بر اثر خودکشی جان خود را از دست داده بودند، حل و فصل کرد. چندین خانواده همچنین از OpenAI به دلیل نقش ادعایی ChatGPT در خودکشی و توهمات عزیزانشان شکایت کرده اند.

ایمن‌تر کردن هوش مصنوعی در بین زبان‌ها و فرهنگ‌ها، مأموریت Circuit Breaker Labs، یکی از فینالیست‌های سال 2026 استارتاپ Battlefield 200 TechCrunch است. (Circuit Breaker در TechCrunch Disrupt، که در Moscone West در سانفرانسیسکو از 13 تا 15 اکتبر 2026 برگزار می شود، راه اندازی خواهد شد.)

بنیانگذاران شیرالی و آرول نیگام که خواهر و برادر هستند، توسط سوئل ستزر، پسر 14 ساله ای که وابستگی عاطفی به چت ربات Character.ai پیدا کرد و افکار خود را در مورد آسیب رساندن به خود قبل از خودکشی اعتراف کرد، برانگیختند. ربات چت، که والدین در شکایتی در سال 2024 ادعا کردند، او را تشویق کرد. آرول نیگام، مدیر ارشد فناوری Circuit Breaker Labs، گفت: ممکن است ربات متوجه نشده باشد که کلماتی مانند "من می خواهم با تو باشم" واقعا به چه معناست.

نیگام گفت: "بسیاری از مردم، به ویژه جوانان، برای حمایت به این سیستم ها مراجعه می کنند و معمولا واقعا کمک مورد نیاز خود را دریافت نمی کنند. اما در بسیاری از موارد، به طور فعال آسیب می بینند و متأسفانه مردم قبلا جان خود را گرفته اند." «آن دسته از آسیب‌پذیری‌های ایمنی، که در آن افراد لزوما تلاش نمی‌کنند تا سیستم را بشکنند - آنها به روشی طبیعی درگیر هستند - و سیستم دارای آلودگی زمینه‌ای است یا تفاوت‌های ظریف را درک نمی‌کند، و سپس اقدامات بسیار خطرناکی انجام می‌دهد، ما سعی می‌کنیم از آن جلوگیری کنیم.»

Circuit Breaker Labs عوامل هوش مصنوعی ایجاد کرده است که آنها را به ارتشی از آدمک های آزمایش تصادف تشبیه می کند. این عوامل از افراد مختلف از هر سنی، پیشینه‌ها، زبان‌ها، فرهنگ‌ها تقلید می‌کنند و برای آزمایش مدل‌هایی در مورد توانایی آن‌ها در تشخیص تعاملات خطرناک و مضر روان‌شناختی استفاده می‌شوند.

شیرعلی نیگام، مدیر عامل شرکت Circuit Breaker Labs، می‌گوید: «روشی که یک دختر شش ساله در مقابل یک مرد 45 ساله، یا کسی که انگلیسی را به عنوان زبان اول در مقابل زبان دوم صحبت می‌کند، یا ... عامیانه گیمر در مقابل شخص دیگری که از نوع دیگری از زبان عامیانه استفاده می‌کند، واقعا می‌توانند به یک مدل دست بزنند.» مدل‌ها در مدیریت الگوهای گفتاری استاندارد واقعا خوب هستند، اما هیچ‌کس واقعا اینطور صحبت نمی‌کند و بنابراین اگر مدل تفاوت‌های ظریف یا عامیانه را اشتباه متوجه شود، می‌تواند واقعا بد پیش رود.»

این استارت‌آپ با کارشناسان حوزه انسانی کار می‌کند تا شبیه‌سازی‌های کاربری فوق‌العاده واقعی خود را بسازد تا آزمایش‌های «تیم قرمز» را علیه مدل‌ها اجرا کند، که آزمایش‌های متخاصم برای کشف نقاط ضعف هستند. این تست ها به گونه ای ساخته شده اند که الگوهای گفتار واقعی انسان، عامیانه، زبان رمزگذاری شده و اشتباهات املایی را منعکس کنند. سپس Circuit Breaker Labs ده ها هزار تا صدها هزار تعامل شبیه سازی شده را در روز اجرا می کند.

ایده این است که اطمینان حاصل شود که یک مدل می تواند به طور مناسب به تعاملات مخاطره آمیزی که ممکن است در طول زمان ظاهر شوند و بسیاری از مکالمات پاسخ دهد. Circuit Breaker Labs سپس از یک روش امتیازدهی اختصاصی استفاده می کند که امتیازات قابل بازرسی و قابل توضیح ایجاد می کند.

Circuit Breaker Labs در حال حاضر به‌عنوان یک آزمایشگاه تست ایمنی هوش مصنوعی برای برنامه‌های هوش مصنوعی پرخطر مانند مربیگری هوش مصنوعی، ژورنالینگ، یا سایر برنامه‌های پشتیبانی سلامت روان فعالیت می‌کند، اگرچه آرول نیگام از ذکر نام مشتریان خیمه شب بازی خودداری کرد. اگرچه این استارتاپ یک محصول فعال دارد، اما در مراحل اولیه است و تنها پنج کارمند از جمله خواهر و برادر نیگام دارد.

با این حال، در نهایت، پلتفرم آزمایشی می‌تواند برای هر اپلیکیشنی که ممکن است فردی در حفره «روان‌پریشی هوش مصنوعی» بیفتد، استفاده شود، جایی که انسان در خطر ایجاد یک رابطه فرا اجتماعی با یک ربات چت است. به عنوان مثال می توان به عوامل "همکار" هوش مصنوعی اشاره کرد که پاسخ آنها می تواند از یک تعامل به تعامل دیگر متفاوت باشد.

آرول نیگام گفت: «مردم نسبت به هوش مصنوعی بدبین تر می شوند یا نسبت به پذیرش آن در سراسر جهان مقاومت می کنند.

Circuit Breakers Labs معتقد است که پاسخ به این ترس ها ایمن تر کردن هوش مصنوعی است. ما می خواهیم به ایجاد این اعتماد برای مردم کمک کنیم.»

بیایید درباره Circuit Breaker Labs و بسیاری دیگر از استارت‌آپ‌های نوآور که توسط TechCrunch در مسابقه Startup Battlefield ما که در مرکز شهر سانفرانسیسکو در تاریخ 13 تا 15 اکتبر برگزار می‌شود، بررسی شده‌اند، اطلاعات بیشتری کسب کنید.

وقتی از طریق پیوندهای موجود در مقالات ما خرید می کنید، ممکن است کمیسیون کمی کسب کنیم. این بر استقلال تحریریه ما تأثیر نمی گذارد.

گوگل فکر می کند استارشیپ اسپیس ایکس باید 1800 بار قبل از اینکه مراکز داده فضایی از زمین خارج شوند تیم فرنهولز

گوگل Gemini 4 Argon را منتشر کرد که قدرتمندترین مدل خود را Lucas Ropek می نامند

پنتاگون از ایلان ماسک و پالمر لاکی استفاده می کند تا به تصمیم گیری در مورد اینکه ارتش بعدی دومینیک مادوری دیویس چه کاری باید انجام دهد کمک کند.

تعهد امضا شده توسط پرزیدنت ترامپ و رهبران ارشد هوش مصنوعی، دومینیک-مادوری دیویس ایالات متحده را اشتباه می‌نویسد.

OpenAI Dots را راه‌اندازی می‌کند، نماد عامل حباب‌انگیز خود Lucas Ropek