دستیار نقطه OpenAI بیش از 300 هزار توکن را در یک روز بدون یک درخواست سوزاند.
تستهای Geordie 155 ردیابی فعالیت و چندین عامل فرعی را پس از اینکه به نقطه مجوز فقط خواندنی داده شد، ثبت کرد.
اگر از نقطه OpenAI استفاده می کنید، تعجب نکنید اگر به تنهایی توکن های زیادی مصرف کند. بر اساس گفتههای سازمان امنیت و مدیریت عامل هوش مصنوعی Geordie، یک عامل نقطهای 155 دنباله فعالیت جداگانه تولید کرد و بیش از 300000 توکن مصرف کرد - همه بدون تعامل انسانی بیشتر و همه در طول یک روز. Geordie از زمانی که OpenAI آن را در سپتامبر اعلام کرد و به دنبال Meta Muse و Grok Bot بود، دستیار عامل "همیشه فعال"، dot را آزمایش کرد.
هانا ماری دارلی، مدیر ارشد هوش مصنوعی Geordie، به The Register گفت، با این حال، در مقایسه با سایر عوامل شخصی، نقطه OpenAI "کمی متفاوت به نظر می رسید". "یکی از چیزهایی که ما خیلی سریع کشف کردیم این بود که آنها واقعا، واقعا بدون تعامل با کاربر فعال بودند." برای آزمایش آن، دارلی مجوز فقط خواندن نقطه را داد و آن را به برنامه های شخصی، ایمیل یا سایر برنامه های ارتباطی خود مانند Slack وصل نکرد. ربات به سرعت وارد حالت تحقیق شد و تا حد امکان اطلاعات را جمع آوری کرد و سیستم های نقشه برداری را بررسی کرد.
دارلی گفت: "شما می توانید در مورد آن بسیار فکر کنید مانند یک مدیر پروژه جدید که وارد می شود و به آنچه در آنجا است نگاه می کند، به اطراف نگاه می کند تا ببیند چه دسترسی هایی به آن داده اید، چه دسترسی هایی دارید و همچنین چه نوع سیستم هایی را اجرا می کنید." عامل همه این نقاط داده را در چیزی شبیه به یک ورودی روزانه جمع آوری می کند و به طور مداوم آنها را در طول روز به روز می کند. دارلی گفت: "اگر به آن وظایفی داده باشید، به طور موثر وظایف خود را نیز بررسی خواهد کرد." اما چیزی که واقعا منحصر به فرد بود این بود که این نقطه، عوامل را بدون تعامل با کاربر می چرخاند.
همه اینها به جای یک کار مداوم یا برنامه ریزی شده از طرف کاربر، یا هر درخواست کاربر، توسط نقطه هدایت می شد. "بیش از حد شخصی" و "همیشه فعال" ... چه چیزی ممکن است اشتباه باشد؟ دارلی گفت، بیشتر استفاده از عامل هوش مصنوعی سازمانی معمولا رباتهای سفارشی ساخته میشوند که وظیفه پروژههای تجاری خاص را بر عهده دارند، یا مهارهای عاملی مانند Claude، Codex یا Hero برای مهندسی و کدنویسی به کمک هوش مصنوعی. او در طی مصاحبه ای به ما گفت: «آنها واقعا توسط کارمندانی هدایت می شوند که در حال تعیین اهداف هستند.
اما جالب اینجاست که عوامل شخصی خیلی بیشتر از وظایف خود را تعیین میکنند - و فکر نمیکنم بسیاری از مردم وقتی شروع به بازی با آنها میکنند متوجه این موضوع شوند. این کل ارزش پیشنهادی عوامل شخصی است. رباتهایی مانند Muse و dot بهجای انتظار منفعلانه برای درخواستهای کاربر، هدفشان این است که کارگران دیجیتال فعالی باشند که وظایف چند مرحلهای را انجام میدهند و از طرف کاربران به چندین برنامه، سرویس و حساب متصل میشوند. دارلی گفت: "آنها سعی می کنند بیش از حد شخصی شوند و تا آنجا که ممکن است زمینه و اطلاعات بیشتری در مورد شما جمع آوری کنند تا چیزهایی را به شما توصیه کنند و فعال باشند."
او افزود: «اما معنای آن این است که آنها به طور مؤثر همیشه فعال هستند، در پسزمینه فعالیت میکنند و این دورههای فعال را دارند». به گفته دارلی، به طور خاص، Dot نسبت به سایر عوامل شخصی مانند Muse یا Grok Bot فعال تر است. او اضافه کرد که این لزوما به معنای استفاده بالاتر از توکن نیست. "آنها فقط متفاوت عمل می کنند." به عنوان مثال، نقاط همیشه با حداقل دو عامل در حال اجرا عمل می کنند: عامل اصلی با کاربر تعامل دارد و عامل ثانویه به طور مداوم در پس زمینه اجرا می شود و داده ها را جمع آوری می کند.
نقطه ها و سایر عوامل نیز می توانند زیر عامل ها را برای کارهای خاص بچرخانند. 50 اثر در 2 دقیقه طبق گفته دارلی، از 155 ردیابی عامل نقطه در آزمایش، حداقل 50 مورد از آن ها در مدت دو دقیقه اتفاق افتاد و اکثر آنها در عرض چند ساعت رخ دادند. دارلی گفت: «در یکی از ردیابیهایی که ما تجزیه و تحلیل کردیم، عامل چندین عامل فرعی را ایجاد کرد که عمر کوتاهی داشتند، آنها فقط وظایف خاصی را انجام میدادند و اطلاعات دسترسیهای موجود را که قبلا به نقطه داده شده بود تغذیه میکردند - و هیچ کدام از اینها با کاربر تعامل نداشت.
بخشی از ارزیابی شامل آزمایش یک سیستم توسعه بود و یکی از نقاط یک عامل فرعی را ایجاد کرد که تمام مخازن کد موجود در سیستم را بررسی می کرد. در همین حال، یک عامل فرعی دیگر به طور مداوم تمام داده هایی را که در حین کار پیدا می کرد، موجودی و جمع آوری می کرد. او افزود: «کاربر نمیداند که عوامل فرعی از طرف او کار میکنند. آنها نمیدانند چگونه به آن نمایندگان دسترسی داده شده است، یا وظایف آنها چه بوده است، که واقعا با نحوه عملکرد بیشتر نمایندگان در زمینههای تجاری متفاوت است. 155 ردیابی حدود 307000 توکن برای Geordie هزینه داشت.
سایر درخواست ها بسته به میزان تحقیق انجام شده توسط نقطه، از چند صد توکن تا چندین هزار هزینه دارند. دارلی گفت: «این واقعا جالب است زیرا تحقیقات خود راهبری است. کاربر از او نمی خواهد که این وظایف را انجام دهد - یا از تعدادی نشانه استفاده کند - بلکه نقطه به تنهایی این کار را انجام می دهد. هزینه های Tokenomics Token بسته به مکان کاربر، ردیف اشتراک، ترتیبات قیمت گذاری با تخفیف، هزینه های محاسباتی و سایر شرایط و ضوابط بسیار متفاوت است.
اما برای اهداف بحث ما، تقریبا 200000 توکن مصرف شده توسط یک نقطه بر اساس مدل Astra OpenAI بین 5 تا 10 دلار قیمت دارند. دارلی گفت: «بنابراین اگر هر روز به این فکر میکنید که قرار است هر روز چگونه باشد، میتواند به این معنا باشد که هزینهای را که برای یک لاته میپردازید، بسته به شهر، اما بدون هیچ گونه تعاملی با کاربر، خرج کنید.
او خاطرنشان کرد: «یکی از مواردی که بسیاری از مردم با آن دست و پنجه نرم میکنند، بهویژه وقتی نوبت به درک هزینههای هوش مصنوعی آنها میرسد، این است: چگونه استفاده از توکن به محصول کاری متصل میشود، یا چگونه به نتایج مرتبط میشود؟ و این یک مشکل است زیرا لزوما یک به یک نیست. یک درخواست به یک LLM میتواند 500 توکن هزینه داشته باشد و همچنان از منظر تجاری ارزشمندتر از یک درخواست منفرد دیگر با هزینه 800000 توکن باشد. دارلی گفت: «این واقعا به این بستگی دارد که محاسبه چقدر برای شما هزینه دارد تا به یک پاسخ خوب برسید، و این به یک قضاوت واقعا ذهنی تبدیل می شود.
با این حال، وقتی صحبت از نقطه و سایر عوامل همیشه روشن می شود، او مشکوک است که "بسیاری از مردم برای هزینه های پس زمینه آماده نیستند." آیا می دانید عوامل شما چه کار می کنند؟ درست مانند کاری که کارمندان با چتباتها، و سپس با عوامل کدنویسی، و اکنون با نمایندگان شخصی انجام دادند: دارلی گفت، فرض کنید که مردم نقطه و دوستان را از خانه وارد زندگی کاری خود میکنند. او گفت: "کسب و کارها اغلب از تعداد عواملی که به طور فعال در سیستم هایشان حضور دارند، شگفت زده می شوند، حتی اگر عرضه کمتر یا کنترل شده تری را در ذهن داشته باشند."
او افزود: "نکته دوم این است که همه عوامل یکسان عمل نمی کنند." "آنها با درجات مختلف استقلال، با درجات مختلف ورودی کاربر عمل می کنند، و همچنین واقعا مبتنی بر زمینه هستند. بهترین عوامل آنهایی هستند که باریک ترین زمینه را دارند زیرا این بدان معنی است که آنها می توانند هدف خود را با اطلاعات مناسب در زمان مناسب دنبال کنند." دارلی به سازمان ها پیشنهاد می کند که این فناوری را امتحان کنند. او یک «خوشبین عظیم هوش مصنوعی» است و میگوید معتقد است که نمایندگان میتوانند بهرهوری را بهبود بخشند و روش کار مردم را تغییر دهند.
هوش مصنوعی از بین نمی رود و به این ترتیب، کسب و کارها باید خود را با نمایندگان آشنا کنند. اما او یک اخطار آخر را قبل از رها کردن ماموران دارد. دارلی گفت: «هیچ اطلاعات شخصی را به آنها ندهید که از ارسال آن در ایمیل راحت نباشید. "و پول واقعی روی آن قرار ندهید - مانند کارت های شخصی خود. اگر می خواهید به آن دسترسی داشته باشید تا برای شما خرید کند، یک کارت هدیه ویزا بخرید. اغلب اوقات، مردم به این موضوع فکر نمی کنند تا زمانی که مشکلی پیش نیاید." ®
متن اصلی (انگلیسی)
OpenAI's dot assistant burned 300K+ tokens in a day without a single prompt
Geordie's tests recorded 155 activity traces and multiple subagents after dot was given read-only permissions