یک مطالعه جدید نشان می دهد که هوش مصنوعی هنوز نمی تواند خریدهای تعطیلات شما را کاملا تحت کنترل درآورد.

مطالعه ای از Product.ai نشان داد که LLM های اصلی در هنگام خرید آنلاین، نرخ خطای بالایی دارند. آندری اونوفرینکو/گتی ایماژ یک مطالعه جدید می گوید برای انجام خریدهای تعطیلات امسال به LLM اعتماد نکنید.

آزمایش چهار موتور هوش مصنوعی نشان داد که آنها در ارائه اطلاعات دقیق درباره محصولات با مشکل مواجه هستند.

مشکلات از قیمت اشتباه تا پیدا نکردن آخرین مدل متغیر بود. یک مطالعه جدید نشان می دهد که هوش مصنوعی هنوز نمی تواند خریدهای تعطیلات شما را به دست بگیرد.

بر اساس مطالعه‌ای که این هفته توسط Product.ai منتشر شد، دستیاران خرید مبتنی بر هوش مصنوعی اغلب پاسخ‌های متناقضی درباره قیمت‌ها، مشخصات محصول، و اینکه کدام اقلام فعلی هستند، می‌دهند.

این شرکت نسخه های رایگان و پولی ChatGPT، Claude، Gemini و Perplexity را با استفاده از ۲۲۰ سوال خرید در مورد محصولات مختلف از لپ تاپ و تلویزیون گرفته تا تشک، ضد آفتاب و جاروبرقی روباتی آزمایش کرد. هر سوال را پنج بار در هر سرویس اجرا کرد و 8794 پاسخ گرفت.

Product.ai دریافت که هشتاد و شش درصد از سؤالات یک تعارض واقعی قابل تکرار ایجاد کردند. این مطالعه تضاد را به عنوان یک اختلاف قابل بررسی - مانند قیمت، مدل محصول یا مشخصات متفاوت - که در پاسخ‌های متعدد ظاهر می‌شود، تعریف کرد.

داکوتا نانلی، رئیس محصول جستجوی Product.ai گفت: «به طور خلاصه، می‌گوید که این LLM‌ها هنوز وجود ندارند، وقتی صحبت از این تجربه انتها به پایان می‌شود.

هوش مصنوعی بیشتر به سمت خرید رفته است، هم خرده فروشان و هم LLM ها ابزارهایی را برای یافتن و خرید آنلاین چیزها ارائه می دهند. عوامل هوش مصنوعی مانند Meta's Muse یا Instinct می توانند کارهای بیشتری را برای شما انجام دهند.

مطالعه Product.ai به یک مسئله اساسی‌تر اشاره می‌کند: هوش مصنوعی همچنان در تلاش برای ارائه اطلاعات دقیقی است که انسان‌ها یا عوامل هوش مصنوعی به آن نیاز دارند.

یکی از سخنگویان Perplexity گفت: "Perplexity تنها شرکت هوش مصنوعی است که به طور بی وقفه بر روی دستیابی به دقت 100٪ تمرکز کرده است و ما در هر معیاری از آن صنعت را رهبری می کنیم." نمایندگان سه LLM دیگر به درخواست ها برای اظهار نظر پاسخ ندادند.

این مطالعه نشان داد که 97 درصد از سؤالات سر به سر، مانند درخواست از مدل های هوش مصنوعی برای مقایسه دو محصول، باعث ایجاد تضاد می شود. این بالاتر از نرخ تعارض 75 درصدی برای سوالات واقعی واقعی یا مشخصات بود.

این مدل‌ها همچنین برای ارائه قیمت‌های مناسب محصولات به کاربران تلاش کردند. از 913 پاسخی که Product.ai می تواند تأیید کند، 85٪ با قیمت فعلی یا فهرست شده مطابقت دارد.

تفاوت هایی بین LLM ها وجود داشت. Gemini با آنچه Product.ai به‌عنوان خطای پرهزینه طبقه‌بندی کرده بود، بیشترین سهم را داشت: 56 درصد در ردیف رایگان و 54 درصد در ردیف پولی.

نتایج با استفاده از کلود با نسخه پولی آن بهبود یافت و خطاهای پرهزینه از 44 درصد به 21 درصد کاهش یافت. Perplexity کمترین میزان خطای پرهزینه را داشت، با 14٪ برای ردیف پولی خود، و پس از آن نسخه پولی ChatGPT با 17٪ قرار گرفت.

Product.ai همچنین متوجه شد که ابزارها گاهی اوقات با پرسیدن مکرر یک سوال با خود متناقض هستند. رده آزاد Gemini این کار را در 29٪ از سوالات انجام داد که بالاترین میزان در مطالعه است.

Product.ai گفت، زمانی که پاسخ ها اشتباه بود، قیمت به طور متوسط ​​300 دلار کاهش یافت.

نانلی گفت، چنین تفاوت بزرگی باید کافی باشد تا خریداران را در مورد اتکا به عوامل هوش مصنوعی مکث کند. او گفت: "این یک دلتنگی بزرگ است، همانجا."

نانلی گفت، به جای اینکه جزئیات پرداخت را به نمایندگان بسپارند یا هر چیزی را که عوامل هوش مصنوعی می گویند به عنوان انجیل در نظر بگیرند، کاربران باید خودشان اطلاعات را تأیید کنند. او گفت که این می تواند به معنای پرسیدن چندین موتور هوش مصنوعی و مقایسه نتایج باشد - یا به سادگی خود وب سایت های فروشنده را بررسی کنید.

نونلی گفت: «این فصل تعطیلات پیش رو از هوش مصنوعی به عنوان یک ابزار کشف و به عنوان یک شریک فکری استفاده کنید. "اما در حال حاضر مراقب باشید."

آیا ایده داستانی در مورد هوش مصنوعی و خرید دارید؟ با این خبرنگار در abitter@businessinsider.com یا از طریق برنامه پیام‌رسانی رمزگذاری شده سیگنال به شماره 808-854-4501 تماس بگیرید. از یک آدرس ایمیل شخصی، یک شبکه WiFi غیرکار، و یک دستگاه غیر کاری استفاده کنید. در اینجا راهنمای ما برای به اشتراک گذاری ایمن اطلاعات است.

مقاله اصلی را در Business Insider بخوانید