Dayjob: مالیات - ارزیابی عوامل هوش مصنوعی در 50 تکلیف مالیاتی حرفه ای

آنا قصد داشت آپارتمان خود را بفروشد. او در آگوست 2024 نقل مکان کرده بود و می خواست بداند که بسته شدن در اکتبر 2026 یا ژانویه 2027 برای مالیات بهتر است یا خیر.

طبق قوانین معمول، مالکان خانه باید حداقل دو سال از پنج سال قبل از فروش آن در ملکی زندگی کرده باشند تا واجد شرایط محرومیت شوند. از آنجایی که آنا در آگوست 2024 نقل مکان کرد، در پایان آگوست 2027 از برآورده کردن این شرایط دست می‌کشید. اگر فروش او پس از اوت 2027 به تعویق بیفتد، ممکن است واجد شرایط بودن را از دست بدهد.

در طی پنج تلاش، آسترا هرگز ضرب الاجل را مشخص نکرد. Opus آن را در هر پنج تلاش شناسایی کرد.

این نماینده تاریخ های پیشنهادی را به درستی ارزیابی کرد، اما توصیه آنا باعث شد آنا از ضرب الاجلی که می تواند بر یک تصمیم مالی مهم تأثیر بگذارد بی خبر باشد. یک مشاور مالیاتی باید مسائل بعدی را تشخیص دهد حتی زمانی که مشتری نمی داند در مورد آنها سؤال کند.

این نوع قضاوت حرفه‌ای است که ما با DAYJOB: Tax، آخرین مورد اضافه شده به خانواده معیار DAYJOB Surge AI آزمایش می‌کنیم.

DAYJOB کارگزاران هوش مصنوعی را در تکالیف مالیاتی حرفه ای که به تخصص تخصصی، مواد پیچیده و تصمیماتی نیاز دارند که به طور کامل در دستورالعمل های اولیه مشخص نشده اند، ارزیابی می کند. نسخه های قبلی ما مراقبت های بهداشتی و مالی را پوشش می داد. DAYJOB: مالیات این کار را به آماده سازی مالیاتی، انطباق، و خدمات مشاوره ای گسترش می دهد.

این معیار شامل 50 محیط در هشت حوزه عملکرد مالیاتی است. نمایندگان درخواست‌های مشتری و سوابق پشتیبانی را دریافت می‌کنند، سپس اظهارنامه‌های مالیاتی، اوراق کاری، بررسی‌های فنی یا مشاوره مشتری را تهیه می‌کنند.

این تکالیف قضاوت حرفه ای را در کنار دانش مالیاتی، محاسبات، بازیابی و دستورالعمل های زیر آزمایش می کند. ماموران باید تصمیم بگیرند که چه چیزی مستحق بررسی است، شواهد متناقض را حل کنند، تشخیص دهند که اطلاعات ناکافی است و آن تصمیمات را در کار نهایی خود قرار دهند.

Claude Sonnet 5.5 با نرخ قبولی 10.8٪ در DAYJOB: Tax leaderboard پیشتاز است، پس از آن Claude Fable 5.1 با 9.6٪ و Claude Opus 5.5 با 9.2٪ قرار دارند.

ما pass@1 را در آستانه روبریک 95٪ گزارش می‌کنیم. یک تلاش زمانی انجام می شود که حداقل 95٪ از معیارهای کار را برآورده کند، که محاسبات، شواهد پشتیبان، مسائل بعدی و تحویل کامل شده را ارزیابی می کند.

ما همچنین عملکرد مدل را با میانگین هزینه در هر آزمایش مقایسه کردیم.

Claude Sonnet 5.5 و Opus 5.5 انتهای پر کارایی مرز پارتو اندازه گیری شده را اشغال می کنند.

DAYJOB: مالیات هشت حوزه را پوشش می دهد که هر کدام به قوانین، سوابق و تخصص متفاوتی نیاز دارند:

برخی از تکالیف به بسته‌های بایگانی کامل با کاغذهای کاری پشتیبانی نیاز دارند. برخی دیگر از نمایندگان می خواهند که معاملات را بررسی کنند، پرونده های قبلی را بررسی کنند یا درباره تصمیماتی که مشتریان هنوز نگرفته اند مشاوره تهیه کنند.

این معیار شامل 1789 فایل فضای کاری با میانگین 30 فایل در هر تکلیف و 123 فایل است. این موارد شامل 1487 فایل PDF، 117 کتاب کار اکسل، 38 سند Word، و ایمیل‌های اضافی، تصاویر، CSV، سوابق JSON و فایل‌های متنی است.

فضاهای کاری شامل اظهارنامه مالیاتی ثبت شده و پیش نویس، K-1s، W-2s، اطلاعیه های IRS، دفتر کل، سوابق حقوق و دستمزد، قراردادها و مکاتبات است. آنها همچنین حاوی شواهد کمتر استانداردی هستند که متخصصان مالیاتی به طور معمول با آنها کار می کنند.

یک تکلیف شامل عکسی از رسید دست نویس برای کالایی است که برای فروش مجدد خریداری شده است. نماینده باید توضیحات و مبالغ اقلام را بخواند، آنها را با سوابق هزینه تطبیق دهد و تعیین کند که خریدها چگونه بر موجودی و بهای تمام شده کالاهای فروخته شده تأثیر می گذارد.

تکلیف دیگر شامل یک شرکت خدمات سیلو صنعتی است که مشتری آن را تنها در آلاباما فرض می کند. اما گزارش اعزام صحرایی آن خدمه را نشان می دهد که در پنج ایالت کار می کنند. مکان های شغلی، اندازه خدمه و روزهای حضور در محل، شواهد مربوط به تعهدات مالیاتی چند ایالتی شرکت را ارائه می دهد.

محیط های دیگر نیز به همین ترتیب متفاوت هستند. یکی شامل یک خانواده فرامرزی است که سوابق شغلی و دارایی آن در لهستان باید با صادرات مبادلات ارز دیجیتال، تاریخچه کیف پول و تعداد زیادی خرید تاریخی تطبیق داده شود.

وظایف DAYJOB با گردش کار حرفه ای در دنیای واقعی شروع می شود. کارشناسان مالیاتی این موقعیت ها را به تکالیف واقعی تبدیل می کنند، سوابق پشتیبانی، نتایج مورد انتظار و معیارهای درجه بندی را توسعه می دهند. هر کار از نظر صحت، کامل بودن و حل شدنی بودن تحت یک بررسی تخصصی سه لایه قرار می گیرد.

کارشناسان مالیات تجربه را در زمینه مالیات شرکت ها، مشارکت ها، اظهارنامه های فردی، تراست ها و انطباق چند ایالتی به ارمغان می آورند. سوابق آنها عبارتند از:

زوجی که در حال جدایی بودند از یک عامل هوش مصنوعی پرسیدند که چگونه Roth IRA و 401(k) خود را تقسیم کند. Opus 5.5 به آنها گفت که از نظر قانونی ازدواج نکرده اند و توصیه می کند که حساب های خود را جدا نگه دارند، با پرداخت نقدی برای یکسان کردن موجودی.

اما سوابق خود این زوج تردیدهایی را در مورد این نتیجه گیری ایجاد کرد. اگرچه آنها اکنون در فلوریدا زندگی می‌کردند، جایی که ازدواج‌های معمولی جدید معمولا به رسمیت شناخته نمی‌شوند، آنها قبلا با هم در تگزاس زندگی می‌کردند و مراسمی را در کلرادو برگزار کردند. تگزاس ازدواج‌های غیررسمی را تحت شرایط خاصی به رسمیت می‌شناسد و ازدواج معتبری که در جای دیگر ایجاد شده است ممکن است در فلوریدا معتبر باقی بماند.

این تمایز می تواند پیامدهای مالیاتی تقسیم حساب های بازنشستگی آنها را تغییر دهد.

در هر پنج تلاش، Opus توصیه‌های خود را بر این فرض استوار کرد که این زوج ازدواج نکرده‌اند، حتی زمانی که عدم اطمینان را تأیید کرد. Astra نیاز به تأیید وضعیت تاهل خود را در چهار مورد از پنج تلاش تشخیص داد. یک پاسخ توصیه کرد:

مشتری پرسید که چگونه حساب ها را تقسیم کند. نماینده باید قبل از توصیه یک اقدام مشخص کند که آیا آنها ازدواج کرده اند یا خیر. شواهدی که باید باعث این تحقیق می شد، قبلا در پرونده ها وجود داشت.

اکثر معیارهای مالیاتی موجود با یک مشکل تعریف شده شروع می شوند: یک سؤال حقوقی برای پاسخ، اظهارنامه برای محاسبه، یا گم شدن اطلاعات مالیات دهندگان برای جمع آوری. این ارزیابی‌ها قابلیت‌های مهم را اندازه‌گیری می‌کنند، اما بیشتر کار یک متخصص مالیاتی شامل کشف این است که مشکل واقعا چیست. مشتریان دستورالعمل های ناقص ارائه می دهند، سوابق حاوی شواهد متضاد هستند و ممکن است مسائل بعدی هرگز در درخواست اصلی ظاهر نشوند.

DAYJOB آزمایش می کند که آیا نمایندگان می توانند از عهده این مسئولیت سرتاسر برآیند، از جمله شناسایی مسائلی که مشتری نادیده گرفته شده است، ارزیابی شواهد متضاد، و تصمیم گیری در مورد آنچه که در وهله اول باید انجام شود.

آیا مدل می تواند به یک سوال مالیاتی دشوار پاسخ دهد؟

TaxBench 114 سوال مالیاتی را در چندین تخصص ارزیابی می کند که هر کدام دارای یک مشکل تعریف شده و موضوع درجه بندی هستند.

DAYJOB همچنین می پرسد که آیا مشتری سؤال درستی را پرسیده است یا خیر. آنا می خواهد دو تاریخ را برای فروش آپارتمان خود مقایسه کند. هر دو شرایط اقامت برای معافیت مالیاتی را برآورده می کنند، اما آیا نماینده به او هشدار می دهد که این واجد شرایط بودن منقضی شود؟

TaxCalcBench با استفاده از اسناد مالیاتی واقعی و سناریوهای مالیات دهندگان، دقت اظهارنامه مالیاتی را در برابر مقادیر مورد انتظار پرونده ارزیابی می کند.

DAYJOB همچنین می پرسد که آیا سوابق اساسی واقعا از رفتار مالیاتی پشتیبانی می کند یا خیر. دفتر کل یک استودیو به یک رسید پیوست اشاره می کند، اما رسید گم شده است. آیا نماینده شواهد گمشده را علامت گذاری می کند یا به اشتباه بازپرداخت را به عنوان تأیید شده تلقی می کند؟

آیا نماینده می تواند اطلاعات گم شده را جمع آوری کند و به درستی پرونده کند؟

TaxLab آزمایش می کند که آیا نمایندگان می توانند از مالیات دهندگان شبیه سازی شده سؤال کنند، اطلاعات گمشده را به دست آورند و اظهارنامه مالیاتی فردی فدرال را تکمیل کنند.

DAYJOB این مسئولیت را در سراسر حرفه مالیاتی گسترده تر گسترش می دهد. قابل تحویل ممکن است تجزیه و تحلیل زیان مشارکت، اظهارنامه دارایی، بررسی موقعیت مالیاتی مورد مناقشه یا یک نامه استراتژی باشد.

تمایز اصلی این است که چقدر مسئولیت بر عهده نماینده است. DAYJOB ارزیابی می‌کند که آیا نمایندگان می‌توانند مسائل بعدی را کشف کنند، قضاوت حرفه‌ای انجام دهند و یافته‌های خود را به یک پرونده تکمیل‌شده، بررسی یا توصیه منتقل کنند.

DAYJOB آزمایش می کند که آیا عوامل هوش مصنوعی می توانند مالکیت یک وظیفه حرفه ای را از ابتدا تا انتها بر عهده بگیرند یا خیر. این به معنای پیمایش سوابق نامرتب، شناسایی مسائلی است که مشتری هرگز مطرح نکرده است، قضاوت درستی با اطلاعات ناقص داشته باشید و کاری را ارائه دهید که مطابق با استانداردهای حرفه ای باشد.

نتایج نشان می‌دهد که چقدر برای مدل‌های مرزی دشوار است. حتی زمانی که نمایندگان می‌توانند مراحل فردی را انجام دهند، قضاوت حرفه‌ای و انجام مطمئن گردش‌های مالیاتی در دنیای واقعی دور از دسترس باقی می‌ماند.

تابلوی امتیازات کامل، با هر مدلی که ارزیابی کردیم، در صفحه معیار مالیاتی DAYJOB قرار دارد.

برای کسب اطلاعات بیشتر یا درخواست دسترسی به معیار کامل، با benchmarks@surgehq.ai تماس بگیرید.