Timestral: مدل های پایه سری زمانی انتشار میسترال

تایمسترال، اولین خانواده مدل‌های پایه سری زمانی Mistral، پیش‌بینی‌های احتمالی و چند متغیره پیشرفته‌ای را با تنها 209 میلیون پارامتر ارائه می‌کند، در حالی که از متغیرهای کمکی گذشته و آینده پشتیبانی می‌کند. در چهار اندازه (پارامترهای 5 تا 209 میلیون متری) موجود است، دقت و کارایی را متعادل می کند، به طور موثر بر روی CPU کار می کند و در پیش بینی صفر شات برای دامنه های مختلف عالی است. این مدل ترکیبی از پیش‌آموزش مصنوعی، توجه متغییر آگاه، و یادگیری با زمینه طولانی، با گزینه‌های تنظیم دقیق برای تطبیق دامنه از طریق Mistral Forge است.

امروز، ما Timestral، اولین خانواده مدل‌های پایه سری زمانی را منتشر می‌کنیم. بزرگترین مدل ما، تنها با 209 میلیون پارامتر، در هر سه معیار عمومی اصلی این حوزه، GIFT-Eval، TIME، و fev-bench رتبه اول را دارد و تنها با دو سوم پارامترهای مدل، از وضعیت قبلی پیشی می‌گیرد.

Timestral پیش‌بینی‌های احتمالی و چند متغیره را ارائه می‌کند و از متغیرهای کمکی گذشته و شناخته شده-آینده پشتیبانی می‌کند. خانواده مدل‌های ما در مقابل پارتو دقت پیش‌بینی در مقابل اندازه مدل قرار دارند و عملکرد پیشرو را در هر اندازه ارائه می‌کنند. نتایج به تابلوی امتیازات GIFT-Eval و TIME ارسال شده است.

سری های زمانی یکی از رایج ترین انواع داده ها در سازمانی است، از تله متری حسگر گرفته تا معیارهای مشاهده پذیری. پیش‌بینی‌های ساخته شده بر اساس آن، تصمیم‌گیری در برنامه‌ریزی ظرفیت، انرژی، زنجیره تامین، ریسک و نگهداری را هدایت می‌کند.

کارخانه‌های صنعتی حسگرهای فرآیند را بر اساس برنامه زمان‌بندی تولید پیش‌بینی می‌کنند، پیش از از کار افتادن تجهیزات پیش‌بینی می‌کنند و ظرفیت و قطعات یدکی هزاران دارایی را برنامه‌ریزی می‌کنند. تیم های مالی جریان ها، حجم ها و نوسانات را برای اطلاع از موقعیت ها، پوشش ریسک و خزانه داری در هزاران حساب پیش بینی می کنند.

مدل‌های کلاسیک مانند ARIMA و رگرسیون خطی همچنان ابزارهای ثابتی برای پیش‌بینی سری‌های زمانی هستند. این مدل ها معمولا روی یک سری نصب می شوند و فقط از تاریخچه آن سری درس می گیرند.

مدل‌های یادگیری عمیق مانند PatchTST ظرفیت یادگیری الگوهای غیرخطی را در بسیاری از سری‌های مرتبط می‌افزایند، اما هنوز معمولا در هر مجموعه داده از ابتدا آموزش داده می‌شوند، بنابراین آنچه می‌آموزند به حوزه‌های جدید منتقل نمی‌شود.

مدل‌های پایه سری‌های زمانی، رویکرد پیش‌آموزشی را به سری‌های زمانی می‌آورند. مدل ما که بر روی یک مجموعه بزرگ و متنوع آموزش دیده است، الگوهایی را می‌آموزد که در سری‌ها انتقال می‌یابند، حتی در حوزه‌هایی که داده‌ها کمیاب هستند، عکس صفر را روی داده‌هایی که هرگز ندیده است، پیش‌بینی می‌کند.

ما Timestral را بر اساس سه معیار اصلی پیش‌بینی عمومی ارزیابی کردیم: GIFT-Eval، TIME و fev-bench. در میان مدل‌های از پیش آموزش‌دیده‌شده و بدون شات، در هر پنج معیار رتبه اول را دارد. این نتایج از یک ایست بازرسی منفرد و بدون ترکیب به دست می آید.

GIFT-Eval، ده مورد برتر از 83 ورودی از پیش آموزش دیده و صفر شات قابل مقایسه. پایین تر بهتر است

TIME، ده مورد برتر از 35 ورودی تابلوی امتیازات. پایین تر در هر دو معیار بهتر است.

fev-bench، ده مورد برتر از 37 ورودی تابلوی امتیازات، بر اساس نمره مهارت SQL. بالاتر بهتر است

Timestral به عنوان یک خانواده از چهار مدل بهینه شده است: پارامترهای 5M، 28M، 123M و 209M. مدل‌های بزرگ‌تر عملکرد پیش‌بینی را بهبود می‌بخشند، در حالی که مدل‌های کوچک‌تر سریع‌تر و ارزان‌تر هستند. هر چهار مورد معماری و دستورالعمل آموزشی مشابهی دارند. هر اندازه در مقابل دقت پارتو در مقابل اندازه مدل قرار می گیرد: برای هر اندازه مدل، هیچ مدل عمومی بهتر پیش بینی نمی کند.

امتیاز در مقابل اندازه مدل در GIFT-Eval، TIME و fev-bench (نشان داده شده به عنوان نمره مهارت 1-). پایین تر بهتر است مدل 28M ما در GIFT-Eval و TIME، Chronos-2 را شکست می‌دهد، تقریبا چهار برابر بزرگ‌تر. مدل 209M ما با پارامترهای کمتر TimesFM-3 و Falcon-2.0 را شکست می دهد.

Timestral در استنتاج نیازی به GPU ندارد. در یک CPU سرور استاندارد با 8 رشته، پیش‌بینی یک روز قبل از سه هفته تاریخچه 15 دقیقه‌ای، 10 میلی‌ثانیه با مدل 5M و 140 میلی‌ثانیه با مدل 209M طول می‌کشد. مدل‌های کوچک‌تر مقداری دقت را با سرعت عوض می‌کنند: مدل 28M پنج برابر سریع‌تر از مدل 209M است و مدل 123M در سه چهارم تاخیر خود، 0.2% از امتیاز 209M را دریافت می‌کند.

یک کارخانه صنعتی با هزاران حسگر در سراسر تجهیزات خود را در نظر بگیرید. Timestral می تواند پیش بینی های مربوط به آن داده ها را به روش های مختلفی بهبود بخشد.

پیش بینی چند متغیره لرزش، دما و فشار پمپ به طور مستقل حرکت نمی کند. افزایش در یکی اغلب توضیح می دهد یا باعث تغییر در دیگری می شود. تایمسترال سری‌ها را به طور مشترک مدل‌سازی می‌کند، بنابراین می‌تواند از آن وابستگی‌ها به جای پیش‌بینی هر حسگر به صورت مجزا استفاده کند.

پیش بینی احتمالی یک مقدار پیش‌بینی‌شده ممکن است تصویر کامل را نشان ندهد. Timestral مجموعه کاملی از چندک‌ها را پیش‌بینی می‌کند، بنابراین تیم‌ها می‌توانند میزان عدم قطعیت را ببینند، آستانه‌های هشداری را تنظیم کنند که منعکس‌کننده آن است، و نگهداری را بر اساس ریسک به جای یک عدد واحد برنامه‌ریزی کنند.

متغیرهای کمکی طبقه ای برخی از متغیرهای کمکی به جای اعداد پیوسته، مانند روز هفته، یا وضعیت ماشین (در حال کار، بیکار، در حال تعمیر) مقادیر را از مجموعه ای از دسته ها می گیرند. رمزگذاری اینها به عنوان اعداد، نظم یا مقیاسی را تحمیل می کند که آنها ندارند. Timestral آنها را مستقیما به عنوان ورودی های طبقه بندی برای بهبود پیش بینی ها می گیرد.

متغیرهای کمکی آینده شناخته شده برخی از محرک های رفتار حسگر از قبل شناخته شده هستند، مانند برنامه های تولید، خاموش شدن برنامه ریزی شده، پیش بینی آب و هوا. Timestral می‌تواند آنها را برای بهبود کیفیت پیش‌بینی شرط کند، بنابراین افزایش بار برنامه‌ریزی‌شده به‌جای علامت‌گذاری به‌عنوان غافلگیرکننده انتظار می‌رود.

Timestral یک مدل عددی است که می‌تواند در خطوط لوله نظارتی موجود اجرا شود یا با مدل‌های زبان ما در گردش‌های کاری عامل چندوجهی جفت شود.

Timestral به طور مداوم بر روی جریان‌های حسگر کارخانه اجرا می‌شود و ناهنجاری‌ها را در صورت وقوع تشخیص می‌دهد.

هنگامی که یک ناهنجاری را در یک پمپ علامت گذاری می کند، یک عامل سیگنال ها را تعبیه می کند و با جاسازی داده های حسگر قبلی مقایسه می کند تا خرابی های تاریخی مشابه را پیدا کند.

سپس عامل، عوامل فرعی را شروع می‌کند تا تجزیه و تحلیل علت ریشه‌ای را انجام دهند و از زمینه آن کارخانه استفاده کنند، مانند سوابق تعمیر و نگهداری، گزارش‌های نوبت کاری و یادداشت‌های اپراتور، دفترچه‌های راهنمای تجهیزات، سفارش‌های کاری گذشته، و خواندن از تجهیزات مرتبط.

عامل پیش نویس تشخیص پیشنهادی را بر اساس یافته ها، همراه با شواهد پشتیبان و مراحل بعدی احتمالی، تهیه می کند.

مدیر کارخانه به جای یک هشدار، تشخیص و طرحی را دریافت می کند که توسط داده های حسگر پشتیبانی می شود.

چندین ایده برای تولید این نتایج ترکیب شده است. هر کدام به تفصیل در گزارش فنی توضیح داده خواهند شد.

پیش بینی افق جدا شده رمزگشاهای علی که با پچ ماسکینگ پیوسته آموزش دیده اند، مانند Toto 2.0 و TimesFM-3، مقادیری را که باید پیش بینی شوند، پنهان می کنند، بنابراین مانند مقادیر گم شده به نظر می رسند و همچنین به عنوان زمینه برای پیش بینی های بعدی گم می شوند. رویکرد ما، DHF، این دو را از هم جدا می‌کند: تاریخچه کامل در دنباله باقی می‌ماند، و توکن‌های پیش‌بینی آموخته شده، تاریخچه را قبل از خود می‌خوانند. بنابراین، هر مقدار مشاهده‌شده هم به‌عنوان هدف و هم به عنوان زمینه عمل می‌کند، شکاف‌های واقعی به‌عنوان گمشده باقی می‌مانند، و طول افق آموزشی و افزایش داده‌های از دست رفته را می‌توان مستقل از یکدیگر تنظیم کرد.

توجه آگاهانه از متغیرهای کمکی به هر سری ورودی یک نقش اختصاص داده می شود: متغیر هدف، متغیر کمکی فقط گذشته یا متغیر کمکی آینده شناخته شده. متغیرهای کمکی شناخته شده در آینده در کل پنجره قابل مشاهده هستند در حالی که اهداف علیت باقی می مانند و اطلاعات فقط از متغیرهای کمکی به اهداف جریان می یابد. بنابراین Timestral می‌تواند از تقویم تعطیلات یا پیش‌بینی آب و هوا استفاده کند بدون اینکه آینده خود هدف را در پیش‌بینی‌اش افشا کند.

داده های مصنوعی. اکثر داده های آموزشی مصنوعی بود. ما ابتدا فرآیندهای تک متغیره را با دینامیک زمانی منسجم، از جمله روندها، فصلی بودن و الگوهای نویز متنوع تولید کردیم. سپس از یک سینت سایزر چند متغیره برای ساخت سری های چند متغیره با معرفی وابستگی های غیرخطی بین این فرآیندها استفاده کردیم.

آموزش دو مرحله ای. Timestral ابتدا در مقیاس بر روی داده های کاملا مصنوعی با اندازه زمینه 8192 از قبل آموزش داده می شود، سپس بر روی ترکیبی از داده های واقعی و مصنوعی با زمینه 4 برابر طولانی تر آموزش داده می شود. هدف از دست دادن پین بال بیش از 21 چندک است که تقریبی مجزا از CRPS است.

معیارهای عمومی عملکرد کلی را اندازه گیری می کنند، اما داده های تولید می توانند به طور قابل توجهی در رفتار و ساختار متفاوت باشند. همچنین ممکن است در طول زمان با تغییر رژیم بازارها، کاهش تجهیزات و تغییر الگوهای تقاضا تغییر کند. ارزش پایدار در این است که بتوانیم یک مدل را با داده های درون دامنه تطبیق دهیم و در حین حرکت توزیع به آموزش مجدد آن ادامه دهیم.

برای سازمان‌هایی که می‌خواهند جلوتر بروند، Timestral از طریق Mistral Forge در دسترس است، همان خط لوله آموزشی که ما برای مدل‌های زبان خود استفاده می‌کنیم. پشتیبانی می کند:

پسوندهای معماری، مانند متغیرهای کمکی خاص دامنه.

تنظیم دقیق داده های اختصاصی، تخصصی در یک دامنه در حالی که عملکرد کلی را حفظ می کند.

کنترل بر داده‌های آموزشی، از جمله تنظیم ترکیب آموزشی، پخش مجدد داده‌های قبل از آموزش، و تولید نمونه‌های داده مصنوعی برای انعکاس دامنه هدف. کنترل کامل بر روی داده‌ها تضمین می‌کند که هیچ چیزی که ما در طول تمرین بک‌آزمایی کرده‌ایم دیده نمی‌شود.

خط لوله کامل را می توان بر روی سخت افزار مشتریان ما، از جمله محیط های دارای شکاف هوا، مستقر کرد.

ما یک مخزن GitHub منتشر کرده ایم تا بتوانید Timestral را روی داده های خود اجرا کنید. گزارش فنی با نتایج کامل متعاقبا ارائه خواهد شد. برای مشکلات پیش‌بینی تخصصی‌تر، یا همکاری در تحقیقات، لطفا با ما تماس بگیرید.

اهداف چند متغیره، متغیرهای کمکی فقط گذشته و شناخته شده-آینده

مدل های پایه سری زمانی Mistral. پیش‌بینی‌های احتمالی پیشرفته، پارامترهای 5M–209M، روی CPU اجرا می‌شوند.