در جستجوی آینده، هنرمندان به مدل های هوش مصنوعی مرده جان تازه ای می دهند

یادداشت سردبیر: این داستان نسخه‌ای از Link Rot است، ستونی از Shanti Escalante-De Mattei که تقاطع‌های هنر، فناوری و اینترنت را بررسی می‌کند. ستون هر دوشنبه در میان ظاهر می شود.

توسعه مدل‌های مولد متن به ویدئو با هوش مصنوعی در چند سال گذشته از طریق یک پیام ساده ترسیم شده است: "ویل اسمیت در حال خوردن پاستا".

اولین ویدیوها، که در سال 2023 با استفاده از مدل‌های منتشر شده Stable Diffusion منتشر شده‌اند، رندر وحشتناک و هیولایی از بازیگری را نشان می‌دهد که با دستانش لکه‌ای به شکل ماکارونی را در دهانش فرو می‌کند، فقط برای اینکه بلغزد، تغییر شکل دهد، کشیده شود، با مصنوعات اطراف ترکیب شود یا به سادگی ناپدید شود. در عرض سه سال، آزمایش تقریبا به نقطه پایانی خود رسیده است، و پاستا به طور طبیعی به جاذبه واکنش نشان می دهد و به درستی با سایر اشیاء موجود در صحنه تعامل می کند: چنگال، بشقاب و دهان اسمیت.

اما با ورود هر مدل جدید به صورت متوالی، چه اتفاقی برای مدل‌هایی که قبل از آن آمده‌اند یا ویدیوهای تولید شده در طول آموزش آن‌ها می‌آید؟

این سوال «نسل پست»، نمایشگاهی جدید در گالری tiat در سانفرانسیسکو را هدایت می کند. سه هنرمند به آرشیو ویدیویی تولید شده توسط Veo 1 فکر می کنند، مدلی که اکنون از بین رفته است که توسط گوگل در سال 2024 توسعه یافته است. این مدل تنها برای استفاده داخلی منتشر شد، اگرچه در نهایت فاش شد، اما به نظر می رسید که این مدل به سختی کاربردی است. می‌توانست ویدیوهای شش ثانیه‌ای، با انتظارهای طولانی بین نسل‌ها و نتایج قابل پیش‌بینی سورئال تولید کند: اسبی شش پا که در زمینی خیس می‌چرخد، لکه‌ای ساکن که ممکن است کودکانی باشند که در انبوهی از برگ‌ها بازی می‌کنند، و یک انسان سه‌پا در حال شنا در استخر.

محققان صدها هزار ویدیو قبل از خاموش شدن مدل و جایگزینی نسل‌های متوالی Veo 2 و Veo 3 تولید کردند که هر دو برای عموم منتشر شدند.

تینا طریقیان، یک کارشناس خلاق خلاق در آزمایشگاه خلاق گوگل و برگزارکننده نمایشگاه گفت: «از آنجایی که این مدل‌ها منابع بسیار زیادی دارند و از آنجایی که هر مدل جدید سریع‌تر و کارآمدتر است، توجیه نگه‌داشتن مدل‌های قدیمی در اطراف دشوار است. "بنابراین فکر کردم، با این تکه های باقی مانده از یک مدل چه کنیم؟ آیا می توانیم این آرشیو را به هنرمندان هدیه کنیم؟"

طریقان بخشی از آرشیو را با طراح رقص Zelia ZZ Tan، مهندس خلاق کارین ناکامورا، و هنرمند فیبر هیلی مورتین به اشتراک گذاشت و از هر کدام خواست تا با کارهای جدید پاسخ دهند. نمایشگاه به دست آمده یک مراقبه چند رسانه ای در مورد ماهیت این فناوری و آرشیو لحظه ای خاص در توسعه آن است.

هیلی مورتین، تینا تاریقیان، زلیا زد تان و کارین ناکامورا.

برای مورتین، کار با این داده‌های آموزشی گسترش طبیعی تمرین او بود که تصاویر تولید شده توسط هوش مصنوعی، تصاویری که از مقالات تحقیقاتی و سایر مصنوعات هوش مصنوعی به دست می‌آیند را در آثار بافتنی ترکیب می‌کند. شیفتگی او به این مصنوعات تا حدی از شغل قبلی به عنوان حاشیه نویس داده ها ناشی می شود، شکلی از کار انسانی اغلب نامرئی که در آن کارگران در سراسر جهان تصاویر را دسته بندی و برچسب گذاری می کنند تا به مدل های هوش مصنوعی "دیدن" و شناسایی صحیح اشیا را آموزش دهند.

مورتین گفت: «سال 2018 بود، من تازه از کالج فارغ التحصیل شده بودم، نمی دانستم هوش مصنوعی چیست و به پول نیاز داشتم. "من فکر می کردم این فقط یک کار ورود اطلاعات است."

در طول دو سال بعد، مورتین متوجه شد که تست‌های CAPTCHA را حل می‌کند و تصاویر را نه تنها با اشیاء و موضوعات موجود در آن‌ها، بلکه با مقوله‌های ذهنی‌تر، مانند احساساتی که فکر می‌کرد یک فرد در عکس بیان می‌کند، برچسب‌گذاری می‌کند. خروجی های Veo 1، البته به طور غیرمستقیم، محصول این نوع کار هستند. مورتین در بررسی آنها تصمیم گرفت بر روی اشکال عجیب متنی که مدل تولید می کرد تمرکز کند.

مورتین گفت: «این دو مزه مزخرف ایجاد کرد، این اشکال گلیف مانند یا عبارات خالی. «این مدل‌های [بصری] متن را مانند LLM [مدل زبان بزرگ] یاد نمی‌گیرند، بلکه متن را به عنوان یک بافت یاد می‌گیرند.»

این امر باعث شد تا مورتین نمونه‌های گلدوزی را که توسط زنان در قرن هجدهم ساخته می‌شد، در نظر بگیرد. بسیاری از زنان جوان ابتدا نه از طریق جوهر و کاغذ بلکه از طریق گلدوزی با نوشتن مواجه شدند. همانطور که آنها دوخت متن را تمرین می کردند، اغلب از این نمونه ها برای ثبت تاریخچه های خانوادگی استفاده می کردند. کار حاصل از مورتین، سوپ از آب ساخته شده است (10 نمونه) (2026)، شامل ده قطعه بافتنی است که اشکال مختلف متن درهم و برهم تولید شده توسط Veo 1 را به تصویر می‌کشد، و تاریخچه تولید متن و شیوه‌هایی را که از طریق آن حفظ و بایگانی می‌شود، منعکس می‌کند.

این قطعات که با نخ سیاه و سفید ارائه شده‌اند، یک خط خطی حلقه‌دار، یک فونت خوشنویسی را به تصویر می‌کشند که تلاش می‌کند تا احتمالا «زیبایی» [b eurt] را هجی کند، و چیزی را که فقط می‌توان به‌عنوان خالکوبی سیگل توصیف کرد که معمولا روی ران‌ها در ریج‌وود، بروکلین مرکب می‌شود. این اثر به طرز ماهرانه‌ای، شیوه‌های مختلف یادگیری زبان و تاریخ‌سازی را وارد مکالمه می‌کند، و آن‌ها را وارونه می‌کند: شیوه‌های زنان قرن هجدهم، ماشین‌های معاصر و هنرمندانی که تلاش می‌کنند آموزش ماشین را پردازش و مستند کنند.

Karyn Nakamura همچنین دعوت Tarighian را برای بررسی تاریخچه تحقیقات پشت Veo 1 و سایر مدل‌های تولیدی، با ترکیب چندین فناوری ویدیویی در یک کار، پذیرفت. در Labor of Light (2016)، مجموعه‌ای از فناوری‌ها به عنوان نوعی محراب برای تاریخ تولید ویدیو گرد هم می‌آیند.

یک دستگاه سفید که از یک جفت کابل آویزان شده است، پرتوی نور از خود ساطع می‌کند که برای بیننده ثابت به نظر می‌رسد، اما در سوسو زدن خود، سیگنال آنالوگ Quicker'n a Wink (1940) را در خود دارد، فیلمی که توضیح می‌دهد چگونه هارولد ادگرتون MIT فناوری عکاسی با سرعت بالا را که برای تولید فیلم‌های اسلوموشن استفاده می‌شود، توسعه داد.

پرتو نور به سمت پروژکتوری منتهی می‌شود که کلاژی از ویدیوهای تولید شده توسط Veo 1 را روی پارچه‌ای سفید می‌فرستد و هر گیره از یک میدان ثابت مانند رنگ‌های زنده بیرون می‌آید. ناکامورا از نویز RGB، یک جزء کلیدی هوش مصنوعی مولد استفاده می کند که در آن تصاویر و ویدئوها از یک میدان اولیه نویز تولید می شوند. در زیر پارچه، خلال دندان‌های کوچکی با چاپ‌های بتونه از مقالات تحقیقاتی برجسته که تکنیک‌های تولید هوش مصنوعی مدرن، از جمله انتشار را ارتقا می‌داد، در جای خود نگه داشتند.

ناکامورا می‌گوید: «من فرآیند ساخت تصویر و فرآیند سیستم‌های ویدیویی و ویدیویی را فوق‌العاده زیبا می‌دانم، صنایع دستی زیادی در آن وجود دارد.

ناکامورا حتی به عنوان فردی که زیبایی را در این فناوری‌ها می‌بیند، نگران است که سرعت توسعه درک عملکرد درونی آن‌ها را به طور فزاینده‌ای دشوار می‌کند و توانایی افراد را برای مداخله خلاقانه و اعمال عاملیت در فرآیندهای تصویرسازی معاصر محدود می‌کند. به همین دلیل، کار او اغلب در اشکالات و شکاف های مدل های قبلی مانند Stable Diffusion 1.5 قرار دارد.

ناکامورا به این فکر می کند: «از آنجایی که من Stable Diffusion 1.5 را دوست دارم، گاهی اوقات فکر می کنم، "اوه، آیا من یک Luddite هستم؟" "مثلا، حتی پیشرفت در حال حاضر چیست؟"

در پس زمینه ای از نتایج بد حال و آینده که به طور فزاینده ای بیمارگونه است، این هنرمندان با وجود اینکه به سختی چند سال از عمرشان می گذرد، فناوری را با سرعتی سرسام آور در حال پیشرفت می دانند. با این حال، در فرهنگی که پیشرفت را با شتاب دائمی برابر می‌داند، مکث به معنای خطر منسوخ شدن است. Zelia ZZ Tan، طراح رقص، این تنش را در یک رقص ده دقیقه‌ای اجرا شده در افتتاحیه نمایشگاه در 8 اکتبر بررسی می‌کند. این اجرا با ترکیب رقص با آواتارهای متحرک، شیوه‌های حرکت و ژست بدن را در ویدیوهای Veo 1 به تصویر می‌کشد.

تان می‌گوید: «من بایگانی را از طریق حرکت و نه فقط از طریق کلمات جستجو کردم، زمانی که متوجه شدم بین اجسام تولید شده، بدن‌های فیزیکی و بدنه محاسباتی، شباهت‌های زیادی وجود دارد و همچنین قوانین زیادی بر اساس نحوه عملکرد آنها وجود دارد. اما رقصیدن با محدودیت حرکت بدن تولید شده مستلزم آسیب پذیری بود.

تان ادامه داد: "این یک افتخار است که بدنی داشته باشم، بتوانم در آنجا حضور داشته باشم، و شاید من آموزش دیده ترین تکنیک را نشان نمی دهم، اما گوش دادن، مردد بودن روی صحنه، انتظار برای اتفاقی - این بخشی از قدرت حضور در آنجا به عنوان یک مجری است."