הרהורים על יצירת סרטים בAI נכון לינואר 2025
בAi Video Lab, המעבדה שלנו לחקר הבינה המלאכותית והכלים שלה לעשיית סרטים, האור דולק כל הלילה. חוקרים וחוקרים, הראש לא נח לרגע. כי מצד אחד כל יום יש כלים חדשים עם יכולות לא אנושיות (כלומר, מלאכותיות), מצד שני השוטים נערמים ומצד שלישי, והוא שנחשב - מול השפע הזה נשאלת השאלה 'למה אנחנו קוראים סרטים?'
לפני כשנה שיגרה חברת התוכנה המובילה Sora שוט מדהים שמתרחש בטוקיו, כולו על טהרת הבינה המלאכותית, כלומר - בלי שחקנים, צלמים, לוקיישנים ובכלל, בלי אנשי הפקה. "הטכנולוגיה שיכולה להרוס את תעשיית הבידור בהוליווד" זעקו הכותרות. זעזוע עצום עבר בקהילת עושי הסרטים. המקצוע, הפרנסה, היצירה - כמו עמדו להימחק מהעולם.
אבל כשהדי הבשורה נמוגו, הבנו שעוד דרך ארוכה מחכה עד שאכן יוכלו לעשות עם מחשב בלבד שוטים כל כך ריאליסטיים, שיאורגנו לסרט. לדעתי, עד אז יתפתח ז'אנר חדש ותעשייה של יוצרים עימו. כך קורה בעצם מאז ומעולם. קולנוע הוא תחום מבוסס טכנולוגיה ולאורך כ 130 שנותיו, כל התפתחות השפיעה על התעסוקה ועל השפה. בחמישים השנים האחרונות, עם כניסת הוידיאו האנלוגי ולאחריו הדיגיטלי - אנו חיים במציאות משתנה במהירות וכך גם ימשיך להיות - מקצועות ירדו ומקצועות יתווספו (ביננו, רשימת הקרדיטים של עושי הסרט רק מתארכת עם השנים.) אז בינתיים, אמרנו במעבדה שלנו בג׳אמפ קאט אינמושן, ״לא מפחדים - פשוט לומדים AI״. מקורס לקורס אנחנו מעדכנים ומדייקים את התוכנית שתתאים ליצירת סרטים -ומכוונים את התלמידים לספר סיפור. כי לא בהכרח כל מה שנע - הוא קולנוע.
ההתלהבות מהאפשרויות החדשות אדירה. האפשרות שניתנת לשבת מול המחשב ולהפוך מחשבה למילים, מילים לתמונה ותמונה לוידיאו במהירות של בין חצי שעה לכמה שעות - מעניקה קסם.
כיום, לאחר למעלה משנה שאנו מלמדים סדנאות של כלי AI לסרטים, ולשמחתנו מרבית התלמידים שלנו הם אנשי מקצוע מתעשיית הסרטים -עורכים, במאים ואנימטורים - צברנו לא מעט תובנות על אופן הפעולה של הAI, אבל משהו עדיין חמק מעיננו.
המושג ״סרטים״ הוא מעטפת לעשייה רחבה מאד. סרט קצר או ארוך, קולנוע, דוקומנטרי או קליפ. התוצרים של הבינה המלאכותית הם פלסטיים, לא ממש ריאלים. ציוריים שמעובדים לתנועה. אבל, מה יש מעבר לזה? איזו ידיעה נוצרת מהחוויה? והתוצרים עצמם? קשה לתוכנה לייצר שוט מתמשך מבלי שהדמות תתעוות. קשה לייצר המשכיות של דמות. משוט לשוט. קשה לדייק בזוית המבט.
השוני מעשייה קולנועית רגילה בולט בתחומים האלו
1. בעיות עם זהות דמויות:
- חוסר יכולת לשמור על מאפיינים זהים של דמות בין שוטים
- שינויים בתווי פנים, גודל, ביטויים
- סטיות בפרטים כמו צבע עיניים, גובה, לבוש
אז אומנם ניתן לאמן מודל ובכך להגיע לעקביות בתוצרים, אך עדיין יש אתגרים בעימוד של יותר מדמות עקבית אחת.
2. קשיים בהמשכיות בין-שוטית:
- כל פריים נוצר בנפרד ללא זיכרון של השוט הקודם
- חוסר עקביות בתנוחות גוף
- שינויים בהבעות פנים
3. סימטריה וקשר בין דמויות:
- קושי ביצירת אינטראקציה אמינה
- חוסר דיוק במרחקים וביחסים בין דמויות
כל החולשות הללו בשוטים הופכות את זרימת הסרט לבלתי המשכית ולא אמינה.
אפשר כמובן לפתח קו מיוחד של סרטים שיוצרים מהמוזרויות אמירה. אבל אנחנו מחפשים איך הטכנולוגיה החדשה תשתלב בעשיית הסרטים.
בפגישה מקדימה לקורס החדש של צוות הפיתוח - ירון שין, אייל גרשון ואנוכי - הרגשנו פריצת דרך כשניסחנו את הכללים הבאים לעשייה של סרט עם AI , נכון ל1.2025:
1. שוטים קצרים.
2. מעט תנועה.
3. פירוק לזויות פשוטות.
4. יצירת עוגנים חזותיים.
5. שוט סצינה -ליצירת רצף של סצינות נפרדות
6. ללא דיבור ישיר (לא דמות מדברת אלא Voice Over. וקריינות)
6א. אייל גרשון מעדכן: כבר התחילו לשלב אופציית ליפסינק להרבה תוכנות הנפשה ובקרוב המגבלה תיקטן או תיעלם.
7. עיצוב פס קול.
8. עריכה ואפקטים.
הבעיות היו ידועות מן הסתם לבמאי ארי פולמן שגוייס לצוות הפיתוח של אחת החברות המובילות בתחום, חברת Lightricks הישראלית שמפתחת טכנולוגיה חשובה ביותר לעיבוד תמונה ווידיאו לסרטים. ב 2024 הוקם LTX Studio ליצירת סרטים בבינה מלאכותית. פולמן יצר עבורם סרט יפהפה שמשלב בין שוטים חיים ובין הנפשות AI וכך השכיל לפעול בתוך המגבלות.
אז נכון לעכשיו חשוב להתאים את סגנון הסרט ואופן הארגון שלו למגבלות.
וכמובן לא נוותר על המהות של סרט - שיגיד משהו, שיעניין, שיצור תהליך. לא רק בצורה אלא באמירה.
כמו ב Ai Video Lab של ג'אמפ קאט אינמושן - השאלה הזו מעסיקה עוד יוצרי סרטים, ובמהלך השנה האחרונה כבר יצאו בארץ כמה סרטים מעניינים מאד. שמחה לשתף איתכם עם מספר דוגמאות ליצירה ישראלית עם AI, סרטים שנעשו על ידי במאים ועורכים שמכירים היטב את השפה הקולנועית. ג׳אנר חדש נולד, לא כזה שבא להשמיד את העשיה הקולנועית אלא להפך, להעשיר אותה.
אתחיל עם 2 סרטים מהסדנאות של ג'אמפ קאט אינמושן:
פתיח לסרט דוקו / אסתי עלמו וקסלר
תסריט ואנימציה: אסתי עלמו וקסלר,
מוסיקה: ניתאי שנדר
כפרויקט גמר של סדנת AI לסרטים בג'אמ קאט אינמושן, יצרה הבמאית אסתי עלמו ווקסלר,פתיח לסרט בעבודה על מורשת יהדות אתיופיה ועשתה עריכה מקבילה בין שוט נסיעה בנוף אתיופי ופני אנשי המקום. אסתי השכילה לרתום את התוכנה לצרכים שלה והתוצאה יפהפיה.
העולם כפי שניבט מעיני- ליאם אסולין
ליאם שילב לימודי עריכה עם סדנת AI והפתיע אותנו עם סרט אישי מאד, בו הביא היבט חדש על הפוטנציאל של הAI להגשים את חלומו להיות במאי סרטים. כיוצר סרטים המוגדר על הרצף, הוא מתקשה לצאת מהבית. הטכנולוגיה החדשה מעניקה לו כלי ביטוי אישי. יחד עימו פיתחנו סדנאות מיוחדות לנוער על הרצף. אבל זה כבר נושא למאמר אחר.
שלושה סרטים, מהקצר אל הארוך שתרמו חידושים לעשיה הקולנועית בישראל:
הריקוד האחרון של אריק ורות פרץ ז״ל / 3.29 דקות
הריקוד האחרון של אריק ורות פרץ ז"ל
סרט דוקומנטרי יפהפה שמשלב בין ראיון חי (תמונה מעובדת) והמחשות אנימטיביות ב AI , מספר את סיפורם המיוחד של האב ובתו שנרצחו בנובה.
במאי ויוצר: דורון סולומונס
במאי, עורך ומעצב AI: יובל ניצן
פס הקול: אינפקטד מאשרום
פרויקט מיוחד של כאן דיגיטל
רונדר למוות / Rendered to Death / כ 13 דקות
הבמאי והעורך רפי שור השקיע את הפחדים של כולנו מה AI בסרט דיסוטופי על מעצב שמוחלף ע"י תוכנה.
תסריט, בימוי, עריכה וג'ינרוט : רפי שור
משחק: מקס מינדל
מוסיקה מקורית ועיצוב פסקול: גל לב
קומפוזיטינג ומושיין דיזיין: דני פינקנטל, דרור סטרום
עיצוב גרפי : Bodasher Studio
רצח במגדל המים / 1:09:00
סיפורו של במאי אובססיבי שעוקב אחרי דוד תדהר, הבלש העברי הראשון, ומחיה מחדש חקירת רצח אפופת מסתורין משנת 1937
עודד פרבר, בשמו המקצועי Oded PinkDot הוא במאי ועורך ותיק שמאתגר את הטכנולוגיה הדיגיטלית ללא לאות, מפתיע ומחדש. בסרט הזה חבר לבמאי דניאל נתנזון, יצר מערכת מורכבת מאד של עיבוד תמונה וג'ינרוט והשקיע חודשיים ארוכים מאד בניסיונות עד לתוצאה המרשימה- סרט של שעה. כיוצר רב נסיון, עודד השכיל לעקוף את מגבלות הAI ביצירת שוטים, מכיון שהתבסס על צילומים חיים ושחקנים.
הסרט משתמש בטכנולוגיית בינה מלאכותית שהופכת את השוטים שצולמו עם שחקנים לסרט אנימציה דוקומנטרי בסגנון קומיקס תקופתי. זהו הסרט הראשון בעולם העושה שימוש כה נרחב בטכנולוגיה זו בסרט דוקומנטרי או עלילתי באורך מלא. העבודה התפרשה על פני חמש ארצות מניו יורק ועד הודו וכללה 900,000 פריימים מעובדים.
יוצרים ובמאים: דניאל נחנסון, עודד פרבר
מפיקים: ארז בן הרוש, בני מנשה
חברת הפקה: נו דרמה סטודיו
שחקנים: יחזקאל לזרוב, מיקי לאון, טלי שרון, עמית אולמן, עומר עציון ודניאל נחנסון
ממש לפני סגירת המאמר הגיע מסר חדש מגוגל. ארחיב על הסרט בהמשך
לסיכום:
הבינה המלאכותית צריכה שיתכננו לה שוטים. בלי במאים זה לא יעבוד
הבינה המלאכותית מייצרת שוטים , אבל צריך לערוך אותם. בלי עורכים זה לא יעבוד.
ולכן
לא מפחדים - לומדים AI.
סרטי AI מחייבים תפיסה אחרת לבימוי ועריכה, על בסיס הידע המסורתי של השפה הקולנועית. אני מקווה לנו לעוד ועוד אנשי קולנוע שילמדו את הכלים, יממשו את הידע המקצועי ויגלו את יכולות היצירה בבינה המלאכותית. אני מאמינה שנוצר תחום חדש שיצמח לצד התחומים המסורתיים - קולנוע, וידיאו ואנימציה. יצירה שתצמיח איתה מקצועות ומקומות עבודה חדשים ותאפשר לקהלים חדשים לצמוח בהם.
אני סקרנית ביותר על מה עובדים ברגעים אלו ומה תביא עימה 2025.
מי מצטרף לAI Video Lab שלנו?
ירון שין (JewBoy), מעצב, אנימטור, מנהל קריאטיבי ואמן.
אייל גרשון, מעצב, יזם, מרצה ויוצר בתחום הAI,
ליאם אסולין, עורך ויוצר סרטים, מורה בקורסי AI.
תמר ירון, עורכת ובמאית, מורה לעריכה (קונספט) מייסדת ומנהלת ג'אמפ קאט אינמושן
Comentários