เป็นโมเดล AI สร้างวิดีโอในระดับ state-of-the-art สุดๆ ชื่อว่า Lumiere
จากเดิมที Google มีตัวสร้างวิดีโอที่ชื่อว่า VideoPoet อยู่แล้ว
VideoPoet – Google Research
A Large Language Model for Zero-Shot Video Generation. VideoPoet demonstrates simple modeling method that can convert any autoregressive language model into a high quality video generator.
กับตัวสร้างรูปชื่อ ImageGen
Imagen Video
High-definition video Generation with Diffusion Models
แต่ Lumiere ออกมา นี่ดูเจ๋งกว่าตัวเดิมมาก สามารถสร้าง Short-form Video คุณภาพสูงได้เลย
ข้อมูลเบื้องต้น
- Lumiere ถูกเทรนด้วยชุดข้อมูลเป็นวิดีโอกว่า 30 ล้านวิดีโอ ความยาว 80 เฟรม พร้อมการใส่ text caption เข้าไปเพื่อฝึกมัน
- สามารถสร้างวิดีโอได้ 16 เฟรม ต่อวินาที
- ซึ่งไม่มีการบอกว่าเอาวิดีโอ 30 ล้านวิดีโอนี่ มีแหล่งที่มาจากไหนเหมือนกัน
ผลงานนี้ เป็นงานวิจัยร่วมกันระหว่างทีมงาน Google Research และมหาวิทยาลัยชั้นนำด้านเทคโนโลยีของอิสราเอล คือ
Lumiere มีฟีเจอร์เด็ดอยู่ 4 อย่าง คือ
- Video Editing หรือการแก้ไขวิดีโอ - แก้ได้ด้วยการ Prompt คำสั่งเข้าไปเลย (ง่ายแต่เทพมาก)
- Stylized Generation - สามารถสร้างวิดีโอจาก reference ที่เราให้ได้เลย (ให้ ref เป็นรูปภาพหรือวิดีโอก็ได้) - โมเดลจะเรียนรู้สไตล์ที่ใส่ไป แล้วสร้างวิดีโอออกมาใช้สไตล์นั้น เทพไปอีกกกกก’
- Image & Text to Video - ไม่ใช่แค่ใส่ Prompt เป็นข้อความนะ โยนรูปภาพใส่เข้าไป มันเจนเป็นวิดีโอให้โดยใช้รูปนั้นอีก เช่น โยนรูปเราหน้านิ่งๆเข้าไป แล้วสั่งให้มันสร้างรูปเรากำลังหัวเราะ มันทำได้ เทพเกินไปละ
- Cinemagraphs - สามารถเลือกแค่บางส่วนของรูปภาพนั้น แล้วทำให้มันเคลื่อนไหวเป็นวิดีโอได้
แหล่งข้อมูล
ข้อมูลทั้งหมดนี้ เป็นงานวิจัยของ Google ที่เผยแพร่ลงใน GitHub
Lumiere - Google ResearchSpace-Time Text-to-Video diffusion model by Google Research.lumiere-video.github.io
Paper งานวิจัย
หนึ่งในนักวิจัย ชื่อ Hila Chefer จากมหาวิทยาลัย Tel Aviv เป็นคนโพสต์ลงใน X