[น้อยแต่มาก] หลัง Microsoft ได้เปิดตัว Bitnet.cpp โมเดล AI เวอร์ชั่นย่อส่วน ใช้ได้แม้มีซีพียูออนบอร์ด แต่ยังคงประสิทธิภาพ ล่าสุดได้มี ‘ตัวช่วย’ โมเดล AI สร้างคลิป เผยสามารถสร้างคลิปสั้น 60 วินาที ผ่านการ์ดจอที่มี VRAM เพียง 6GB
Lvmin Zhang นักพัฒนาเลื่องชื่อจาก Github ร่วมมือกับ Maneesh Agrawala ศาสตราจารย์ด้านวิทยาการคอมฯ จากมหาวิทยาลัยสแตนฟอร์ด เปิดตัว FramePack สถาปัตยกรรม Neural Network แบบใหม่ ช่วยลดภาระโมเดล AI สร้างคลิปวิดีโอ (Video Diffusion) ให้ใช้ชิปประมวลผลที่น้อยลงได้
ปกติโมเดล Video Diffusion หากใช้งานแบบออฟไลน์ ก็จำเป็นต้องมีการ์ดจอที่มาพร้อม VRAM ขนาด 12GB ขึ้นไป แต่สำหรับตัว FramePack ก็ช่วยให้ใช้โมเดล Video Diffusion หรือ AI สร้างคลิปผ่านการ์ดจอแรม 6GB ได้เลย สืบเนื่องจากเทคนิค Multi-Stage และ drifting ที่ช่วยย่อขนาดเฟรมวิดีโอเป็น context กับคำนวนเฟรมวิดีโอล่วงหน้า จนลดภาระการประมวลผลได้นั้นเอง
ดูเบื้องหลังการทำงานอย่างละเอียดได้ที่ https://lllyasviel.github.io/frame_pack_gitpage/
อย่างไรก็ตาม แม้ FramePack จะช่วยให้ Video Diffusion ใช้ VRAM ได้น้อยลง แต่ก็ต้องแลกกับคุณภาพวิดีโอที่มีความละเอียดน้อยลง กับเวลาในการประมวลผลที่นานขึ้น และได้ผลลัพธ์ที่แตกต่างกันไป โดยขึ้นอยู่กับการ์ดจอที่ใช้งานเลย
ท้ายนี้ตัว FramePack รองรับการใช้งานร่วมกับการ์ดจอที่มีฟีเจอร์ FP16 และ BF16 ซึ่งพบได้ใน RTX 30/40/50 ของ Nvidia
ส่วนใครอยากลองใช้งาน ลองไปดูได้ที่ https://github.com/lllyasviel/FramePack
ที่มา : Tomshardware
