OCR ทีละเฟรมทำงานเดิมซ้ำ
ละครความยาว 100 นาทีมีเฟรมหลายแสนเฟรม ระบบระดับงานผลิตสามารถเลือกเฟรมตัวอย่างและจัดกลุ่มรายการที่ตรวจพบซ้ำข้ามช่วงเวลา แทนการมองแต่ละเฟรมเป็นงาน OCR ที่ไม่เกี่ยวข้องกัน
การทำความสะอาดงานผลิตต้องระบุข้อความที่ต้องการลบ ปกป้องสิ่งที่ควรคงไว้ สร้างพื้นหลังที่ถูกซ่อนขึ้นใหม่ และส่งมอบต้นฉบับที่สะอาดสำหรับการดึงคำบรรยาย การแปล การพากย์เสียงด้วย AI การตรวจทาน การส่งออก หรือการทำงานอัตโนมัติด้วย API
มีองค์ประกอบโอเพนซอร์สที่มีคุณภาพให้ใช้งานอยู่แล้ว: ระบบ OCR ตรวจจับและรู้จำข้อความได้ โมเดลเติมส่วนที่หายไปในภาพเติมพื้นที่ที่มาสก์ไว้ได้ และโมเดลเติมส่วนที่หายไปในวิดีโอช่วยเพิ่มความสอดคล้องระหว่างเฟรมได้ แต่เวิร์กโฟลว์ระดับงานผลิตต้องรับมือกับวิดีโอยาว ภาษาที่ปะปนกัน การเคลื่อนไหว ใบหน้า ฉลากสินค้า คำบรรยายที่เปลี่ยนทุกไม่กี่วินาที ต้นทุน GPU เวลาแฝงในคิว และความจำเป็นในการส่งต่อแอสเซ็ตที่สะอาดเข้าสู่กระบวนการปรับให้เข้ากับท้องถิ่น
หน้านี้ไม่ได้นำเสนอว่า Weydub เป็นเพียงตัวครอบโมเดลโอเพนซอร์สตัวเดียว เอกสารผลิตภัณฑ์และ API ที่เผยแพร่ต่อสาธารณะระบุถึงเวิร์กโฟลว์ที่ใช้ OCR นำทาง การควบคุมพื้นที่และช่วงเวลา โหมดการลบ ตัวเลือกการกู้คืน งานแบบอะซิงโครนัส และเอาต์พุตที่ดาวน์โหลดได้ โดยหน้านี้ไม่ได้เปิดเผยรายละเอียดการทำงานร่วมกันของโมเดลภายใน
00:00-00:03 ต้นฉบับ: คำบรรยายบทสนทนาภาษาจีนบริเวณกึ่งกลางด้านล่างและข้อความแนวตั้งตรงขอบปรากฏทับฉากละครสั้น ผลลัพธ์: โอเวอร์เลย์ที่เลือกไว้ไม่ปรากฏในเอาต์พุตอีกฝั่งที่แสดงคู่กัน
00:03-00:06 ฉากและตัวแบบยังคงเคลื่อนไหว การตรวจสอบมุ่งดูว่าเฟรมส่วนล่างที่กู้คืนแล้วมีความเสถียรทางภาพหรือไม่ มากกว่าการตัดสินจากภาพนิ่งเพียงภาพเดียว
00:06-00:09 คลิปทั้งคู่ยังคงซิงโครไนซ์กันจนจบ ตัวอย่างนี้ยืนยันได้เพียงผลลัพธ์ที่มองเห็นในคลิปต้นฉบับนี้เท่านั้น ส่วนสื่อจริงที่เป็นตัวแทนของงานผลิตยังต้องผ่านการตรวจสอบ
ละครความยาว 100 นาทีมีเฟรมหลายแสนเฟรม ระบบระดับงานผลิตสามารถเลือกเฟรมตัวอย่างและจัดกลุ่มรายการที่ตรวจพบซ้ำข้ามช่วงเวลา แทนการมองแต่ละเฟรมเป็นงาน OCR ที่ไม่เกี่ยวข้องกัน
ป้าย หน้าจอโทรศัพท์ กล่องแชต โลโก้ บรรจุภัณฑ์ และหมายเลขรุ่นล้วนทำให้ OCR ตรวจพบได้ คุณภาพหมายถึงการลบโอเวอร์เลย์ที่ต้องการลบ พร้อมปกป้องความถูกต้องของฉากและสินค้า
การเติมส่วนที่หายไปในแต่ละภาพแยกกันอาจทำให้พื้นผิวระยิบระยับและขอบภาพสั่นไหว การทำความสะอาดวิดีโอต้องอาศัยการควบคุมตามเวลา เพื่อให้ภาพที่สร้างขึ้นใหม่มีความเสถียรตลอดเฟรมข้างเคียง
ตัวอย่าง Weydub Smart Removal จริงอีกตัวอย่างหนึ่งเชื่อมโยงการตรวจจับข้อความแบบเลือกเฉพาะ กฎการปกป้อง การกู้คืนตามเวลา โหมดการลบที่มีเอกสารระบุไว้ การตรวจสอบ และการส่งมอบเข้าด้วยกัน กราฟตามเวลาและไปป์ไลน์ของตัวอย่างนี้เป็นแบบจำลองระบบเพื่อการอธิบาย ส่วน API และ Batch คือขอบเขตการส่งมอบ ไม่ใช่ระดับคุณภาพเพิ่มเติม
โครงการที่เผยแพร่ต่อสาธารณะเหล่านี้ช่วยอธิบายภาพรวมทางเทคนิคที่กว้างขึ้น โดยเป็นแหล่งอ้างอิงด้านการวิจัยและวิศวกรรม ไม่ใช่การประกาศว่า Weydub พึ่งพา ครอบ หรือเปิดให้เข้าถึงโครงการใดโครงการหนึ่งภายในระบบ
| กลุ่มแหล่งอ้างอิง | สิ่งที่ยืนยันได้ | เหตุใดจึงยังไม่เพียงพอสำหรับกรณีการใช้งานของ Weydub | ข้อกำหนดสำหรับงานผลิต |
|---|---|---|---|
| OCR การตรวจจับข้อความแบบ PaddleOCR / EAST | สามารถตรวจจับและรู้จำข้อความในภาพหรือเฟรมได้ รวมถึงอักษรหลายระบบและการจัดวางที่ท้าทาย | การใช้ OCR แบบง่ายกับทุกเฟรมมีต้นทุนสูง และ OCR ยังตรวจพบข้อความในฉากที่อาจต้องเก็บไว้ด้วย การตรวจจับเพียงอย่างเดียวไม่ได้กำหนดนโยบายการลบ | จัดกลุ่มรายการที่ตรวจพบซ้ำเมื่อเหมาะสม จากนั้นใช้การควบคุมพื้นที่และเวลา รวมถึง remove, keep และ OCR-only ก่อนการกู้คืน |
| การกู้คืนภาพ การเติมส่วนที่หายไปแบบ LaMa | สามารถเติมมาสก์ขนาดใหญ่และพื้นที่ที่หายไปด้วยเนื้อหาพื้นหลังที่ดูสมเหตุสมผลได้ | การกู้คืนเฟรมภาพนิ่งที่ยอดเยี่ยมอาจกะพริบเมื่ออยู่ในวิดีโอ และอาจสร้างรายละเอียดที่ไม่ถูกต้องรอบใบหน้า มือ ลายตาราง คำบรรยายที่ทับเสื้อผ้า หรือรายละเอียดสินค้า | ใช้ตัวเลือกการกู้คืนที่มีให้ บริบทโดยรอบ การปรับแต่งมาสก์ การตรวจสอบความสอดคล้องระหว่างเฟรม และเอาต์พุตที่ตรวจสอบได้ |
| การกู้คืนวิดีโอ การเติมส่วนที่หายไปในวิดีโอแบบ ProPainter | การส่งผ่านข้อมูลข้ามเวลาและการเติมเต็มด้วยโมเดลทรานส์ฟอร์เมอร์ช่วยเพิ่มความสอดคล้องระหว่างเฟรมได้ | การเติมส่วนที่หายไปในวิดีโอใช้ทรัพยากรมากกว่า ช้ากว่า และขยายระบบได้ยากกว่าสำหรับรายการหลายพันตอนหรือวิดีโอสินค้าจำนวนมาก จึงไม่ควรนำมาใช้กับทุกงานโดยไม่พิจารณา | ทดสอบเทียบกับคลิปตัวแทน เลือกโหมดที่เปิดใช้งานหรือตัวเลือกการกู้คืน ควบคุมต้นทุน และตรวจสอบความสอดคล้องตามเวลาก่อนนำไปใช้ในงานผลิต |
สามารถจัดกลุ่มการตรวจจับซ้ำเป็นช่วงเวลา เพื่อให้เวิร์กโฟลว์พิจารณารายการที่อาจเป็นเป้าหมายหนึ่งเหตุการณ์ แทนกล่องซ้ำจำนวนมากในแต่ละเฟรม ตำแหน่ง เวลา ความมั่นใจ ภาษา การเคลื่อนไหว และจุดเปลี่ยนช็อตล้วนเป็นสัญญาณที่มีประโยชน์ต่อปัญหาในระดับระบบนี้
บทอธิบายนี้ใช้กราฟรายการที่อาจเป็นเป้าหมายตามเวลาเพื่ออธิบายปัญหาในระดับระบบ ไม่ได้เปิดเผยอัลกอริทึมภายในที่แน่นอนของ Weydub
การกู้คืนภาพแบบ LaMa แสดงให้เห็นว่าสามารถเติมพื้นที่ที่หายไปได้อย่างไร ส่วนการกู้คืนวิดีโอแบบ ProPainter แสดงให้เห็นว่าเหตุใดการส่งผ่านข้อมูลและบริบทตามเวลาจึงสำคัญ ในบทความนี้ การกำหนดเส้นทางงานผลิตหมายถึงการเลือกโหมดที่เปิดใช้งานหรือตัวเลือกการกู้คืนตามความแน่นอนของพื้นที่เป้าหมาย การเคลื่อนไหว ความซับซ้อน ความต้องการด้านคุณภาพ ต้นทุน และสิทธิ์ของบัญชี เอกสารที่เผยแพร่ต่อสาธารณะยืนยันว่ามีตัวเลือกเหล่านี้ แต่ไม่ได้ยืนยันว่าการเลือกทุกอย่างเป็นระบบอัตโนมัติทั้งหมด
แต่ละเฟรมอาจดูสมเหตุสมผลเมื่อพิจารณาแยกกัน ขณะที่พื้นผิว ขอบภาพ เงา หรือใบหน้าเปลี่ยนไปเล็กน้อยจากเฟรมหนึ่งไปยังเฟรมถัดไป
เฟรมข้างเคียงและสัญญาณการเคลื่อนไหวช่วยจำกัดขอบเขตการสร้างภาพใหม่ และเพิ่มความต่อเนื่องสำหรับกล้องที่เคลื่อนที่ ใบหน้า เสื้อผ้า และพื้นหลังที่มีลวดลาย
บทอธิบายนี้แสดงความรับผิดชอบของเวิร์กโฟลว์ระดับงานผลิต เอกสารสาธารณะของ Weydub ระบุอินพุตสำหรับการลบ มาสก์ โหมด สถานะงานแบบอะซิงโครนัส และเอาต์พุต แต่ไม่ได้เปิดเผยกราฟโมเดล ตัวจำแนก หรือการแบ่งหน้าที่ระหว่างผู้ปฏิบัติงานกับนโยบายระบบที่ใช้ในแต่ละงานอย่างแน่นอน
ยืนยันความยาว ความละเอียด การเคลื่อนไหว ตำแหน่งคำบรรยาย การเปลี่ยนฉาก และระดับความยากที่เป็นตัวแทนก่อนเลือกขั้นตอนการทำงาน
ใช้ OCR และคอมพิวเตอร์วิทัศน์เพื่อระบุตำแหน่งคำบรรยายที่ฝังถาวร กราฟิกข้อความแถบล่าง ลายน้ำ แคปชัน โลโก้ และโอเวอร์เลย์อื่น ๆ ที่อ่านได้
แบบจำลองที่ใช้ในบทอธิบายนี้จัดกลุ่มการตรวจจับซ้ำ เพื่อให้พิจารณาระยะเวลา การเลื่อนตำแหน่ง และบริบทของเฟรมข้างเคียงร่วมกันได้
เลือกทั้งเฟรมหรือเฉพาะพื้นที่ แล้วใช้ remove, keep, OCR-only และช่วงเวลาที่กำหนดเพิ่มได้ เพื่อลดการตรวจจับผิดที่อาจก่อความเสียหาย
ใช้ตัวเลือก Basic หรือ Advanced ที่เปิดใช้งาน จากนั้นตรวจสอบพื้นผิวที่ซับซ้อน การเคลื่อนไหว เงา ใบหน้า มือ ขอบสินค้า และลวดลาย
ส่งคืนวิดีโอสะอาดสำหรับการแปล การพากย์เสียงด้วย AI คำบรรยายใหม่ การตรวจสอบ การดาวน์โหลด หรือการทำงานอัตโนมัติผ่าน API ในขั้นตอนการทำงานที่กว้างขึ้นของ Weydub
Weydub นำประสบการณ์ด้านการปรับสื่อให้เข้ากับท้องถิ่นมาใช้กับละครสั้นและอีคอมเมิร์ซข้ามพรมแดน ซึ่งการลบที่ผิดพลาดอาจลดความดื่มด่ำของผู้ชมหรือบั่นทอนความเชื่อมั่นในสินค้า ต้นฉบับ มาตรฐานการตรวจสอบ ปริมาณงาน และเส้นทางการปรับให้เข้ากับท้องถิ่นในขั้นต่อไปควรเป็นตัวกำหนดเวิร์กโฟลว์
Weydub ระบุโหมด Basic สามแบบและตัวเลือก Advanced สามรายการไว้ในเอกสาร ความพร้อมใช้งาน พารามิเตอร์ ต้นทุน และสิทธิ์การใช้งานแตกต่างกัน ควรทดสอบสื่อที่เป็นตัวแทนก่อนนำไปประมวลผลงานจริง เพราะคุณภาพจะแตกต่างกันตามสื่อต้นฉบับและมาสก์ที่เลือก
ใช้เมื่อไม่ทราบตำแหน่งข้อความที่มองเห็นได้ ข้อความกระจายอยู่หลายจุด หรือครอบคลุมพื้นที่กว้าง และเหมาะกับขอบเขตการลบทั้งเฟรม
ใช้เมื่อคำบรรยาย โลโก้ กราฟิกข้อความช่วงล่าง เบาะแสเนื้อเรื่อง หรือเลขทะเบียนยังคงปรากฏอยู่ในบริเวณที่ทราบตำแหน่งแน่ชัด
ใช้สำหรับคำบรรยายแบบเลื่อนหรือข้อความเคลื่อนไหว เมื่อบัญชีเปิดใช้โหมดนี้แล้ว
ใช้เมื่อบัญชีเปิดใช้ Advanced Lite แล้ว และตรวจสอบพารามิเตอร์ ค่าใช้จ่าย และผลลัพธ์จากคลิปที่เป็นตัวแทนแล้ว
ใช้เวิร์กโฟลว์ Advanced Pro ที่เปิดใช้งาน เมื่อสามารถจำกัดพื้นที่ที่ได้รับผลกระทบให้อยู่ในกรอบกำหนดพื้นที่ที่ทราบตำแหน่งแน่ชัดได้
ใช้เวิร์กโฟลว์ Advanced Pro ที่เปิดใช้งาน เมื่อจำเป็นต้องประมวลผลทั้งเฟรมแทนการประมวลผลแบบกรอบกำหนดพื้นที่
ข้อได้เปรียบของผลิตภัณฑ์ไม่ได้อยู่ที่โมเดล OCR เพียงโมเดลเดียวหรือโมเดลอินเพนต์เพียงโมเดลเดียว แต่อยู่ที่การเชื่อมโยงระหว่างการควบคุมการลบสิ่งรบกวน การตรวจสอบ การส่งมอบผลลัพธ์ และเวิร์กโฟลว์การทำสื่อให้เข้ากับท้องถิ่นในภาพรวม
ละครสั้นและอีคอมเมิร์ซมักมีแถบคำบรรยาย โอเวอร์เลย์ ป้ายกำกับสินค้า ใบหน้า การตัดภาพรวดเร็ว และรูปแบบแคมเปญซ้ำ ๆ ระบบได้รับการออกแบบมาโดยคำนึงถึงกรณีเหล่านี้
การกำหนดเส้นทางการผลิตคือการเลือกโหมดหรือตัวเลือกการกู้คืนที่เปิดใช้งานตามความแน่ชัดของตำแหน่ง การเคลื่อนไหว ความซับซ้อน ความต้องการด้านคุณภาพ ค่าใช้จ่าย และสิทธิ์การใช้งาน เอกสารสาธารณะไม่ได้อ้างว่าทุกตัวเลือกทำงานโดยอัตโนมัติทั้งหมด
วิดีโอที่ลบสิ่งรบกวนแล้วจะต่อยอดไปสู่การแยกคำบรรยาย การแปล การพากย์เสียงด้วย AI การซิงโครไนซ์ การตรวจสอบ การดาวน์โหลด และระบบอัตโนมัติผ่าน API การเชื่อมต่อนี้ทำให้เครื่องมือลบกลายเป็นเวิร์กโฟลว์ของ Studio
คำจำกัดความสั้น ๆ เหล่านี้แยกการควบคุมผลิตภัณฑ์ แนวคิดทั่วไปด้านคอมพิวเตอร์วิทัศน์ และโมเดลเชิงอธิบายที่ใช้ในบทความนี้ออกจากกัน
เป็นการลบข้อความที่ฝังอยู่ในพิกเซลของวิดีโอ แทนที่จะเป็นข้อความที่จัดเก็บอยู่ในแทร็กคำบรรยายแยกต่างหาก เวิร์กโฟลว์ต้องระบุข้อความที่ต้องการลบ จำกัดขอบเขตของสิ่งที่จะลบ สร้างพื้นหลังที่ถูกซ่อนไว้ขึ้นใหม่ และส่งคืนวิดีโอที่สะอาด
OCR สามารถระบุตำแหน่งและรู้จำข้อความที่มองเห็นได้ แต่ไม่ได้ตัดสินใจว่าควรลบสิ่งใด วิดีโอยังมีป้ายต่าง ๆ หน้าจอโทรศัพท์ ป้ายกำกับสินค้า โลโก้ ข้อความในอินเทอร์เฟซ และหมายเลขรุ่นที่อาจต้องคงไว้
เป็นแบบจำลองระบบที่มีประโยชน์สำหรับจัดกลุ่มการตรวจพบซ้ำ ๆ ในเฟรมใกล้เคียงให้เป็นเหตุการณ์ผู้สมัครเดียวกัน หน้านี้ใช้แนวคิดดังกล่าวเพื่ออธิบายเท่านั้น ไม่ใช่การเปิดเผยการนำไปใช้งานภายในที่แน่นอนของ Weydub
การควบคุมที่เปิดเผยต่อสาธารณะประกอบด้วยโหมดเต็มเฟรม โหมดระบุพื้นที่ และโหมดข้อความเคลื่อนไหว รวมถึง remove, keep, remove_only_ocr, และเวลาเริ่มต้น/สิ้นสุดที่เลือกได้ การควบคุมเหล่านี้ช่วยลดความเสี่ยง แต่ไม่รับประกันว่าจะไม่มีข้อผิดพลาดเลย
การอินเพนต์ในรูปภาพจะเติมพื้นที่ที่ถูกมาสก์ในเฟรมเดียว ส่วนการอินเพนต์ในวิดีโอยังใช้เฟรมข้างเคียง การเคลื่อนไหว หรือบริบทตามเวลาเพื่อปรับปรุงความต่อเนื่อง เพราะภาพนิ่งที่ดูสมเหตุสมผลอาจยังเกิดการกะพริบขณะเคลื่อนไหว
ใช้แบบเต็มเฟรมเมื่อตำแหน่งไม่ทราบแน่ชัดหรือกระจัดกระจาย ใช้มาสก์พื้นที่สำหรับบริเวณที่คาดเดาได้หรือจำกัดอยู่ในช่วงเวลา และใช้โหมดข้อความเคลื่อนไหวสำหรับคำบรรยายแบบเลื่อนหรือเคลื่อนที่เมื่อเปิดใช้งาน
API ระบุ Basic แบบเต็มหน้าจอ, Basic แบบระบุพื้นที่, Basic แบบข้อความเคลื่อนไหว, Advanced Lite, Advanced Pro แบบกรอบกำหนดพื้นที่ และ Advanced Pro แบบเต็มหน้าจอ โดยมีพารามิเตอร์ ค่าใช้จ่าย และข้อกำหนดด้านสิทธิ์การใช้งานแตกต่างกัน
Studio จัดการโปรเจกต์และแบตช์ที่ทำซ้ำได้ Works ติดตามสถานะงานและส่งมอบผลลัพธ์ ส่วน API ส่งงานแบบอะซิงโครนัสและรองรับ callback หรือ polling หลังจากทีมตรวจสอบสื่อที่เป็นตัวแทนแล้ว
ตรวจสอบส่วนต้น ตรงกลาง และส่วนท้ายของผลลัพธ์ที่เป็นตัวแทน โดยเฉพาะใบหน้า มือ ขอบสินค้า โลโก้ พื้นหลังที่มีลวดลาย การตัดภาพรวดเร็ว และบริเวณที่มีการเคลื่อนไหวสูง ไม่ควรนำเสนอวิธีการลบใด ๆ ว่าให้ผลโดยไม่สูญเสียรายละเอียดสำหรับต้นฉบับทุกประเภท
ลิงก์เหล่านี้รวมไว้เป็นแหล่งอ้างอิงทางเทคนิคสำหรับผู้อ่านที่ต้องการทำความเข้าใจงานวิจัยและระบบนิเวศโอเพนซอร์สในภาพรวม ลิงก์เหล่านี้ไม่ได้อ้างว่า Weydub เป็นเพียงตัวห่อหุ้มโปรเจกต์ใดโปรเจกต์หนึ่ง
สำหรับทีมส่วนใหญ่ เวิร์กโฟลว์ที่เหมาะสมคือ ลบสิ่งรบกวนจากวิดีโอต้นฉบับ แยกหรือสร้างคำบรรยาย แปล พากย์เสียง ตรวจสอบ และส่งออก Weydub มีจุดแข็งมากที่สุดเมื่อการลบคำบรรยายเป็นส่วนหนึ่งของเส้นทางการผลิตเต็มรูปแบบนั้น