เทคโนโลยีการสร้างคำบรรยาย
คำบรรยายสำหรับงานผลิตไม่ใช่บทถอดเสียงที่เพียงเติมไทม์สแตมป์ภายหลัง Weydub ใช้กระบวนการทำงานอิสระสองแบบ ได้แก่ Video OCR ตามเวลาสำหรับข้อความที่ฝังอยู่ในภาพแล้ว และ ASR ที่พร้อมใช้สร้างคำบรรยายสำหรับบทสนทนาที่มีอยู่เฉพาะในเสียง
你能原谅爸爸吗
เฟรมต้นฉบับหนึ่งเฟรมอาจมีข้อความที่อ่านได้หลายประเภท มีเพียงบทสนทนาเท่านั้นที่อยู่ในไทม์ไลน์คำบรรยาย
การทดสอบเปรียบเทียบละครสั้นเรื่องเดียวกัน
Weydub ประเมินกระบวนการ OCR สำหรับคำบรรยายฝังในวิดีโอเทียบกับระบบ ASR พื้นฐานแบบเสียงอย่างเดียวที่ผ่านการทดสอบหนึ่งระบบ บนชุดตรวจสอบความถูกต้องของละครสั้นเรื่องเดียวกัน โดยใช้ข้อมูลอ้างอิงคำบรรยายบรรณาธิการที่มนุษย์ตรวจทานแล้วเป็นเกณฑ์อ้างอิงหลัก
ความแตกต่างในระดับคิวยังคงมากแม้จับคู่แบบยืดหยุ่นต่อขอบเขตแล้ว สำหรับทีมทำวิดีโอให้เข้ากับท้องถิ่น ความแตกต่างนี้หมายถึงบรรทัดที่ขาดน้อยลง เหตุการณ์บทสนทนาที่พลาดน้อยลง และไทม์ไลน์ต้นทางที่เชื่อถือได้มากขึ้นก่อนการแปลและการพากย์
คำอธิบายเชิงเทคนิค
ติดตามเส้นทางสัญญาณอิสระสองสายจากวิดีโอต้นฉบับไปสู่ SRT ที่แก้ไขและกำหนดเวลาเรียบร้อยแล้ว แล้วดูว่าเหตุใดความแม่นยำระดับคิวจึงสำคัญกว่าคะแนนการรู้จำเพียงค่าเดียว
เลือกแหล่งต้นทางที่ดีกว่า
ใช้ OCR เมื่อวิดีโอมีคำบรรยายแบบฝังที่เชื่อถือได้อยู่แล้ว ใช้ ASR เมื่อบทสนทนามีอยู่ในเสียง แต่ไม่มีข้อความคำบรรยายที่ใช้การได้ปรากฏให้เห็น
ละครสั้นทำให้เห็นความแตกต่างได้ชัดเจน ดนตรี เอฟเฟกต์ สำเนียง การร้องไห้ การตะโกน การกระซิบ เสียงพูดซ้อนกัน และบทสนทนาภาษาพูด ล้วนรบกวนการรู้จำเสียงพูดได้ แทร็กคำบรรยายที่ตัดต่ออย่างมืออาชีพมักสะท้อนบทสนทนาที่ต้องการได้ชัดเจนกว่า
เหมาะที่สุดสำหรับคำบรรยายฝังในวิดีโอ คำบรรยายประกอบ และข้อความบทสนทนาที่มองเห็นได้ ความท้าทายสำคัญคือการเปลี่ยนการตรวจจับซ้ำในแต่ละเฟรมให้เป็นไทม์ไลน์เดียวที่เสถียร พร้อมคัดกรองข้อความในฉากออก
เหมาะที่สุดเมื่อซาวด์แทร็กเป็นแหล่งบทสนทนาเพียงแหล่งเดียว การรู้จำเป็นเพียงขั้นตอนแรก การแบ่งช่วงคำบรรยายให้อ่านง่าย การกำหนดเวลา ความยาวบรรทัด และการเปลี่ยนผู้พูดต่างหากที่กำหนดว่าผลลัพธ์จะใช้งานได้หรือไม่
OCR วิดีโอ
ที่ 30 fps วิดีโอหนึ่งนาทีมี 1,800 เฟรม การเรียกใช้ OCR ทั่วไปแยกกันในแต่ละเฟรมทำให้ต้องทำงานซ้ำและได้กล่องข้อความซ้ำกัน ผลิตภัณฑ์คำบรรยายวิดีโอต้องเชื่อมการสังเกตเหล่านั้นเข้าด้วยกันเป็นเหตุการณ์ที่มีการกำหนดเวลา
เฟรม 01500.50s
เฟรม 02000.65s
เฟรม 02400.80s
เฟรม 02900.95s
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
ใช้พื้นที่ที่เกี่ยวข้องหรือทั้งเฟรมเพื่อค้นหาข้อความที่อาจอยู่ในแทร็กบทสนทนา
จัดกลุ่มการตรวจจับที่อยู่ใกล้กันตามข้อความ ตำแหน่ง และการปรากฏต่อเนื่อง เพื่อประมาณเหตุการณ์ที่เสถียร
ลดข้อความในฉากที่ปรากฏโดยบังเอิญและแก้ไขสัญญาณรบกวนจากการรู้จำที่เห็นได้ชัด โดยไม่แต่งเติมบทสนทนา
รวมส่วนย่อย กำหนดขอบเขตเริ่มต้น/สิ้นสุด และส่งออกคิวคำบรรยาย SRT ที่แก้ไขได้
การควบคุมผลบวกลวง
ในเฟรมอาจมีป้าย หน้าจอโทรศัพท์ ฉลากสินค้า โลโก้ ป้ายชื่อ คำเตือน และข้อความส่งเสริมการขายซ้อนทับ Weydub เปิดให้กรองข้อความในฉากได้ เพราะแทร็กคำบรรยายควรมีบทสนทนา ไม่ใช่ทุกพิกเซลที่อ่านได้
ประโยคที่พูดควรอยู่ในแทร็กคำบรรยายที่กำหนดเวลาไว้
ข้อความทางกฎหมายหรือข้อความจากฝ่ายผลิตที่ปรากฏต่อเนื่องไม่ใช่บทสนทนา
ข้อความซ้อนทับที่ระบุตัวตนของตัวละครควรอยู่นอกไทม์ไลน์บทสนทนา
พารามิเตอร์ มาตราส่วน และข้อความซ้อนทับจากอุปกรณ์ยังคงเป็นส่วนหนึ่งของภาพ
OCR วิดีโอต้องจำแนกข้อความก่อนจึงจะสร้างไฟล์คำบรรยายที่ใช้งานได้
ASR ที่พร้อมใช้สร้างคำบรรยาย
ASR แบบดั้งเดิมรู้จำเสียงพูด การสร้างคำบรรยายยังต้องกำหนดช่วงคำบรรยาย โดยแบ่งสตรีมคำให้เป็นคิวที่กระชับ อ่านง่าย และกำหนดเวลาไว้ โดยสอดคล้องกับความหมายของประโยค ช่วงหยุด การผลัดกันพูดของผู้พูด และข้อจำกัดด้านการแสดงผล
เราไม่สามารถส่งย่อหน้าเดียวไปยังเครื่องเล่นได้ เพราะคำบรรยายต้องมีขอบเขตที่อ่านง่าย และช่วงการพูดของผู้พูดแต่ละคนต้องชัดเจน
เราไม่สามารถส่งย่อหน้าเดียว
Aไปยังเครื่องเล่นได้
Aคำบรรยายต้องมีขอบเขตที่อ่านง่าย,
Bและช่วงการพูดของผู้พูดแต่ละคนต้องชัดเจน
Bบริบทโอเพนซอร์ส
โครงการสาธารณะวัดตัวชี้วัดที่แตกต่างกันบนชุดข้อมูลที่แตกต่างกัน มีประโยชน์ในการแสดงให้เห็นว่าความแม่นยำเปลี่ยนแปลงมากเพียงใดตามชุดอักขระ ภาษา สัญญาณรบกวน และเงื่อนไขการบันทึก แต่ไม่ใช่ลีดเดอร์บอร์ดเดียวสำหรับความพร้อมด้านคำบรรยายวิดีโอ
ความแม่นยำในการรู้จำจากชุดข้อมูลหลายภาษาที่เผยแพร่และจำแนกตามชุดอักขระ ตัวเลขนี้วัดการรู้จำข้อความ ไม่ใช่ขั้นตอนการทำงานด้านคำบรรยายวิดีโอแบบครบวงจรตามเวลา
อ่านผลการทดสอบ PaddleOCRบทความเดียวกันรายงาน 2.7% จาก LibriSpeech clean, 25.5% จากเสียงพูดที่มีสัญญาณรบกวนของ CHiME-6 และ 36.4% จากเสียงพูดระยะไกลของ AMI เงื่อนไขการบันทึกทำให้ผลลัพธ์เปลี่ยนแปลงอย่างมาก
อ่านบทความ Whisperการดำเนินงาน ไม่ใช่ตัวชี้วัดเชิงภาพลักษณ์
ตลอดซีรีส์ที่ดำเนินต่อเนื่องเป็นเวลานาน ความหนาแน่นของข้อผิดพลาดต่ำทำให้ตรวจทานเฉพาะจุดได้อย่างมีเป้าหมาย ส่วนความหนาแน่นของข้อผิดพลาดสูงบังคับให้ผู้ปฏิบัติงานตรวจทานทีละบรรทัด ทำให้การแก้ไขคำบรรยายกลายเป็นคอขวดในการผลิต
การแก้ไขแต่ละครั้งต้องมีคนค้นหาคิว เปิดดูบริบทซ้ำ ตรวจสอบถ้อยคำที่ต้องการ แก้ไข และตรวจสอบอีกครั้ง เมื่อข้อผิดพลาดเกิดขึ้นหนาแน่น ผู้ปฏิบัติงานจะเลิกไว้วางใจผลลัพธ์และตรวจทานทุกบรรทัด
คุณภาพการปรับให้เข้ากับท้องถิ่น
ข้อผิดพลาดด้านการแปลหรือการพากย์เสียงที่ดูเหมือนเกิดขึ้นภายหลังจำนวนมากเริ่มต้นตั้งแต่ขั้นตอนก่อนหน้า คำต้นทางที่ผิด ขอบเขตคิวที่ไม่ดี หรือการเปลี่ยนผู้พูดที่ไม่ถูกต้องจะถูกส่งต่อไปยังโมเดลทุกตัวในขั้นตอนถัดไป ดูว่าไทม์ไลน์ต้นทางที่เชื่อถือได้ส่งต่อไปยัง การแปลคำบรรยายระดับซีรีส์ที่คำนึงถึงบริบท และจากนั้นยังรองรับ การพากย์เสียงด้วย AI ที่คำนึงถึงตัวละครและการจัดแนวภาพและเสียง.
การส่งมอบงานผลิต
คุณภาพการรู้จำสำคัญ แต่การผลิตยังต้องมีชุดงาน การติดตามสถานะ ผลลัพธ์ที่แก้ไขได้ การส่งผลกลับผ่าน callback และการส่งต่องานที่ราบรื่นไปยังการแปลและการพากย์เสียงด้วย AI
อัปโหลดหลายตอน เลือก OCR หรือ ASR สำหรับแต่ละแหล่งข้อมูล และเก็บงานซีรีส์ที่ทำซ้ำได้ไว้ในพื้นที่ทำงานการผลิตเดียว
สำรวจขั้นตอนการทำงานของ Studioตรวจสอบสถานะงาน เปิดผลลัพธ์ที่เสร็จแล้ว ดาวน์โหลด SRT ที่แก้ไขได้ และดำเนินการต่อไปยังการแปลหรือการพากย์เสียง
อ่านคู่มือการสร้างส่งงาน OCR หรือ ASR เก็บ ID ของโปรเจกต์และงาน จากนั้นใช้การ polling หรือการส่งผ่าน callback ในไปป์ไลน์สื่อของคุณเอง
อ่านเอกสารอ้างอิง APIคำตอบที่ชัดเจน
คำนิยามสำหรับผู้ปฏิบัติงาน นักพัฒนา เครื่องมือค้นหา และระบบ AI ที่ต้องการคำอธิบายขั้นตอนการทำงานอย่างแม่นยำ
การสร้างคำบรรยายด้วย AI จะแปลงข้อความที่มองเห็นหรือบทสนทนาที่พูดเป็นคิวคำบรรยายพร้อมเวลา ผลลัพธ์สำหรับการผลิตประกอบด้วยข้อความ เวลาเริ่มต้นและสิ้นสุด การแบ่งคิวให้อ่านง่าย ข้อมูลภาษา และรูปแบบที่แก้ไขได้ เช่น SRT
ได้ OCR ในวิดีโอสามารถตรวจจับข้อความที่ฝังอยู่ในเฟรม จัดกลุ่มการตรวจจับซ้ำตามช่วงเวลา ประเมินขอบเขตคิว กรองข้อความในฉากที่ไม่เกี่ยวข้อง และส่งออกคิวคำบรรยายพร้อมเวลาได้
เมื่อคำบรรยายที่ฝังอยู่มีความถูกต้อง OCR จะอ่านสัญญาณข้อความจากงานตัดต่อ ซึ่งได้รับผลกระทบจากดนตรี เอฟเฟกต์ สำเนียง การร้องไห้ การตะโกน การกระซิบ และบทสนทนาที่พูดทับซ้อนกันน้อยกว่า
ทรานสคริปต์อาจเป็นย่อหน้ายาวเพียงย่อหน้าเดียว หรือมีขอบเขตที่ไม่เหมาะกับความเร็วในการอ่าน ASR ที่พร้อมสำหรับคำบรรยายต้องสร้างคิวที่กระชับและมีการกำหนดเวลา โดยแบ่งตามความหมายและการเปลี่ยนผู้พูดอย่างเหมาะสม
ไม่ OCR และ ASR เป็นโหมดการสร้างที่แยกจากกัน ทีมสามารถเปรียบเทียบผลลัพธ์ระหว่างการตรวจทานได้ แต่ Weydub ไม่ได้อธิบายทุกงานว่าเป็นขั้นตอนการทำงาน OCR/ASR ที่ผสานรวมโดยอัตโนมัติ
สร้างไทม์ไลน์ต้นฉบับให้ดียิ่งขึ้น
เลือก OCR สำหรับข้อความที่ฝังอยู่ หรือ ASR สำหรับเสียงพูด ตรวจทาน SRT ที่มีการกำหนดเวลา แล้วดำเนินการต่อไปยังการแปล การพากย์เสียงด้วย AI และการส่งออก
เริ่มต้นใช้งาน Weydub