การดึงคำบรรยาย

OCR และ ASR เป็นจุดเริ่มต้นที่แตกต่างกัน

ข้อความบนหน้าจอและบทสนทนาที่พูดต้องใช้หลักฐาน การแก้ไข และกระบวนการกำหนดเวลาที่แตกต่างกัน

ข้อสรุปสำคัญ

• Video OCR อ่านข้อความที่ปรากฏอยู่แล้วในเฟรม
• ASR ถอดเสียงพูดจากแทร็กเสียง
• ไม่ว่าจะใช้แนวทางใด ก็ยังต้องจัดการเรื่องการกำหนดเวลา การกรอง และการตรวจสอบ

Video OCR มีประโยชน์เมื่อแหล่งต้นฉบับมีคำบรรยายฝังในวิดีโอหรือข้อความบทสนทนาอื่น ๆ ที่มองเห็นได้ ขั้นตอนการทำงานที่ใช้งานได้จริงจะค้นหาข้อความที่เป็นไปได้ในหลายเฟรม จัดกลุ่มการตรวจพบซ้ำตามเวลา กรองข้อความในฉากและผลบวกลวง จากนั้นเปลี่ยนบริเวณที่ผ่านการคัดกรองเป็นคิวพร้อมเวลา

ASR เริ่มต้นจากเสียงพูด มีประโยชน์เมื่อเสียงชัดเจนและไม่มีข้อความต้นฉบับ แต่ยังต้องจัดการการแบ่งส่วน ผู้พูด ช่วงหยุด สำเนียง การพูดทับกัน และความเร็วในการอ่านคำบรรยาย ผลลัพธ์ของ ASR ไม่ได้เทียบเท่ากับข้อความที่มองเห็นในภาพโดยอัตโนมัติ

จุดเริ่มต้นที่เหมาะสมขึ้นอยู่กับต้นฉบับ แทร็กคำบรรยายที่สะอาดอาจเป็นอินพุตที่ดีที่สุด คำบรรยายฝังในวิดีโออาจทำให้ OCR เป็นเส้นทางโดยตรง ส่วนเสียงพูดที่ไม่มีข้อความอาจต้องใช้ ASR ระบบการผลิตควรแสดงเส้นทางเหล่านี้อย่างชัดเจน เพื่อให้ทีมทราบว่าอะไรถูกสังเกต อะไรเป็นการอนุมาน และอะไรยังต้องตรวจสอบ

เลือกหลักฐานก่อนเลือกเครื่องมือ

ตรวจสอบต้นฉบับว่ามีแทร็กคำบรรยายที่สะอาด ข้อความฝังในวิดีโอ เสียงพูดที่ฟังเข้าใจได้ เพลงหรือเอฟเฟกต์เสียง ผู้พูดที่พูดทับกัน และข้อความในฉากหรือไม่ สภาพของต้นฉบับเป็นตัวกำหนดว่าควรใช้ OCR, ASR, ไฟล์ที่จัดเตรียมไว้ หรือมากกว่าหนึ่งแนวทาง

OCR ติดตามข้อความที่มองเห็นตามช่วงเวลา

เส้นทาง Video OCR ที่เชื่อถือได้จะตรวจหาข้อความที่เป็นไปได้ จัดกลุ่มการตรวจพบในเฟรมที่อยู่ติดกัน กรองโลโก้และข้อความในฉาก แก้ไขข้อผิดพลาดในการจดจำ และสร้างคิวที่กำหนดเวลาไว้ บริเวณและช่วงเวลายังคงเป็นหลักฐานที่มีประโยชน์สำหรับการตรวจสอบและการปรับแก้ภาพ

1. ตรวจหาข้อความที่เป็นไปได้ในเฟรมตัวแทน
2. จัดกลุ่มการตรวจพบซ้ำเป็นคิวตามเวลา
3. กรองข้อความในฉากและผลบวกลวง
4. แก้ไขถ้อยคำและเปรียบเทียบกับเสียงเมื่อเหมาะสม
5. ตรวจสอบการกำหนดเวลา การแบ่งช่วง และความเร็วในการอ่านก่อนส่งออก

ASR ติดตามเสียงพูด ไม่ใช่ภาพ

ASR สามารถถอดบทสนทนาได้เมื่อเสียงใช้งานได้ แต่ไม่ทราบว่าข้อความที่มองเห็นใดเป็นส่วนหนึ่งของบทสนทนา การเปลี่ยนผู้พูด ช่วงหยุด สำเนียง เพลง และบทพูดที่ทับกันต้องผ่านการแบ่งส่วนและการตรวจสอบ

• ตรวจสอบความชัดเจนของเสียงและสัญญาณรบกวนเบื้องหลัง
• ทำเครื่องหมายการเปลี่ยนผู้พูดและการพูดทับกัน
• ควบคุมความยาวคิว ช่วงหยุด และความเร็วในการอ่านคำบรรยาย
• เปรียบเทียบชื่อและศัพท์เฉพาะกับระเบียนซีรีส์

ทำให้เส้นทางทั้งสองชัดเจน

สามารถเปรียบเทียบหรือใช้ OCR และ ASR ร่วมกันได้ แต่ไม่ควรอธิบายว่าวิธีหนึ่งเป็นสิ่งทดแทนอีกวิธีหนึ่งโดยอัตโนมัติ ให้บันทึกว่าหลักฐานใดทำให้เกิดคิวแต่ละรายการ และมีการแก้ไขอะไรบ้าง

คำถามที่พบบ่อย

ควรใช้ OCR และ ASR ร่วมกันเสมอหรือไม่

ไม่ ให้ใช้แนวทางที่ต้นฉบับรองรับ การใช้ร่วมกันอาจช่วยตรวจสอบไขว้คำบรรยายฝังในวิดีโอและเสียงพูดที่ชัดเจน แต่ก็ทำให้เกิดขั้นตอนการกระทบยอดเพิ่มขึ้นอีกขั้นหนึ่ง

ผลลัพธ์จาก OCR พร้อมนำไปแปลทันทีหรือไม่

โดยปกติยังไม่พร้อม ต้องกรองข้อความในฉาก แก้ไขการจดจำ ตรวจสอบจังหวะเวลาและความเร็วในการอ่าน และตรึงเวอร์ชันต้นฉบับก่อน

ASR กู้คืนข้อความที่ไม่เคยปรากฏในวิดีโอได้หรือไม่

สามารถถอดบทสนทนาจากเสียงที่ใช้งานได้ แต่เสียงพูดนอกจอ การพูดทับกัน เพลง และการออกเสียงที่ไม่ชัดเจนยังต้องผ่านการตรวจสอบ