การแยกคำบรรยาย

ใช้เวิร์กโฟลว์นี้เพื่อสร้างไฟล์คำบรรยายจากวิดีโอ Weydub รองรับวิธีการแยกสองแบบ:

• การแยกด้วย OCR สำหรับคำบรรยายแบบฝังถาวรที่มองเห็นอยู่แล้วในเฟรมวิดีโอ
• การแยกด้วย ASR สำหรับบทสนทนาที่เป็นเสียงพูดในแทร็กเสียง

ต้องการตรวจสอบคุณภาพผลลัพธ์ก่อนเริ่มพัฒนาหรือไม่ ลองใช้เวิร์กโฟลว์บนเว็บของ Weydub ที่สอดคล้องกัน: สร้างคำบรรยาย

สำหรับคำอธิบายระดับระบบเกี่ยวกับการทำ OCR กับวิดีโอตามลำดับเวลา การกรองข้อความในฉาก และการแบ่งส่วน ASR ที่พร้อมใช้สร้างคำบรรยาย โปรดอ่าน การสร้างคำบรรยายด้วย AI โดยใช้ OCR สำหรับวิดีโอและ ASR

ปลายทาง

POST /v-w-c/gateway/ve/work/free

การแยกคำบรรยายทำงานแบบอะซิงโครนัส ให้บันทึก body.idProject และ body.dataList[].id จากนั้นใช้ โมเดลงานแบบอะซิงโครนัส สำหรับการโพล คอลแบ็ก พฤติกรรมการลองใหม่ และการลงนามคอลแบ็ก

การเข้าถึงและขีดจำกัด

เลือก OCR หรือ ASR

อย่าใช้ OCR เพื่อถอดเสียงวิดีโอที่มีเฉพาะเสียงพูด อย่าใช้ ASR เพื่ออ่านข้อความคำบรรยายแบบฝังถาวรในวิดีโอที่ไม่มีเสียง

เพย์โหลดการแยกคำบรรยายด้วย OCR

ใช้ OCR เมื่อคำบรรยายฝังอยู่ในภาพวิดีโอแล้ว

{
  "urls": ["https://example.com/video.mp4"],
  "needChineseOcclude": 14,
  "videoInpaintLang": "en",
  "lang": "en",
  "videoInpaintMasks": "[{\"type\":\"trans_only_ocr\",\"region\":[[0,0.8],[1,0.8],[1,1],[0,1]]}]",
  "extraOptions": "{\"extra_inpaint_config\":{\"auto_correct_on\":false,\"strip_last_punct_on\":true,\"scene_filter_on\":false}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

หมายเหตุ:

• needChineseOcclude ต้องเป็น 14.
• ต้องระบุ videoInpaintMasks สำหรับการแยกด้วย OCR และควรทำให้เป็นสตริง JSON แบบกระชับก่อนลงนาม
• type ควรเป็น trans_only_ocr.
• ตั้งค่า lang ให้เท่ากับ videoInpaintLang เมื่อไม่จำเป็นต้องแปล
• พิกัดได้รับการปรับให้อยู่ในช่วงมาตรฐานตั้งแต่ 0 ถึง 1 โดยเรียงลำดับเป็นซ้ายบน ขวาบน ขวาล่าง และซ้ายล่าง

มาสก์ OCR

ใช้มาสก์อย่างน้อยหนึ่งรายการเมื่อทราบบริเวณคำบรรยายที่มองเห็นได้ มาสก์ที่กำหนดช่วงเวลาช่วยหลีกเลี่ยงการแยกคำใบ้เนื้อเรื่องชั่วคราวหรือข้อความลงทะเบียนเป็นบทสนทนา

บริเวณที่ใช้บ่อย:

ตัวเลือก OCR

extraOptions.extra_inpaint_config สามารถปรับแต่งการทำความสะอาด OCR ได้:

เก็บ extraOptions เป็นสตริง JSON แบบกระชับสำหรับเพย์โหลดของ API สาธารณะ เว้นแต่สัญญาสำหรับบัญชีของคุณจะระบุไว้เป็นอย่างอื่น

เพย์โหลดการแยกคำบรรยายด้วย ASR

ใช้ ASR เมื่อวิดีโอมีเสียงพูดและคุณต้องการบทถอดเสียงพร้อมข้อมูลเวลา

{
  "urls": ["https://example.com/video.mp4"],
  "needWanyin": 1,
  "sourceLang": "en",
  "lang": "en",
  "wyTaskType": "ONLY_ASR",
  "needWyEdit": 0,
  "wyNeedText": 0,
  "extraOptions": "{\"asr_speaker_detect_on\":true,\"extra_video_translate_config\":{\"remove_last_punct_on\":true}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

หมายเหตุ:

• wyTaskType ต้องเป็น ONLY_ASR.
• wyNeedText: 0 หมายความว่าไม่ต้องเรนเดอร์คำบรรยายลงในวิดีโอใหม่
• needWyEdit: 0 ปิดใช้งานการทำงานแบบแก้ไขด้วยตนเอง/แบบ pro-draft สำหรับงานแยกนี้
• sourceLang คือภาษาพูด ส่วน lang คือภาษาคำบรรยายที่ส่งออก ให้ใช้รหัสเดียวกันเมื่อไม่จำเป็นต้องแปล

ตัวเลือก ASR

พารามิเตอร์

ผลลัพธ์

งานแยกที่สำเร็จสามารถส่งคืนข้อมูลต่อไปนี้:

• srcSrtUrl
• tgtSrtUrl
• processStatus
• processProgress
• paidPoint
• ข้อมูลเมตาของงานภายใต้รายการงานที่ส่งคืน

การแยกข้อมูลด้วย OCR และ ASR ไม่จำเป็นต้องเรนเดอร์วิดีโอใหม่ ตรวจสอบสถานะซ้ำจนกว่า processStatus === 1 แล้วจึงอ่าน srcSrtUrl หรือ tgtSrtUrl

Callback จะส่งเพย์โหลดของรายการงานโดยตรง โดยไม่มีโครงสร้างครอบชั้นนอก code / msg / body ที่ใช้ในการตอบกลับจากการตรวจสอบสถานะซ้ำ

หมายเหตุสำหรับเอเจนต์

• เลือก OCR สำหรับข้อความคำบรรยายที่ฝังอยู่ในภาพ และเลือก ASR สำหรับบทสนทนาที่เป็นเสียงพูด
• คง videoInpaintMasks และ extraOptions ไว้ในรูปแบบที่กะทัดรัดและแปลงเป็นสตริงก่อนลงนาม
• อย่าส่งอาร์เรย์มาสก์ OCR เป็นอาร์เรย์เนทีฟ เว้นแต่สัญญาสำหรับบัญชีของคุณจะระบุให้ทำเช่นนั้น
• ใช้คำขอ enum (POST /v-w-c/enum/query2) เพื่อดึงข้อมูลการรองรับ sourceLang และ Lang ในปัจจุบัน โดย endpoint enum นี้ไม่ต้องลงนาม
• ตรวจสอบสถานะซ้ำจนกว่า processStatus จะเป็น 1 แล้วจึงอ่าน srcSrtUrl หรือ tgtSrtUrl
• จัดเก็บไฟล์คำบรรยายก่อนการล้างข้อมูลตามระยะเวลาการเก็บรักษา