---
title: 자막 작업 귀찮은 분들 주목!! 영상만 넣으면 자막 추출에 AI 더빙까지 되는 무료 프로그램
date: 2026-10-14
time: 08:44
model: admin
category: reviews
author_type: human
summary: 영상의 음성을 분석해 자막을 만들고, 다른 언어로 번역하고, AI 음성을 입혀 최종 영상까지 만드는 오픈소스 도구 pyVideoTrans를 살펴봤다. 음성 인식부터 번역, 음성 합성, 영상 합성까지 하나의 작업 흐름으로 연결한 도구로, 로컬 모델을 활용하면 유료 API 없이도 시작할 수 있다.
tags: pyVideoTrans, 자막, 번역, AI 더빙, 음성 인식, 오픈소스, 리뷰
---

# 자막 작업 귀찮은 분들 주목!! 영상만 넣으면 자막 추출에 AI 더빙까지 되는 무료 프로그램

영상 하나 편집하려고 했을 뿐인데 자막부터 만들어야 한다.

음성을 듣고 받아 적고, 외국어라면 번역하고, 자막 싱크까지 맞춘다. 여기에 다른 언어로 AI 더빙까지 하려면? 작업이 끝나기도 전에 귀찮아진다. ㅋㅋㅋ

그런데 이 과정을 한 프로그램으로 처리할 수 있다면 어떨까?

오늘 소개할 프로그램은 **pyVideoTrans**다. 영상의 음성을 분석해 자막을 만들고, 다른 언어로 번역하고, AI 음성을 입혀 최종 영상까지 만드는 오픈소스 도구다.

공식 저장소: https://github.com/jianchang512/pyvideotrans

공식 홈페이지: https://pyvideotrans.com

## 자막 만들고 번역하고 더빙까지 한 번에!

일반적인 자막 작업은 여러 도구를 오가야 할 때가 많다.

먼저 음성을 텍스트로 바꾸고, 번역 프로그램으로 문장을 옮긴 다음, TTS 프로그램에서 음성을 만들고, 영상 편집기로 다시 합쳐야 한다.

pyVideoTrans는 이 과정을 한 프로그램 안에서 이어서 처리할 수 있도록 만든 도구다.

**1. 영상에서 자막 추출**

영상 속 음성을 AI가 인식해 텍스트로 변환한다. 자막 파일을 따로 만들 수도 있고, 음성 인식 결과를 확인하면서 수정할 수도 있다.

**2. 원하는 언어로 번역**

추출한 자막을 다른 언어로 번역할 수 있다. 예를 들어 영어 강의 영상을 한국어로 번역하거나, 한국어 영상에 영어 자막을 만드는 식이다.

**3. AI 음성으로 더빙**

번역된 문장을 AI 음성으로 읽게 할 수 있다. 영상에 등장하는 여러 사람의 목소리를 구분하고, 화자별로 다른 음성을 지정하는 기능도 지원한다.

**4. 자막과 음성을 영상에 합치기**

마지막에는 음성과 영상의 타이밍을 조정하고, 자막을 영상에 합쳐 결과물을 만들 수 있다.

즉, 음성 인식부터 번역, 음성 합성, 영상 합성까지 하나의 작업 흐름으로 연결한 것이다.

## 정말 무료일까?

여기서 중요한 점!

pyVideoTrans 프로그램 자체는 무료 오픈소스다. 하지만 **프로그램이 무료라는 것과 모든 AI 기능을 무제한 무료로 이용할 수 있다는 것은 다른 이야기**다.

비용을 줄이려면 다음과 같이 구성할 수 있다.

- **음성 인식:** Faster-Whisper 같은 로컬 모델 사용
- **번역:** Ollama 기반 로컬 모델 또는 무료 번역 엔진 활용
- **AI 더빙:** Edge-TTS 등 비용이 발생하지 않는 음성 합성 방식부터 사용

이렇게 구성하면 유료 API를 사용하지 않고도 작업하는 방향을 잡을 수 있다. 다만 로컬 모델은 PC의 성능과 설치 환경에 영향을 받고, 온라인 서비스는 이용 조건이나 접속 상태에 따라 달라질 수 있다.

더 좋은 번역 모델이나 상용 음성 서비스를 연결하면 별도 API 비용이 발생할 수도 있다.

참고로 프로그램이 지원하는 엔진 목록과 무료 사용 조건은 공식 저장소에서 확인하는 것이 좋다.

## 설치는 어렵지 않을까?

Windows 10·11 사용자는 공식 저장소에서 제공하는 패키지 버전을 이용할 수 있다. 압축 파일을 내려받아 풀고, 안내에 따라 실행하는 방식이다. Python 개발 환경을 직접 구성하지 않아도 시작할 수 있다는 점이 편리하다.

리눅스나 macOS에서도 사용할 수 있지만, 소스 코드 설치와 Python·FFmpeg 같은 구성 요소 설정이 필요할 수 있다.

공식 설치 안내: https://github.com/jianchang512/pyvideotrans

처음 한 번은 음성 인식 모델과 번역 엔진, 더빙 음성을 선택해야 한다. 그러니 정말 아무 설정도 없이 영상만 던지면 끝나는 마법의 버튼이라고 생각하기보다는, **처음에 작업 환경을 설정해 놓으면 이후 과정을 상당 부분 자동화할 수 있는 프로그램**이라고 보는 것이 정확하다.

## 사용하기 전에 알아둘 점

기능이 많다고 해서 결과물을 무조건 검수 없이 사용할 수 있는 것은 아니다.

음성이 작거나 주변 소음이 심한 영상에서는 음성 인식이 틀릴 수 있다. 전문 용어와 사람 이름은 번역 과정에서 잘못 바뀔 수도 있다. 더빙 음성의 길이가 원래 음성과 다르면 일부 구간에서 싱크가 어긋날 가능성도 있다.

그래서 중요한 영상이라면 다음 세 가지는 꼭 확인하자.

- 원본 음성과 비교해 자막이 제대로 추출됐는지
- 번역 문장이 자연스럽고 의미가 정확한지
- 더빙 음성과 자막의 타이밍이 영상에 잘 맞는지

AI가 반복 작업을 줄여주는 것은 분명하지만, 최종 결과물의 품질까지 자동으로 보장해 주는 것은 아니다.

## CapCut과 비교하면?

설치와 설정이 번거롭다면 CapCut도 살펴볼 만하다. 공식 페이지에서는 자동 자막과 AI 더빙 기능을 안내하고 있다.

CapCut AI 더빙: https://www.capcut.com/ko-kr/tools/ai-dubbing

다만 AI 더빙 기능은 지역에 따라 제공 여부가 다를 수 있다. 무료 사용 범위도 기능과 계정 조건에 따라 달라질 수 있으므로 시작하기 전에 직접 확인하는 편이 좋다.

반면 pyVideoTrans는 다양한 음성 인식·번역·음성 합성 엔진을 조합할 수 있고, 로컬 모델을 활용하는 방식도 지원한다. 약간의 설정을 감수하더라도 작업 과정을 직접 조절하고 싶은 사람에게 잘 맞는다.

## 총평: 자막 작업이 귀찮다면 한 번 살펴볼 만하다

자막 추출, 번역, AI 더빙을 각각 다른 프로그램에서 처리하는 것은 생각보다 번거로운 일이다.

pyVideoTrans는 이 과정을 하나로 묶어 반복 작업을 줄여주는 도구다. 특히 외국어 강의나 기술 소개 영상처럼 자막이 필요한 콘텐츠를 자주 다루는 사람이라면 활용 여지가 있다.

무엇보다 프로그램 사용료 없이 시작할 수 있고, 로컬 모델과 여러 엔진을 선택할 수 있다는 점이 매력적이다. 물론 처음 설정하는 과정은 조금 낯설 수 있고, 결과물 검수도 필요하다.

그래도 자막 작업 때문에 영상 편집을 미뤄왔다면 이런 도구를 활용해 볼 이유는 충분하다.

**영상은 준비됐는데 자막이 문제였다면, 이제 AI에게 반복 작업을 맡겨보자.**

시간은 아끼고, 사람은 결과물을 다듬는 데 집중하는 것. 이런 게 AI를 도구로 제대로 활용하는 방법 아닐까? ㅋㅋㅋ