[AI 음성] 음성 합성 TTS, ChatGPT 기반 자연스러운 목소리 만들기

음성 합성 TTS를 업무나 사이드 프로젝트에 붙이려는 분들이 요즘 정말 많습니다. 특히 ChatGPT로 문장을 다듬고, 그 결과를 AI 음성으로 읽게 만들면 생각보다 훨씬 자연스러운 결과가 나오거든요. 저도 처음엔 “그냥 텍스트 넣고 읽히면 끝 아닌가?” 싶었는데, 실제로 써보니까 핵심은 TTS 엔진보다도 입력 문장 설계, 쉼표와 호흡 처리, 후처리 파이프라인에 있더라고요. 이번 글에서는 제가 홈랩에서 테스트했던 방식 기준으로, ChatGPT를 문안 생성과 발화 스타일 설계에 활용하고, 검증된 음성 합성 TTS 엔진을 조합하는 실전 사례를 정리해보겠습니다.

특히 안내 방송, 짧은 교육 콘텐츠, 내부 데모 음성처럼 “사람이 직접 녹음하기엔 번거롭고, 그렇다고 너무 기계음이면 안 되는” 상황에서 꽤 유용했습니다. 혹시 이런 경험 있으신가요? 급하게 음성이 필요해서 붙였는데, 억양이 어색하거나 숫자 읽기가 이상해서 다시 손보게 되는 경우요. 저도 그 삽질 좀 했습니다 ㅎㅎ

ChatGPT로 대본을 정리하고 TTS 엔진으로 음성을 생성한 뒤 결과를 검수하는 전체 흐름 예시입니다.

1. 왜 ChatGPT 기반 음성 합성 TTS가 중요한가

쉽게 말해, 요즘의 TTS(Text-to-Speech, 텍스트 음성 변환)는 단순히 글자를 읽는 기술이 아니라 문장을 어떻게 써주느냐에 따라 품질이 크게 달라지는 시스템입니다. 예전에는 음성 엔진 자체 성능만 봤다면, 지금은 ChatGPT 같은 LLM(Large Language Model, 대규모 언어 모델)을 앞단에 두고 문장을 다듬는 방식이 실무에서 꽤 효과적입니다.

• 긴 문장을 짧게 분절해서 호흡을 자연스럽게 만들 수 있습니다.
• 숫자, 약어, 시간 표현을 사람이 듣기 좋게 바꿀 수 있습니다.
• 상황별 톤을 맞출 수 있습니다. 예를 들어 안내 방송, 튜토리얼, 브리핑 음성은 문체가 달라야 하거든요.
• 반복 수정 비용이 줄어듭니다. 녹음 재작업보다 훨씬 빠릅니다.

제가 직접 해보니, 같은 TTS 엔진을 써도 원문을 그대로 넣은 버전과 ChatGPT로 다듬은 버전의 체감 차이가 꽤 컸습니다. 특히 한국어는 문장 끝맺음과 쉼표 위치가 결과에 미치는 영향이 생각보다 큽니다.

2. 핵심 개념: ChatGPT는 음성 합성 TTS의 품질을 좌우하는 전처리 계층

여기서 많이 헷갈리시는 포인트가 하나 있습니다. ChatGPT와 TTS는 역할이 다릅니다. ChatGPT는 문장을 생성하거나 다듬는 데 강하고, TTS 엔진은 실제 음성 파형을 만들어냅니다. 물론 서비스에 따라 음성 기능이 통합되어 보일 수는 있지만, 설계 관점에서는 역할을 분리해서 이해하는 게 좋습니다.

저는 이 구조를 “텍스트 품질과 음성 품질을 분리해서 튜닝한다”라고 이해하고 있습니다. 처음엔 이게 뭔가 싶었는데, 막상 분리해보면 문제 위치가 훨씬 빨리 보입니다. 문장이 문제인지, 엔진 발음이 문제인지, 파일 후처리가 문제인지 구분되거든요.

자연스러운 AI 음성을 좌우하는 4가지

1. 문장 길이: 한 문장에 정보가 너무 많으면 억양이 무너집니다.
2. 쉼표와 줄바꿈: TTS가 숨 쉴 타이밍을 만들어줍니다.
3. 숫자와 영문 표기: 10GbE, API, GPU 같은 단어는 그대로 넣으면 어색할 수 있습니다.
4. 도메인 용어 사전: Kubernetes, ingress, homelab 같은 단어는 별도 치환 규칙이 있으면 좋습니다.

3. 실전 사례: 홈랩 안내 음성을 만드는 TTS 파이프라인

이번 사례는 제가 자주 쓰는 방식으로 재구성한 예시입니다. 상황은 이렇습니다. 홈랩에서 서비스 점검 안내를 짧은 음성으로 만들어야 하는데, 매번 마이크 켜고 녹음하기엔 번거롭고, 문구는 자주 바뀝니다. 그래서 아래 흐름으로 갔습니다.

1. 원본 공지 문장을 작성합니다.
2. ChatGPT에 넣어서 짧고 듣기 쉬운 발화형 문장으로 바꿉니다.
3. 치환 규칙으로 숫자, 영문 약어, 특수기호를 정리합니다.
4. 검증된 TTS 엔진으로 음성 파일을 생성합니다.
5. ffmpeg로 볼륨과 무음 구간을 다듬습니다.
6. 최종 WAV 또는 MP3로 배포합니다.

중요한 건, 이 흐름이 특정 벤더 종속적이지 않다는 점입니다. ChatGPT는 앞단 품질 보정 계층이고, 음성 합성 TTS 엔진은 요구사항에 맞춰 교체 가능합니다. 상용 엔진이든 오픈소스든 구조는 비슷합니다.

4. 구현 준비: 디렉터리 구조와 기본 환경

예시는 Python(파이썬)으로 설명하겠습니다. 후처리는 ffmpeg를 사용합니다. ffmpeg는 오디오 변환과 볼륨 정리에 워낙 널리 쓰이는 도구라서, 인프라 쪽에서도 익숙한 분들이 많을 겁니다.

mkdir -p tts-case-study/{input,output,scripts}
cd tts-case-study
python3 -m venv .venv
source .venv/bin/activate
pip install gTTS pydub

여기서는 예제 실행 난이도를 낮추기 위해 gTTS를 사용하겠습니다. gTTS는 Google Text-to-Speech 기반의 파이썬 라이브러리로 널리 알려져 있고, 빠르게 프로토타입을 만들 때 편합니다. 다만 실서비스에서는 목소리 선택폭, 발화 제어, 라이선스, 네트워크 의존성 등을 따져서 다른 음성 합성 엔진을 검토하시는 게 좋습니다.

입력 텍스트 파일도 하나 만들어보겠습니다.

cat > input/source.txt <<'EOF'
오늘 밤 11시부터 홈랩 스토리지 점검이 진행됩니다.
예상 시간은 약 30분이며, 일부 서비스 접속이 지연될 수 있습니다.
점검이 끝나면 다시 안내드리겠습니다.
EOF

원본 공지 문장을 발화용 문장으로 다듬고, 이후 TTS와 후처리 단계로 넘기는 흐름을 표현한 구성도입니다.

5. ChatGPT로 발화용 스크립트 다듬기

여기서 중요한 포인트! 문장을 잘 쓰는 게 절반입니다. 제가 실제로 써보니까, TTS 품질이 아쉬울 때 엔진을 바꾸기 전에 먼저 문장을 손보는 게 더 빠른 경우가 많았습니다.

예를 들어 원문이 아래처럼 딱딱하면 음성이 확 죽습니다.

오늘 밤 11시부터 홈랩 스토리지 점검이 진행됩니다. 예상 시간은 약 30분이며, 일부 서비스 접속이 지연될 수 있습니다.

이걸 발화형으로 바꾸면 이렇게 됩니다.

안내드립니다. 오늘 밤 11시부터 홈랩 스토리지 점검이 진행됩니다. 예상 시간은 약 30분입니다. 점검 중에는 일부 서비스 접속이 잠시 지연될 수 있습니다.

차이가 좀 느껴지시죠? 의미는 거의 같은데 듣기 편해집니다. ChatGPT에 요청할 때는 아래처럼 제약 조건을 명확히 주는 프롬프트가 좋습니다.

다음 문장을 한국어 TTS용 발화 스크립트로 다듬어 주세요.
조건:
- 한 문장은 20자~40자 정도로 유지
- 숫자는 사람이 듣기 쉽게 풀어쓰기
- 문장은 짧게 끊고 쉼표를 최소화
- 딱딱한 공지문보다 자연스러운 안내 톤 사용
- 의미는 바꾸지 말 것

실무에서는 이 프롬프트를 고정 템플릿으로 두는 걸 추천드립니다. 저도 처음엔 요청할 때마다 다르게 썼는데, 결과 편차가 커서 나중엔 템플릿을 따로 뽑아놨습니다.

6. Python으로 음성 합성 TTS 자동화하기

이제 발화용 텍스트를 음성 파일로 변환해보겠습니다. 아래 예제는 텍스트 정리, 문장 단위 분리, TTS 생성, 파일 저장까지 한 번에 처리합니다.

from pathlib import Path
from gtts import gTTS
import re

BASE_DIR = Path(__file__).resolve().parent.parent
INPUT_FILE = BASE_DIR / "input" / "source.txt"
OUTPUT_FILE = BASE_DIR / "output" / "announcement.mp3"


def normalize_text(text: str) -> str:
    replacements = {
        "11시": "열한 시",
        "30분": "삼십 분",
        "홈랩": "홈랩",
        "API": "에이피아이",
        "GPU": "지피유",
    }
    for src, dst in replacements.items():
        text = text.replace(src, dst)

    text = re.sub(r"\s+", " ", text).strip()
    return text


def to_speech(text: str, output_path: Path) -> None:
    tts = gTTS(text=text, lang="ko")
    tts.save(str(output_path))


def main() -> None:
    raw = INPUT_FILE.read_text(encoding="utf-8")
    normalized = normalize_text(raw)
    to_speech(normalized, OUTPUT_FILE)
    print(f"saved: {OUTPUT_FILE}")


if __name__ == "__main__":
    main()

실행은 간단합니다.

python scripts/make_tts.py

조금 더 손보려면 문장 단위로 파일을 나눈 뒤 이어 붙이는 방법도 있습니다. 이 방식은 특정 문장만 재생성할 수 있어서 운영에 꽤 편합니다. 변경이 잦은 공지 시스템이라면 특히 그렇습니다.

ffmpeg -i output/announcement.mp3 -af "volume=1.5" output/announcement-loud.mp3

볼륨 보정은 생각보다 중요합니다. 생성된 음성이 너무 작으면, 엔진 품질이 나쁜 것처럼 느껴질 때가 있거든요. 실제로는 단순 레벨 문제인 경우도 많습니다.

스크립트 실행, 생성된 음성 파일, ffmpeg 후처리 단계가 이어지는 구현 흐름 예시입니다.

7. ⚠️ 제가 실제로 부딪힌 문제와 해결 방법

이 섹션이 제일 중요할 수도 있겠습니다. 음성 합성 TTS 프로젝트는 데모는 빨리 나오는데, 막상 배포하려고 하면 자잘한 문제가 계속 튀어나옵니다.

1) 숫자와 단위가 이상하게 읽히는 문제

예를 들어 10GbE, 3TB, 23:00 같은 표기는 그대로 넣으면 기대와 다르게 읽힐 수 있습니다. 저도 처음엔 엔진 문제인 줄 알았는데, 실제로는 입력 표기 문제가 더 컸습니다.

• 23:00 → 밤 열한 시
• 30min → 삼십 분
• 10GbE → 텐 지가비트 이더넷 또는 서비스 문맥에 맞는 한글 표기

정규화(normalization, 입력 표준화) 사전을 미리 두면 훨씬 안정적입니다.

2) 문장이 길면 억양이 무너지는 문제

이건 거의 매번 겪었습니다. 한 문장에 조건절이 두세 개 붙으면 AI 음성이 어디서 끊어야 할지 애매해하더라고요. 해결은 단순합니다. 짧게 쪼개면 됩니다. 정말 기본인데 효과가 큽니다.

3) 한국어와 영어가 섞일 때 부자연스러운 문제

예를 들어 “스토리지 API 상태를 확인하세요” 같은 문장은 엔진에 따라 API를 영어식으로 읽거나, 너무 또박또박 끊어 읽기도 합니다. 이런 경우는 아래 중 하나로 정리하는 게 좋았습니다.

• API → 에이피아이
• UI → 유아이
• NAS → 나스

물론 팀 내부 용어가 있으면 거기에 맞춰 통일해야 합니다. 여기서 중요한 건 정답 하나를 찾는 게 아니라, 프로젝트 안에서 읽기 규칙을 고정하는 겁니다.

4) 음성 파일 길이가 들쭉날쭉한 문제

같은 톤으로 만들어도 문장 길이에 따라 파일 길이가 크게 달라집니다. 안내 방송처럼 재생 타이밍이 중요한 경우엔, 문장 길이를 통제하고 중간 무음을 후처리로 정리해야 합니다.

ffmpeg -i output/announcement.mp3 -af "silenceremove=1:0:-40dB" output/announcement-trimmed.mp3

저는 무음을 너무 공격적으로 자르다가 문장 사이 호흡까지 날려먹은 적도 있었습니다. 드디어 됐다 싶었는데, 다시 들어보니 너무 숨 가쁘더라고요. 그래서 최종값은 꼭 귀로 다시 확인합니다.

8. 결과 검증: 무엇을 기준으로 좋다고 볼 것인가

음성 결과는 주관적이기 쉽습니다. 그래서 저는 아래처럼 체크리스트로 봅니다.

1. 첫 청취 이해도: 한 번 들었을 때 내용이 바로 들어오는가
2. 숫자/시간 오독 여부: 서비스 공지에서 특히 중요
3. 문장 끝 억양: 질문처럼 들리거나 끊기는 느낌이 없는가
4. 볼륨 일관성: 다른 음원과 함께 써도 튀지 않는가
5. 재생 환경 적합성: 모바일 스피커, 이어폰, PC 스피커에서 모두 무난한가

가능하면 2~3명이 들어보는 게 좋습니다. 제가 익숙해진 문장은 문제를 놓치기 쉽거든요. 특히 음성 합성과 목소리 생성 쪽은 만든 사람 귀보다 처음 듣는 사람 반응이 더 정확한 경우가 많았습니다.

오디오 파형, 재생 길이, 청취 체크리스트를 함께 보며 결과를 검수하는 장면입니다.

9. 정리와 다음 단계: ChatGPT, 목소리 생성, AI 음성을 제대로 연결하는 법

이번 사례에서 핵심은 명확합니다. 자연스러운 목소리는 TTS 엔진 하나로 해결되지 않습니다. ChatGPT로 문장을 발화 친화적으로 정리하고, 음성 합성 TTS 엔진에 맞는 입력 규칙을 만들고, 마지막에 후처리로 다듬어야 결과가 안정적입니다. 저도 처음엔 엔진만 바꾸면 끝날 줄 알았는데, 실제로 써보니까 가장 큰 차이는 텍스트 전처리에서 나더라고요.

정리하면 이렇게 보시면 됩니다.

• ChatGPT: 문장 다듬기, 톤 정리, 발화 분절
• TTS: 실제 음성 생성
• 후처리: 볼륨, 무음, 파일 포맷 정리

이 흐름만 잡아도 품질이 한 단계 올라갑니다. 음성 합성 TTS를 처음 붙이시는 분이라면, 무조건 거대한 시스템부터 만들지 마시고 짧은 공지문 3개 정도로 먼저 반복 테스트해보세요. 그게 제일 빠릅니다.

다음 글에서는 SSML(Speech Synthesis Markup Language, 음성 합성 마크업 언어)을 지원하는 엔진에서 쉼표, 강조, 휴지(pause) 제어를 어떻게 다르게 가져갈지 다뤄볼 예정입니다. 이전 글에서 다뤘던 홈랩 자동화 파이프라인과 연결해서 보면 더 이해가 쉬우실 겁니다.

자주 묻는 질문

• Q. ChatGPT만으로 바로 TTS를 끝낼 수 있나요?
  A. 서비스 구성에 따라 통합된 경험은 가능하지만, 설계상으로는 문장 생성과 음성 생성을 분리해서 보는 편이 운영에 유리했습니다.
• Q. 오픈소스 엔진이 꼭 불리한가요?
  A. 그렇진 않습니다. 다만 목소리 선택폭, 한국어 발음, 운영 복잡도, 하드웨어 요구사항을 같이 봐야 합니다.
• Q. 가장 먼저 튜닝할 부분은 뭔가요?
  A. 엔진 교체보다 먼저 입력 문장 길이와 숫자 표기를 정리해보세요. 체감 차이가 큽니다.

문장 전처리부터 음성 생성과 후처리까지, 실전 파이프라인의 핵심 포인트를 한눈에 정리한 요약 이미지입니다.