ElevenLabs 한국어 음성이 어색하게 들렸던 이유와 튜닝 기준

ElevenLabs 한국어 음성이 어색하게 들렸던 이유와 튜닝 기준

텍스트와 이미지 다음은 목소리였습니다

안녕하세요. 파이선생 AI 자동화랩의 파이선생입니다.

지금까지 블로그 포스팅을 자동화하고 마크다운 이미지를 연동하는 작업에 집중해 왔습니다. 하지만 텍스트 중심의 블로그를 넘어, 유튜브 쇼츠나 인스타그램 릴스 같은 영상 플랫폼으로 확장하기 위해서는 반드시 넘어야 할 산이 있었습니다. 바로 목소리입니다. 특히 파이선생 AI 자동화랩에서 다루는 기술적인 설명 콘텐츠나 쁘디 채널의 가벼운 정보성 쇼츠 모두, 시청자의 귀를 사로잡고 이탈을 막기 위해서는 자연스러운 내레이션이 필수적이었습니다. 그래서 현재 가장 높은 품질의 AI 음성 합성 서비스를 제공한다고 알려진 ElevenLabs(일레븐랩스)를 도입하여 본격적인 테스트를 시작했습니다.

좋은 목소리만 고르면 끝날 줄 알았습니다

처음 ElevenLabs 화면에 접속했을 때만 해도 모든 것이 매우 간단해 보였습니다. 수많은 프리셋 음성 중에서 샘플을 들어보고, 콘텐츠 성격에 가장 잘 맞는 매력적인 목소리를 선택하기만 하면 모든 작업이 끝날 것이라 생각했습니다. 실제로 영어 샘플들은 사람이 직접 녹음한 것과 구별하기 힘들 정도로 억양과 호흡이 자연스러웠습니다. 저는 곧바로 미리 작성해 둔 쇼츠용 한국어 대본을 입력창에 복사해 넣고 생성 버튼을 눌렀습니다. 기대에 부풀어 재생 버튼을 누른 순간, 저는 당혹감을 감출 수 없었습니다.

한국어 음성 특유의 어색함과 마주하다

스피커를 통해 흘러나온 한국어 음성은 제가 기대했던 것과는 거리가 멀었습니다. 목소리의 음색 자체는 선택한 프리셋과 비슷했지만, 억양의 높낮이가 부자연스럽게 튀거나 문장의 끝을 과도하게 늘이는 등 어색한 부분이 한두 군데가 아니었습니다. 특히 쉼표나 마침표가 있는 곳에서 호흡을 가다듬지 않고 기계적으로 다음 단어를 이어가거나, 특정 단어의 발음이 뭉개지는 현상도 발생했습니다. 영어에 비해 한국어 데이터 학습량이 상대적으로 부족한 탓인지, 특유의 딱딱하고 기계적인 느낌을 지울 수 없었습니다. 시청자가 듣기에 불편함을 느낄 정도라면 아무리 내용이 좋아도 영상의 퀄리티를 크게 떨어뜨릴 것이 분명했습니다.

어색함의 원인을 하나씩 분석해 보았습니다

이 문제를 해결하기 위해 ElevenLabs의 설정값들을 세밀하게 조정하며 수십 번의 테스트를 거듭했습니다. 그 과정에서 한국어 음성의 자연스러움에 영향을 미치는 핵심 요인들을 파악할 수 있었습니다.

가장 먼저 눈에 띄는 것은 '안정성(Stability)' 설정이었습니다. 안정성을 너무 높게 설정하면 목소리가 일정한 톤을 유지하여 기계음 같은 느낌이 강해졌고, 반대로 너무 낮추면 감정 표현이 지나치게 과장되어 뉴스 앵커가 예능 톤으로 말하는 듯한 이질감이 들었습니다. 또한, 한 번에 입력하는 문장의 길이도 중요한 변수였습니다. 문장이 길어질수록 AI가 문맥을 파악하지 못해 호흡이 꼬이거나 억양이 부자연스러워지는 현상이 뚜렷하게 나타났습니다.

상호, 현빈, 슬기 음성 비교 테스트

어떤 음성 모델이 한국어에 가장 적합한지 찾기 위해, 주로 많이 사용되는 세 가지 한국어 프리셋 음성인 상호, 현빈, 슬기 음성을 집중적으로 비교 테스트했습니다.

슬기 음성은 밝고 통통 튀는 톤을 가지고 있어 가벼운 리뷰나 일상적인 쇼츠에는 어울릴 수 있었지만, 파이선생 랩의 기술적이고 전문적인 내용을 전달하기에는 다소 가볍게 들리는 경향이 있었습니다. 상호 음성은 굵고 신뢰감 있는 목소리였으나, 안정성을 조금만 낮춰도 억양이 크게 흔들려 발음이 뭉개지는 현상이 종종 발생했습니다. 반면, 현빈 음성은 비교적 차분하고 일정한 톤을 유지해 주었습니다. 정보 전달 목적의 설명형 콘텐츠에서는 감정이 과하게 들어간 유튜버 톤보다는, 현빈 음성처럼 차분한 남성 설명 톤이 훨씬 듣기 편안하고 안정적인 결과물을 만들어낸다는 결론을 내렸습니다.

자연스러운 렌더링을 위한 실전 튜닝 기준

수많은 시행착오 끝에, 파이선생 AI 자동화랩만의 실전 TTS 튜닝 기준을 세울 수 있었습니다. 핵심은 AI가 소화하기 쉬운 형태로 텍스트를 다듬어 주는 것입니다.

가장 중요한 규칙은 한 문장을 최대한 짧고 간결하게 끊어 쓰는 것입니다. 호흡이 길어질수록 억양이 무너지기 때문입니다. 접속사를 줄이고 마침표를 적극적으로 사용하여 인위적인 휴지기를 만들어 주어야 합니다. 또한, 전체 대본을 한 번에 생성하기보다는 40초에서 60초 분량으로 나누어 렌더링하는 것이 품질 유지에 훨씬 유리했습니다. 생성된 음성 파일을 들어보며 억양이 어색한 부분은 텍스트의 띄어쓰기를 조절하거나 쉼표를 추가하는 등 스크립트 자체를 물리적으로 수정하는 과정도 반드시 거쳐야 했습니다.

이미지처럼 음성도 철저한 검수가 필요합니다

이전 포스팅에서 블로그 자동 발행 시 마크다운 이미지가 깨지는 현상을 겪으며, 봇이 글을 성공적으로 올리는 것보다 엑스박스 없이 온전한 이미지를 노출하는 '검수' 과정이 훨씬 더 중요함을 배웠습니다. TTS 역시 마찬가지였습니다. AI가 텍스트를 음성 파일로 무사히 변환해 주었다고 해서 그것이 곧바로 시청자에게 들려줄 수 있는 완성본이 되는 것은 아닙니다. 발음이 튀는 곳은 없는지, 감정이 너무 과장되지는 않았는지 사람이 직접 귀로 듣고 판단하는 검수 과정이 없으면 퀄리티를 보장할 수 없습니다.

새로운 과제, TTS 품질 검증 시스템

결국 이미지 업로드 후 유효성을 점검하는 안전장치를 마련했던 것처럼, 음성 생성 자동화 파이프라인에도 반드시 TTS 검수 기준을 명문화하고 시스템화할 필요성을 느꼈습니다. 단순히 대본을 텍스트로 밀어 넣고 생성된 MP3 파일을 영상에 입히는 1차원적인 자동화로는 시청자의 기대치를 충족시킬 수 없습니다. 앞으로 파이선생 AI 자동화랩에서는 음성 합성 시 반드시 지켜야 할 파라미터 기본값을 정립하고, 렌더링 된 파일의 퀄리티를 평가하는 체크리스트를 만들어 적용할 계획입니다. 다음 글에서는 이 검수 기준을 실제 쇼츠 자동화 파이프라인에 어떻게 녹여내었는지 그 과정을 자세히 공유해 드리겠습니다.