동기화 모델

Youka는 카라오케 트랙에서 가사를 음악에 맞추는 다양한 방법을 제공하며, 이를 동기화 모델(sync models)이라고 합니다. 크게 두 가지 유형이 있습니다: transcription과 alignment입니다.

모델 유형 #

• Transcription 모델은 노래를 듣고 음성 인식과 유사한 기술을 사용해 사람이 하듯 가사를 받아 적으려고 합니다. 다만 받아 적은 단어가 완벽하게 정확하지 않을 수 있습니다.

• Alignment 모델은 사용자가 가사를 제공해야 합니다. 그런 다음 제공된 가사를 노래와 매칭합니다. 제공한 가사가 노래와 정확히 일치하지 않으면(예: 코러스가 빠진 경우) 일부 구간에서 타이밍이 조금 어긋날 수 있습니다.

사용 가능한 모델 #

AudioShakeAI (Transcription) #

가장 추천되는 선택지로, 먼저 가사를 받아 적은 다음 음악에 맞춰 동기화하는 방식으로 작동합니다. Pay-Per-Use 사용자이거나 체험판을 사용하는 경우에만 이용할 수 있으며, 작동하는 데 최대 10분이 걸릴 수 있습니다.

AudioShakeAI (Alignment) #

그다음 선택지로, 사용자가 제공한 가사를 음악에 맞춰 매칭합니다. 가사에 오류가 있으면 타이밍이 완벽하지 않을 수 있습니다. 또한 최대 5분이 걸릴 수 있습니다.

Wav2Vec2 (Alignment) #

세 번째 선택지로, AudioShakeAI와 유사하게 작동하지만 거의 모든 언어를 지원합니다. 더 빠르며, 보통 최대 30초 안에 완료됩니다.

Whisper (Transcription) #

네 번째 선택지로, 음악을 들어 가사를 받아 적은 뒤 동기화합니다. 가사가 완전히 정확하지 않을 수는 있지만 타이밍은 꽤 괜찮을 수 있으며, 완료까지 최대 2분이 걸릴 수 있습니다.