Группа разработчиков создала алгоритм для синтеза текста в речь на основе нейросетевых моделей Tacotron 2 и WaveNet. Алгоритмы могут создавать голос, имитирующий говорящего по фрагменту стороннего аудиофайла. Результаты работы опубликованы на arxiv.org в июне 2018 года, открытый исходный код размещён на площадке GitHub.
Для работы алгоритма нужно два аудиофайла: один с примером голоса, который необходимо скопировать, и второй с фразой, которую этим голосом нужно произнести. После этого алгоритм почти в реальном времени преобразует голос из второго аудиофайла. В итоге. получает голос похожий на тон говорящего из первого файла.
Оригинал взят у
bamymih в Нейросеть научили копировать голос при синтезе текста в речь
Journal information