1. Introduction

Pendant des décennies, les systèmes de réponse vocale automatisés ont été synonymes de menus à touches et de frustration. Cela a changé lorsque la recherche en machine learning a réalisé trois avancées convergentes : une reconnaissance vocale robuste, une synthèse vocale quasi indiscernable de la voix humaine et des modèles de langage capables de tenir des dialogues en temps réel. Aujourd'hui, un agent vocal peut répondre à un appel, résoudre une demande et rendre la main à un humain si nécessaire, sans que l'utilisateur perçoive la différence. Cet article passe en revue les recherches qui ont rendu ce changement possible, en citant exclusivement des sources vérifiées.

2. État de l'art : trois avancées qui l'ont rendu possible

Le point d'inflexion de la reconnaissance vocale fut Whisper, le système d'OpenAI entraîné sur 680 000 heures d'audio multilingue, qui a obtenu une transcription robuste sans supervision stricte (Radford et al., 2022). Sur cette base, la synthèse vocale a fait un bond qualitatif avec VALL-E de Microsoft, un modèle de langage sur codecs neuronaux capable de cloner une voix à partir de seulement trois secondes d'audio de référence (Wang et al., 2023).

En 2024, NaturalSpeech 3 a démontré que la synthèse vocale de qualité professionnelle peut atteindre des taux d'erreur comparables à la voix humaine, en combinant codecs factorisés et modèles de diffusion (Ju et al., 2024). En parallèle, AudioPaLM de Google a réuni dans un seul modèle de langage la capacité d'écouter et de parler, éliminant la séparation traditionnelle entre système de transcription et synthétiseur (Rubenstein et al., 2023).

Le bond le plus récent est Moshi, de la startup française Kyutai : un modèle vocal de bout en bout qui tient des conversations full-duplex, c'est-à-dire qu'il peut parler et écouter simultanément avec une latence d'environ 200 millisecondes, le comportement naturel d'un appel téléphonique (Défossez et al., 2024).

3. Applications dans la téléphonie

Ces avancées se traduisent par des applications concrètes déjà en production :

  1. Service client automatisé : les agents résolvent les demandes fréquentes sans temps d'attente et escaladent vers un humain uniquement si nécessaire.
  2. Assistants virtuels personnels : ils planifient des rendez-vous, envoient des messages et gèrent des rappels par conversation naturelle.
  3. Appels sortants contextualisés : rappels de rendez-vous, relances et sondages sont traités en conversation fluide plutôt qu'avec des scripts rigides.
  4. Support multilingue : grâce à des systèmes comme Whisper, les agents transcrivent et comprennent les langues sans entraînement spécifique par marché.

4. Risques et garde-fous

La voix générée pose aussi des risques sérieux. OpenAI documente lui-même dans sa system card de GPT-4o les dangers de la synthèse vocale : usurpation d'identité, usage non autorisé d'une voix et deepfakes audio (OpenAI, 2024). L'industrie répond par des pratiques émergentes telles que l'étiquetage de l'audio synthétique, le consentement explicite pour le clonage de voix et des garde-fous au niveau des API qui restreignent les voix autorisées.

5. Note méthodologique

Cet article cite exclusivement des sources en ligne vérifiées, publiées entre 2021 et 2024. Auteurs, titres et années ont été confirmés sur les pages officielles d'arXiv et d'OpenAI avant inclusion. Seul SpeechBrain (Ravanelli et al., 2021) dispose d'une revue par les pairs formelle, ayant été publié à Interspeech 2021 ; VALL-E, AudioPaLM, NaturalSpeech 3, Whisper et Moshi sont des preprints techniques ou des rapports de systèmes, le format de publication habituel dans le domaine du machine learning.

Références

  1. Défossez, A., Mazaré, N., Orsini, M., et al. (2024). Moshi : A speech-text foundation model for real-time dialogue. arXiv. https://arxiv.org/abs/2410.00037
  2. Ju, Z., Wang, Y., Shen, K., et al. (2024). NaturalSpeech 3 : Zero-shot speech synthesis with factorized codec and diffusion models. arXiv. https://arxiv.org/abs/2403.03100
  3. OpenAI. (2024). GPT-4o system card. OpenAI. https://openai.com/index/gpt-4o-system-card/
  4. Radford, A., Kim, J. W., Xu, T., et al. (2022). Robust speech recognition via large-scale weak supervision. arXiv. https://arxiv.org/abs/2212.04356
  5. Ravanelli, M., Parcollet, T., Plantinga, P., et al. (2021). SpeechBrain : A general-purpose speech toolkit. Proceedings of Interspeech 2021. https://arxiv.org/abs/2106.04624
  6. Rubenstein, P. K., Asawaroengchai, C., Nguyen, D. D., et al. (2023). AudioPaLM : A large language model that speaks and listens. arXiv. https://arxiv.org/abs/2306.12925
  7. Wang, C., Chen, S., Wu, Y., et al. (2023). Neural codec language models are zero-shot text to speech synthesizers. arXiv. https://arxiv.org/abs/2301.02111