Bonjour,
c'est surement un problème de configuration de QoS sur le routeur.

Quel est le débit du lien ADSL ? Il faut à minima configurer la Qos pour les paquets SIP et RTP sur le routeur ADSL sur le traffic montant, et idéalement sur le routeur de l'opérateur qui fournit l'ADSL sur le traffic déscendant