Manipulación del padre hacia mis hijos

Tengo un serio problema en cuanto a como puedo afrontar la manipulacion que realiza el padre de mis hijos hacia ellos, hablandole mal de mi o de mi familia, y haciendo comparaciones con la nueva pareja, que yo soy muy egoista al no permitir solicitudes de parte de él, yo no tengo problema de que mis hijos esten con su padre porque es su derecho, él se los lleva tres veces a la semana y los regresa en las noches y los ve todos los dias, es decir los dias que no se los lleva los ve en mi casa. Por ahi todo bien, el tema es que mis hijos me conversan y me dicen lo que su padre les dice en cuanto a desacuerdos que ambos como adultos tenemos y los lleva por su lado, originando en ellos ideas en contra mia... 
Como puedo evitar que sigan manipulando a mis hijos?, lo que menos quiero es que mis hijos sufran porque tengan que ver menos a su padre, les hablo pero no se si eso sea suficiente...