Es dificil
Lo primero que creo que deberias hacer es hablar con tu hijo y tratar de decirle que debe obedecer a su madre aunque no quiera o no le guste. Luego hablar con tu ex esposa (no se como sera la relacion entre tu y ella) y sugerirle que esos días que tu hijo la pasa solo la podria pasar contigo, generalmente los padres separados quieren lomejor para sus hijos y si se juntan los tres a hablarlo podrian llegar a un acuerdo, o sino deberias pedir un permiso en la justicia y ella debera obedecerlo aunque no quiera.
Ahora tu pareja, me parece que deberias hablarle porque ella te conocio con un hijo, y te acepto con todo tu pasado y eso incluye a tu hijo, que ahora no lo quiera es malo, tal vez tenga miedo de que vuelvas a juntarte con tu ex o que le tengas mas cariño a tu hijo de 14 que al que tienes con ella, hablalo y dile lo que sientes.
Saludos y ojala todo mejore