La ex de mi novio le niega al hijo por nuestra relación

bueno chicas le cuento esta historia de nunca acabar; mi novio tiene un hijo de 3 años y nuestra relación comenzó cuando apenas el niño tenia 1 mes de nacido, pero ya estaban separados cuando comenzamos, el hecho es que la ex, al saber de nuestra relación se puso como loca, cosa que entiendo un poco, porque ella pensaba quizás que al tener al niño mi novio volvería con ella, pero no fue así ya que comenzó la relación conmigo, bueno la cosa es que la ex me buscaba a mi para insultarme, incluso llego en varias oportunidades hasta mi casa con la intención de golpearme, ademas de llamadas por teléfono de otras personas amenazándome incluso de matarme, yo pensé muchas veces en dejar a mi novio por todos estos problemas pero la verdad es que nos amamos y opte por seguir con el. hoy han transcurrido 3 años y la verdad que la ex no para con su locura, en principio le prohibía a mi novio ver a su hijo por que estaba conmigo, el la demando por visitas y le asignaron los días sábados, cosa que para mi novio le parece muy poco, pero con el tiempo ella fue dejando que lo viera mas pero con la condición que yo no estuviera presente, el problema es que vivimos juntos y el niño esta todos los fines de semana con nosotros y ademas de las vacaciones y feriados y todo el tiempo que ella lo deja para ella despreocuparse del niño, y yo ningún drama con el niño, nos llevamos bien a el le gusta estar conmigo me dice que me quiere y yo lo quiero a el, la verdad que el se apego mucho a mi, el problema es que ahora la ex se entero que vivimos juntos y amenaza con no dejarlo ver mas con ir a casa a hacer escándalo y muchas cosas feas, le dijo a mi novio que solo podrá verlo los días sábados y en el horario que dictamino el juez. yo veo a mi novio muy triste por que quiere mucho a su hijo y el niño llora mucho cuando tiene que irse con la madre, eso me da mucha pena, la verdad que no se que hacer para ayudarlo incluso le plantee que nos separáramos para que no tenga problemas para ver a su hijo, cosa que el se negó, pero aun así no quiero verlo triste ni ser la culpable que que le nieguen a su hijo ¿que hago?