La mamá de la hija de mi pareja

Hola chicas necesito algún consejo 
teenengengo 25 años y llevo una relación de casi 3 años con un hombre de 31 y tenemos una hija en comun , pero el tiene 2 hijos más con 2 mujeres distintas y la mamá de la nena es reee pesada , cuando yo quede en embarazo nos escribía dedicándole la muerte a nuestra hija y así durante todo el embarazo , ahora que nuestra bebe ya tiene año y medio se puso super pesada con que el no le da bola a su otra hija y salió diciendo que yo maltrataba a la niña lo cual ella a mi me ponía que dejaba venía a la hija porque yo la cuidaba re bien y demas ... hora gracias a eso se generó tremendo problema con la familia de el Y me han agredido muchisimo... ella ahora no quiere dejar que la niña venga a casa lo cual le hemos pedido que la lleve a psicólogo porque la niña está muy confundidas(tiene 6 años ) y ella misma nos decía que mentía mucho porque quería que sus papás estén juntos cabe decir que cuando nosotros comenzamos ellos hacían casi 2 años separados!
lo que nunca voy a entender es porque no termina de molestarnos cuando el vive por sus hijos y ninguno es más que otro , tales con nuestra hija que la ves más pero es lógico porque vivimos juntos ! No sabemos ya como actuar con todo eso y a mi me tiene desbordada hasta quise terminar la relación para que ya no allan más poblemas.