Creo que deberías de dejar esa relación te hace un daño innecesario, es normal que tengan comunicación con la mamá pero esto es demasiado, se qué es difícil pues por algo estás con él pero si no puede darte tu lugar es mejor no seguir ahí, piensa muy bien si quieres pasar por todo ese desgaste emocional y si vale la pena, yo me encuentro en la misma situación pues mi pareja también hablaba bastante de la mamá de su hija y dice que es un ángel y en algún momento le hizo una "broma" sobre tener otro hijo, creo que es mejor estar con alguien sin hijos, así te evitas los dramas de la mamá loca y de cargar con hijos ajenos que no sabes si se llevarán bien, es difícil y de hecho aún no tomo la decisión pero sólo estoy esperando tener el valor pues por más que sepas que no te conviene siempre hay algo en tu cabeza que te dice que sí. Suerte!!