Mi novio es vecino de mi ex

Hola! Pues resulta que tengo una relacion con un hombre divorciado con 2 hijos. El hijo vive con el y la hija con ella. En la separacion de bienes la casa quedo dividida en partes iguales y la dividieron con tan solo una pared. Mi novio quiere que nos casemos pero insiste en que vivamos en esa casa, segun el quiere estar cerca de su hija y que su ex este cerca del hijo, pero a mi me parece una situacion rara e incomoda. Se que en ocasiones cuando su ex necesita algo su hijo le abre la puerta y ella toma lo que desea de esa casa, lo que ha provocado ciertos conflictos. La puerta de la entrada de el esta a un medio metro de un negocio de ella y hasta comparten el patio y en ocasiones la lavadora (pues ella no tiene). El dice que yo no lo comprendo y que no lo quiero lo suficiente pero le dije que eso ademas de incomodarme no me haria feliz y que yo necesito vivir en un lugar al que pueda considerar como mio, y sin su ex merodeando. Se que el no tiene sentimientos hacia ella y que el divorcio fue muy desagradable, por eso pienso que es una situacion un tanto enfermiza. Ustedes que harian?