Hola.
Pienso que has hecho lo correcto. Al parecer le quieres pero no se trata de un cariño de pareja, y para estar bien con una pareja hay que estar enamorado de ese alguien.
Por otro lado, como bien dices, es el momento ideal por la edad de tu hija.
Por cómo lo está pasando tu marido, es normal que te preocupes, pero no te dejes llevar por ese sentimiento, sé firme, a la larga será mejor para los dos.
Intenta que él entienda que es lo mejor, dile que si te arrepientes se lo dirás, pero que él actúe como si no fueras a volver, cuanto antes se haga a la idea antes superará la ruptura.
Bueno mucho ánimo, piensa que tú no estás haciendo nada malo, tú no mandas en tus sentimientos.