No me atrevo a seguir adelante

Me da miedo seguir adelante con mi decisión.
Hace un par de meses decidí separarme de mi pareja y padre de mis hijos, tenemos dos niños gemelos de 4 años.
Yo no era feliz, llegue a un punto en el que quería mucho a mi pareja pero no le amaba y eso me hacia verme en situaciones en las que me sentía incomoda como por ejemplo el sexo. A parte de eso discutíamos bastante, el ultimo año discutimos menos pero porque ya no teníamos conversación, a penas hablábamos de nada que no fueran los niños y en desacuerdo. Estábamos viviendo juntos por seguir haciendo vida normal, pero no era así. No era así para mi, porque por el hubiésemos estado así toda la vida.
Tome valor y le dije que quería que nos separáramos, pero claro, para mi es toda la parte fácil. Soy la que lo decido por lo tanto la que no se lleva el palo, vivimos en mi ciudad (de alquiler) en mi barrio de siempre, al lado de mis padres, con el colegio de los niños ahí, soy la que tiene trabajo fijo.....Quería acabar con el lo mejor posible (se la dificultad de esto por su parte al seguir enamorado de mi) así que como no tiene facilidad de irse a casa de ningún familiar le dije de seguir con el piso de alquiler e intercambiarnos nosotros una semana cada uno. Como en verano los niños duermen en casa de mis padre y es donde yo me mudaba decidimos que durante ese tiempo el se quedaría en casa y pasaba con ellos los fines de semana. Al principio no me quería ni ver así que pasábamos una tarde cada uno con ellos, pero poco a poco se le paso y empezamos a vernos todos juntos.
El caso es que ahora volvemos a hacer todo juntos, menos para dormir que me voy a casa de mis padres.
Pero uno de los niños empieza a llevarlo muy mal, llora mucho cuando nos vamos uno de los dos con muchísima tristeza y le empieza a afectar en que no quiere ir al cole.
Una vez que empezaran el cole íbamos a pasar una semana cada uno con ellos puesto que yo ahora nunca paso ninguna noche con ellos, pero ahora me da pánico seguir adelante con esto, me da pánico hacerles tanto daño como les estoy haciendo, al igual que a su padre.
No se como seguir, no se si debería mirar por ellos y por su felicidad, al fin y al cabo ahora con su padre me llevo mejor.
No es lo que yo quiero, pero si lo que ellos quieren, tanto el como los niños.
Mil disculpas por el rollo soltado, pero quería explicarlo bien para ver si alguien me puede guiar en que camino seguir, los dos me dan miedo!!