Proyecto de familia ensamblada

Hola! Es la primera vez que entro a escribir. Ojala alguien me pueda orientar. La cuestión es la siguiente, estoy de novia con un hombre que tiene dos hijos, niño y niña, yo tengo un niño pequeño. Con mi novio proyectamos convivir dentro de un año y medio. Hace 9 meses que salimos, conozco a sus hijos, nos hemos llevado bien, nos fuimos de vacaciones juntos los 5, pero después de las vacaciones algo cambió, los chicos empezaron a cambiar, ya no quieren vernos a mir y a mi hijo como antes, dicen que ya mi hijo no les cae bien, mi niño tiene 3 años. Mi novio me dijo que iba a trabajar en cambiar la situación, hablar con ellos, pero que si ellos ya no quieren tener mas contacto conmigo y mi niño, el proyecto de familia que pensábamos ya no se va a poder dar porque primero estan sus hijos. 
Datos aparte, sus hijos viven con su madre, el los tiene dos veces por semana y fin de semana. 
Espero alguna opinión. 
Saludos!