No sé como actuar ante la relacion de la familia de mi novio y su ex

Pues espero que me puedan aconsejar ya que siento que esto en un futuro puede afectar mi relacion con mi novio. El duró 5 años con su ex y pues incluso creo que ya tenian planes de casarse o juntarse, algo asi, pero terminaron porque ella lo engaño una vez, sin embargo regresaron, pero despues ella por cualquier motivo lo queria cortar y el se canso de esa situacion asi que terminaron definitivamente. Comprendo que fue largo el tiempo que duraron y entiendo que es logico que ella se lleve bien con la familia de é, incluso él se lleva bien con la familia de ella, de hecho es muy amigo de el que era su cuñado. pero a mi esto me afecta demasiado, nosotros apenas llevamos 3 meses de andar oficialmente, pero nos llevamos muy muy bien, casi no peleamos por nada y sé que nuestra relacion puede tener un buen futuro, es solo que me da miedo el sentirme comparada con su ex, yo soy muy reservada y callada, ya conoci a la mama de novio, sin embargo solo la saludo y ya, no platicamos pero si me da mucho miedo que me comparen, que piensen que ella es mejor. él me contó que en Navidad su ex paso a su casa para darles el abrazo, me senti mal porque yo no pude estar con ellos ese día. Por favor diganme que hacer, la verdad tengo mucho miedo de que esto afecte, o de que en determinado momento él quiera volver con ella.