Su pasado repercute en mi presente

Bueno, lo que sucede entre mi novio y yo es que él y yo somos completamente diferentes. Sé que tanto él como yo teníamos un pasado antes de conocernos, pero el problema es que su pasado aún antes de conocerme y ya el pasado que compartimos estando de novios hace, es algo que pesa mucho en mi vida. Él pasó por episodios desde acostarse con amigas, desconocidas, prostitutas, beber hasta no acordarse de lo que hacía, pero eso sí, jamás le fue mal en los estudios. Terminó la carrera y tiempo después nos conocimos en el trabajo. Empezamos a salir y también empecé a darme cuenta de lo amiguero que él era. Amigas por acá, ya saben, de las que les dicen a sus amigos que los aman, los extrañan, otras que les mandan fotos sensuales, y así. Al principio sentía que no tenía ni siquiera tanto derecho de reclamar y puede que tal vez le restaba importancia. La cosa es que esos detalles, sumados a que un mes después de que empezáramos a andar, él viajó a ver a una amiga, se perdió todo el fin de semana y no me llamó ni nada, es más no sabía siquiera mi número de teléfono creo, se perdió de borracho ese fin de semana, y luego sus amigas subieron fotos de él así dándole besos, abrazos y él inclusive se desetiquetó de una foto dónde tenía rodeada con sus brazos a una tipa..todo eso fue juntándose en mí, y ahora es cierto que él ha cambiado muchísimo, está muy enamorado de mí, no bebe, y puedo decir que intenta ser más detallista, siempre me halaga, y no descuida decirme que me ama; sin embargo, es ahora cuando más pienso en todo lo que arriba puse, y me duele..esa amiga que fue a ver esa vez, resulta que me incomodaba desde el principio, no me dolía, pero si incomodaba, y le pedí que guardara cierta distancia con ella, a lo que él accedió, y una vez sin más y sin querer ví una conversación de él con ella, donde él le decía que no quería alejarse de ella, que la extrañaba, y ella le decía es que puede ser que lo que dijo tu mujer me "aguitó"..me sentí mal en ese momento y decidí sencillamente terminar la relación, él me rogó y dijo q haría todo para no perderme. Tal es el caso, que me dijo que dejaría de hablarle y ya, sin despedirse ni nada, pero tiempo después me enteré que él le llamó para despedirse y se puso hasta a lagrimear..y luego supe que todavía le mandaba saludos y creo que eso hizo que me obsesionara más con el tema de su amiga, y ahora cada que él comete un errorcito, digamos no llamarme ala hora pactada, me provoca gran ira y recuerdo todas esas mentiras o cosas que hizo. Lo amo sí, pero no sé si seguir con él sea lo mejor...¿qué hago?