Me atormenta su pasado sexual

Hola, tengo 21 años, estoy por recibirme de la universidad y siempre me he considerado una persona madura, hasta ahora, así que vengo a contar mis pensamientos, necesito escuchar consejos de gente imparcial o que ya haya vivido algo similar.
Yo tengo un novio, el tiene 29 años, yo recién cumplí los 21 y para ser sincera el es el primer novio que tengo (he tenido pretendientes antes nada mas) pero es el primero por la simple razón de que nunca necesité hombres en mi vida, no me eran necesarios, mis intereses estaban por otro camino y hoy en día sigo pensando que mi felicidad no depende de un hombre. En fin, pero hay algo que no me deja estar en paz y es el hecho de que él ha tenido 4 novias antes que yo (según el) y tuvo una relación de 2 años con su ex.

Yo voy a cumplir un año con el, lo amo como nunca antes he amado a alguien y es algo nuevo que estoy experimentando.
Hace un mes le pregunté de su pasado y yo desde el primer día que nos emparejamos sabia que tenía un historial sexual, (lo deduje por su edad y sus relaciones anteriores) pero nunca me importó tanto hasta ahora. Admito que he llorado por su pasado, pues la imagen de el teniendo relaciones con otras no me deja en paz, cabe mencionar que yo soy virgen y como mujer virgen me siento triste, pues el quiere tener relaciones conmigo, el jura que me ama, ha hecho cosas muy hermosas por mi, pero siento que no me es suficiente, pero su pasado me impide seguir siendo feliz como lo estaba hasta hace poco con el.
El es un poco celoso, al principio le dije que no era virgen para ponerlo a prueba con su reacción y ablandar terreno, y se exaltó un poco, no agresivamente, si no como triste y preocupado, pero después le aclaré que no, que solo bromeaba y que realmente era virgen y se calmó, se quedo en paz absoluta y hasta felicidad sintió.

Ahora tengo unas preguntas y pensamientos en mi cabeza que no sé responder aun.

¿Por que? Por que se pone feliz?, ¿con qué derecho, si el ya ha estado con muchas? Para exigir una virgen debería ser santo y no es así ...
Quisiera tener relaciones con el, pero siento que para mi no va a ser especial, pues me sentiré otra chica mas que se ha tirado y el si tendrá el gusto de ser el primero en mi vida y no me gusta esa idea. Sueno como una completa inmadura, lo sé pero estoy con el siguiente dilema.

Quiero hacerlo con el porque lo amo, el me trata como su reina pero al saber su pasado me debilita psicológicamente, solo he tenido una discusión con el por esto y lo demás me lo he guardado para mi porque no quiero perderlo y ahora me replanteo esto:

Si tengo relaciones con el seré otra mas de su lista de novias que se ha tirado, sin esfuerzo.
Si quiero hacerlo esforzarse le diría que si quiere probar mi cuerpo va a tener que luchar y sudar, pues para tenerme sexualmente deberá casarse conmigo y seguir haciéndome feliz y no se si aguante esa idea el, aunque para mi seria una prueba de amor y respeto muy grande como mujer.
Pero después pienso "¿porque quedarme virgen hasta el matrimonio si el y los demás hombres seguirán picando de flor en flor?" Ellos no son de "virgenes hasta el matrimonio" y si en dado caso mi relación con este chico no llegase a funcionar y yo manteniéndome virgen y yo iniciar otra relación después se va a volver a repetir el mismo ciclo porque todos los hombres no serán virgenes para mi como yo para ellos.
Pero si lo hago con este chico solo para no ser virgen y estar en las mismas condiciones con algunos futuros novios que llegase a tener por si esto no funciona sentiré que estoy usando al amor de mi vida solo por fines personales sexuales y complejos mentales míos

El me ama, lo ha demostrado y yo también lo amo con toda mi alma pero esos pensamientos oscuros no me dejan dormir.

Necesito consejos!
Para muchos pareceré egoísta pero este es el pensamiento puro de una chica virgen.