¿le dejo, le soy infiel, o no hago nada?

Hola a todas. Os cuento. Llevo con mi pareja 4 años. él venía de una relación muy larga con su mujer, con la que tiene un hijo, y a los 2 años de yo estar con él descubrí que se veía con ella. Me confesó que se veían para tener sexo, le dejé y entonces me persiguió diciéndome que se había dado cuenta de que me quería de verdad, que le perdonara y que volviéramos a empezar. A los 2 meses de esto volví con él, pensé que él había empezado una relación conmigo sin haber olvidado a su ex mujer y por eso ocurrió aquello, no me parecía nada bien que me hubiera mantenido engañada, pero decidí seguir con él a pesar de todo. Lo cierto es que ahora puedo decir que sé que me quiere, y yo le quiero, pero no nos entendemos. A mí no me importa mucho que le gusten cosas distintas que a mí, me basta con que disfrutemos de las pocas cosas que sí compartimos, pero a él sí parece importarle que seamos distintos, pues me recrimina muchas cosas de cómo soy (que soy lenta haciendo algo, que estoy muy pendiente de la familia, etc.). Como yo le hago comprender que tengo derecho a ser como yo quiera y él no tiene derecho a recriminarme por ello, la solución que él encuentra es verme menos "para no explotar con mis cosas", de manera que nos vemos menos que antes y así no discutimos. A mí me gustaría vivir con él, pero él no quiere porque dice que nos llevaríamos muy mal. Tampoco quiere dejarme porque dice que me quiere mucho. Y ahora viene lo que ha ocurrido nuevo: como nos vemos menos, el viernes pasado, que no quedé con él, quedé con mi hermana para salir, y ante mi sorpresa conocí a un chico por el que me sentí atraída, y él por mí. No quise darle mi teléfono, pero tomé el suyo, a los pocos días le puse un mensaje con mi teléfono, de manera que ya lo tiene. Lo hice, no porque me sentí atraída por él, que eso puede pasarle a cualquiera, ... sin pareja, siendo lo lógico no dar el teléfono si se tiene pareja. Lo hice porque me siento insegura con mi pareja, no sé qué es lo que pasa por su cabeza, por qué no quiere vivir conmigo. Me siento querida, pero mal querida. Por otra parte, me siento culpable, pienso que quizá yo no soy capaz de transmitirle el amor que le tengo y por eso lo nuestro no funciona y él no da el paso de vivir conmigo. Por otro lado, este chico que ha aparecido dice estar muy interesado en conocerme, y yo lo estaría por conocerle a él de no estar en la situación en que me encuentro. Este chico vive en otra provincia, pero pronto vendrá a mi ciudad un fin de semana y querrá verme, eso me ha dicho .
¿qué hariais en mi lugar? Gracias