Lo siento,
puede que no te guste mi opinión, pero leyendo lo que aquí expones, y viéndolo desde fuera, creo que esta persona no te ama. Da muestras de que no quiere perder el contacto con su hijo (quizá por eso le cuesta despegarse de tí, os considera como "un pack"), pero por otro lado no demuestra mucho interés en seguir manteniendo una relación contigo, puesto que te pide libertad para hacer lo que él quiera, sin importarle lo que tu pienses, y sin ataduras de pareja (eso es lo que he entendido de lo que tú has escrito..)
Fríamente, esa sería mi lectura desde fuera, pero sólo vosotros dos como pareja tenéis de saber qué es lo que queréis y en qué basáis vuestra relación.
Mucha suerte!