Maltrato o persona toxica?

Acabo de salir de una relacion de cinco anos, la relacion ha sido interrumpida varias veces. Mi expareja siempre se salia con la suya, acabamos haciendo lo que el queria en todos los aspectos, sobre todo a nivel sexual. Me ha hecho practicar cosas que no me hacian sentir comodas, pero lo tenia que hacer por el, porque el decia que lo necesitaba. Tuve que ceder a tener una relacion abierta, para que solo el pudiera tener sexo con otras mujeres, porque el lo necesitaba.
Nunca me ha apoyado, he sufrido ataques de ansiedad a su lado y el dice no haberse dado cuenta, dice que de lo contrario me hubiera ayudado.
Cuando la relacion no era abierta, me ha enganado con otra persona.
Cada vez que he intentado dejarle, ha venido detras, ha insistido hasta convencerme de nuevo de que volviera a su lado, llorando, desesperado. Yo sabia que no queria estar con el, pero sentia dependencia, no se si pena.
Ha habido tres capitulos en los que el tono se ha subido mucho por su parte, con insultos, punetados a las paredes y amenazas de agredir a otra persona por mi culpa.
Al principio, creo que la gente de alrededor solo veia su parte culta y encantadora, pero poco a poco, algunos (otros lo siguen excusando) me han aconsejado que lo deje. 
El comparte piso con amigos, yo vivi alli una temporada, pero me busque una casa donde independizarme y vivir sola, una de las veces que decidi dejarlo, esto fue hace dos anos.
Volvimos juntos hace poco mas de un ano y pese a que le he dicho en repetidas ocasiones que lo normal seria vivir juntos, el se negaba, no queria dejar a sus amigos solos (cuando puedo asegurar que es el que tiene miedo a estar solo)
Por fin, he conseguido encontrar una diferencia irreconciliable, la excusa que ha puesto para no vivir juntos es que no sabe si quiere tener hijos (yo no quiero tener). Me he agarrado a eso como a un clavo ardiendo y esa ha sido mi escapatoria, pero pese a que paso hace casi dos meses, me ha estado insistiendo en volver juntos hasta hace muy poco. Hasta que le dio un ataque de celos y me envio mensajes insultandome. Muchos, poniendome por los suelos (mas tarde, me he enterado de que el SI esta viendo a otra persona).
A veces me siento libre, bien. Pero a veces siento miedo, miedo a que vuelva.
No se si se trata de una persona toxica o de un maltratador psicologico, pero cada vez, me convence, soy una persona muy sensible y empatica y me asusta que vuelva.
Agradeceria cualquier consejo, es la primera vez que lo cuento