Tengo miedo a dejar a mi padre solo

Hola, buenas, el problema es que mi padre desde siempre ha tenido una relación algo tóxica conmigo, tan pronto me quería como se enfadaba conmigo. Llevo viviendo con el desde los 13 años porque mis padres se separaron cuando era pequeña y viví con mi madre hasta que ella me dejó. Ese mismo año tuve novio a escondidas y mi padre me castigó si volver a verle y sin salir sin el a ningún sitio hasta que a los 16 me dejó quedar con mi mejor amiga en su casa. (Eso como ejemplo de como me trató 
Desde que tengo 8 años no recuerdo haberle visto con otra pareja y dice que no quiere otra. El problema es que dentro de poco iré a estudiar fuera y luego me emanciparé y puede que vaya a vivir con mi novio,pero me siento mal al dejarle solo porque no tiene a nadie más que a mi, ni amigos in!@#*!s. Mi relación con él siempre ha sido de amor-odio-pena-culpa, pero ahora quiero vivir mi vida y él es tan extremo que me hará elegir (se lo hizo ya a mi hermana y no habló más con ella)
No quiero dejarle solo por si su depresión empeora y de algún modo me siento responsable... Ayuda por favor y gracias por anticipado.