Familiar con actitudes paranoicas

Mi hermano cree que lo insulto. Hago una broma y eso cree. No hablo y eso cree. Hago un gesto o no hago nada y cree que le insinuo yalgo. incluso cuando estoy leyendo...me dice "sé lo que me estás diciendo" y cuando yo le explico que no le dije nada, el dice "vos sabrás"
Podés estar haciendo otra cosa y en un buen contexto con el. Se levanta de la nada te empieza a insultar y a hacer gestos de vendetta. Y cuando le intentas explicar que nada hiciste no hay forma de que lo vea así. Está absolutamente convencido. A mi me hace muy mal. Porque estamos lo más bien y de pronto se imagina algo y tiene esas reacciones cada vez más violentas conmigo y yo repito nada. Me entero tarde de que se enojo por algo, ya que el ambiente es positivo no hostil.
Ayer estabamos mirando una serie juntos y de repente me empieza a decir "ese se parece a tal persona (mi ex)" y se levanta con una furia tremenda me hace gestos mirándome como un loco (el de venganza y otros) y se va. Y yo sin entender nada!!!! me quedó preguntándome que pudo haber interpretado así.
Esto me pasa muchas veces....no se que hacer. Estoy dolida. Es un chico de 20 ya casi 21 años bastante aislado. Trato de levantarle el autoestima, de que sea feliz. Pero ahora mismo quiero alejarme, me lastima mucho que no entienda que no quiero lastimarlo, que me vea como una amenaza. Que debería hacer?