No entiendo el comportamiento.

Muy buenos dias  soy nueva aqui y nueva también entendiendo algunas cosas, mas allá de tener 22 años soy medio boba para captar algunas cosas. El tema es el siguiente: hace 1 mes que estaba trabajando repartiendo volantes, necesitaba plata asi que tomé ese trabajo, el encargado es casado y tiene hijos, pero a pesar de eso, empezó a invitarme al cine o a comer o charlar en un lugar a solas...a lo que yo siempre respondí que no. Siempre me sentí incomoda allí, pero seguía porque necesitaba dinero, hace unos dias conseguí un mejor trabajo entonces decidí renunciar y le dije que me sentía incomoda por el trato que me daba, a lo que me respondió que estaba equivocada, que el ama a su mujer y que yo confundí su amabilidad con otra cosa...
Yo me confundí o el es una mala persona? Para colmo...hoy no me pagó de la semana que trabajé, desde que rechacé todas sus invitaciones me mira casi con odio y no me mira a los ojos nunca...
Ahora tengo un poco de miedo a tener problemas con alguien de su familia...solo quería trabajar yo...