Hola,
Estoy seguro de que no a TODOS les estorbas. ¿Y cómo te has enterado de eso?
Aunque suene a "respuesta frívola", creo que la opción acertada es adoptar una actitud de: Aquí estoy yo, soy así y a quien no le guste, aire.
Sin embargo, entiendo que te sientas mal por ello. Sería genial que hablaras de esto con alguien confiable, si no lo has hecho ya. No sería bueno que te tragaras la angustia tú sola.
Si decides que de verdad no estás a gusto en tu actual trabajo, yo sí opino que deberías buscar otras opciones. Pero ojo, antes piénsalo bien y háblalo con alguien más, si es con más de una persona, mejor.
Un abrazo y mucha fuerza.