Hola Nicole.
No, no te pueden quitar la custodia de tu hijo. La infidelidad no es motivo para que te quiten la custodia. Pero tu si que puedes denunciarlo por amenazas y maltrato, y al tener pruebas ayudará mucho, y más si lo han pillado con drogas, podrías tener la custodia completa. Mucho ánimo y suerte.