No lo aceptes de regreso
Hola
Espero que esta respuesta te llegue a tiempo. En mi opinión, no puedes aceptar que nadie le pegue a tus hijos, eso es maltrato, y está penado por la ley. Da lo mismo si fue una palmada o golpes graves, si aparentemente había o no una razón. Nadie puede levantarle la mano a tus hijos.
Ese hombre, que te advirtieron es agresivo, está mostrando su verdadera personalidad. Opta él por irse para que tú te sientas débil, arrepentida, y sin que siquiera te pida discupas sientas culpa y ganas de perdonarlo. Yo estuve con un hombre así. Narcisismo maligno se llama. Cada día será peor. Te manipulará, hará sentir que eres tú quien está mal, e irá moviendo los límites cada vez más.
Por tus hijos, no lo admitas más en casa. Busca ayuda sicológica para cuando tengas momentos de debilidad en que quieras dejarlo volver, pero no lo hagas por nada del mundo. Si no respeta a tus hijos, no te respeta a ti, y tus hijos son prioridad ante todo.