No es el momento
si como dices que recien esta frecuentamdo con sus abuelos paternos, no seria dable, puesto que él se sentiria solo, para los niños su mundo son sus padres, y probablemente este echo puede marcarlo en su personalidad, ellos son muy sencibles, lo mejor es prepararlo, mas frecuencias con sus abuelitos hasta que el niño tome confianza y cariño por ellos, cuando hables con los abuelos solo sustenta el por que no, en fin sólo es una opinion mía, la mejor de todas es la de tu propio niño, escuchalo y habla con él, bendiciones para ti