Будущий актер переехал к матери в 1973 году. Семейство проживало в небольшом доме, который расположен в штате Огайо. Несмотря на то, что парень взрослел без папы, он продолжал общаться с ним. Вуди даже пытался оспорить роковое решение суда, но сделать это ему не удалось. Артист часто посещал преступника в тюрьме и говорил, что всегда относился к отцу с уважением, так как считал его начитанным и образованным человеком.