Кейси Аффлек родился в северо-восточном городе США ФАЛМУТ. Его мама была учительницей, а отец много пил и не работал. Когда родители Аффлека развелись, Кейси и Бен остались с матерью. Она водила сыновей в театр, устраивала домашние представления, и привила им любовь к искусству.