Çocukluk yılları, Washington, Bellingham'daki Samish Nehri kenarındaki karavan kasabasında geçti. Sonraları 2. Oscar'ını kazandıkdan sonra şöyle diyecekti:Bunu hakedecek ne yaptım bilmiyorum. Ben sadece karavan kasabasından gelen hayalleri olan kızım.Ailesinin, Hilary henzüz 15 yaşındayken ayrılmasının ardından annesi ile birlikte Kaliforniya'ya taşındı. Beş parasız olmaları sebebiyle arabalarında yatıyorlardı. 16 yaşında aktörlük tutkusu yüzünden okulunu bıraktı. Annesinin de kendini desteklemesi kuşkusuz Hilary için büyük moral kaynağıydı.