Louis Jude Ferrigno est né dans une famille d'origine italienne à Brooklyn (New York). Son père Matty d'origine italienne était lieutenant de police et sa mère s'appelait Victoria. Peu de temps après sa naissance, Lou souffre de nombreuses infections aux oreilles. Alors qu'il est âgé de 3 ans, ses parents découvrent qu'il est sourd à 75-80 %. Dès l'âge de 13 ans, il s'exerce à la musculation afin de compenser son handicap par sa qualité physique1. Adulte, il mesure 1,94 m pour un poids de 145 kg. Toutefois, dans la préparation au titre de Mr. Olympia en 1975, il est homologué à 124,7 kg pour 1,95 m. Il arrive 3e derrière Serge Nubret et le vainqueur Arnold Schwarzenegger (cf. le film Pumping Iron sorti en 1977).