Obwohl er 1956 US-Staatsbürger wurde, war er häufig aus geschäftlichen und gesellschaftlichen Gründen in Europa. Auf einer dieser reisen lernte Pfizer seine Ehefrau Anna Hausch kennen, die er 1859 in Ludwigsburg heiratete. Sie hatten gemeinsam insgesamt 7 Kinder, von denen 5 das Erwachsenenalter erreichten: Charles jr. (1860-1928), Gustave (186