Bibi buyutnya Pearl Madison, ibu pemimpin keluarga, membantu mendirikan perusahaan asuransi pemakaman pada tahun 1920-an, sebuah industri penting dalam komunitas Kulit Hitam, dan kemudian membantu mendirikan rumah duka. Ayahnya, yang dikenal sebagai AJ, adalah sekretaris-bendahara lama di bisnis gabungan, Christian Benevolent Funeral Home and Burial Association.
Pernikahan pertama Gary Cooper, dengan Charlesetta Ferrill, dan dikaruniai tiga orang anak, berakhir dengan perceraian. Pernikahan kedua, dengan Gloria Giles, juga berakhir dengan perceraian. Pada tahun 1991, ia menikah dengan Beverly Martin. Dia selamat darinya. Selain putrinya Joli Claire, begitu pula anak-anaknya yang lain, Patrick Charles Cooper dan Gladys Shawn Cooper; tujuh cucu; seorang cicit perempuan; seorang saudara perempuan, Dominque Cooper; dan seorang saudara laki-laki, Algernon J. Cooper Jr., mantan ajudan Robert F. Kennedy.
Dua saudara kandung lainnya, yang menjalani kehidupan terkemuka, meninggal lebih awal: Mario Cooper, seorang agen nasional Partai Demokrat, yang meningkatkan kesadaran akan AIDS di komunitas Kulit Hitam, pada tahun 2015, dan Peggy Cooper Cafritz, seorang kolektor dan pendukung seniman Kulit Hitam, pada tahun 2018.
Pada tahun 1974, Jenderal Cooper terpilih sebagai Demokrat di Badan Legislatif Alabama; dia adalah orang Afrika-Amerika pertama dari Mobile yang bertugas di Dewan Perwakilan negara bagian tersebut sejak Rekonstruksi. Sebagai seorang pragmatis di Montgomery, ibu kota negara bagian, ia membentuk aliansi dengan Gubernur George Wallace, seorang tokoh segregasionis, dengan setuju untuk menjadi salah satu pemimpin partainya di DPR. Pada pertengahan tahun 1970-an, dia memblokir rancangan undang-undang untuk mendanai pensiun hakim pengesahan hakim di Mobile County – pejabat yang sama yang menyimpan buku izin terpisah untuk pernikahan kulit hitam dan putih – sampai hakim setuju untuk mengakhiri praktik rasis tersebut.
Jenderal Cooper menjabat hingga tahun 1978, ketika ia mengundurkan diri untuk menjadi komisaris Departemen Pensiun dan Keamanan Luar Negeri.
