Keluarga Connolly menetap di California Selatan, dan Olga menjadi warga negara AS. Dia melanjutkan untuk berkompetisi di empat Olimpiade berikutnya untuk tim AS – di Roma, Tokyo, Mexico City dan Munich – meskipun dia tidak memenangkan medali lagi.
Dia dan suaminya memiliki empat anak, semuanya menjadi atlet: Mark, seorang pemain bola basket perguruan tinggi dan sempat menjadi petinju; Jim, seorang atlet decathlete dan pelempar lembing yang luar biasa; dan putri mereka, Merja, pemain bola voli tim nasional, dan Nina, pemain tenis.
Selain Merja dan Jim, yang merupakan saudara kembar, ia meninggalkan dua anaknya yang lain, Nina Southard dan Mark Connolly, serta tiga cucunya. Dari tahun 1959 hingga awal tahun 2000-an, Olga tinggal di Culver City, California. Setelah itu, dia kebanyakan tinggal di Costa Mesa.
Dia pernah menjadi mahasiswa kedokteran saat memenangkan medali emas di Olimpiade 1956, tetapi dia tidak pernah kembali ke studi tersebut. Sebaliknya, setelah menikah, ketika tidak berkompetisi, dia bekerja di bidang lingkungan hidup, menjadi pelatih pribadi, menjual perlengkapan pendakian gunung, mengajar di Universitas Loyola Marymount di Los Angeles, melatih pelempar cakram dan tolak peluru di Orange Coast College di Costa Mesa, dan program atletik yang diawasi untuk anak-anak prasekolah dan orang tua.
Olga, bersama suaminya, juga menikmati ketenaran. Dia adalah tamu misterius di salah satu episode acara permainan “Terus terang” pada tahun 1958, dan pasangan ini muncul di “The Ed Sullivan Show,” yang diperkenalkan dengan hangat oleh Mr. Sullivan dan dinyanyikan oleh Louis Armstrong.
