В 1939 году окончил Васильевскую семилетнюю школу. Учился в Борковской Школе Коммунистической Молодежи, но не окончил — в октябре 1941 года занятия были прекращены в связи с приближением линии фронта, после чего работал на сооружении противотанковых рвов. По заданию РК ВЛКСМ работал инспектором Тербунского райсобеса. После мобилизации в конце июня 1942 направлен курсантом в полковую школу при 181-м запасном стрелковом полку, по окончании которой направлен в Ленинградское ордена Ленина Краснознаменное артиллерийское училище (Ижевск).

В 1943 добровольно ушел на фронт. С 73-й артиллерийской дивизией участвовал в боях на Ленинградском, 1-м и 2-м Прибалтийских фронтах. После окончания войны с Германией воевал с японскими войсками в составе 2-го Дальневосточного фронта.

После войны А. А. Голубев служил на Камчатке, где окончил Петропавловское-на-Камчатке педагогическое училище. В сентябре 1950 года приступил к учительской работе в Тербунской средней школе. В 1950 году окончил исторический факультет Елецкого педвуза, а в 1959 году — факультет русского языка и литературы Московского пединститута.

В 1970 году в Тербунской средней школе создал и возглавил один из лучших народных музеев. Открытие музея состоялось 20 апреля 1970-го года. В настоящий момент в музее насчитывается около трех тысяч экспонатов.

Умер 25 декабря 2004 года.

Именем Александра Афанасьевича Голубева назван созданный им краеведческий музей в Тербунской средней школе.