Алжан Жармухамедов родился в казахском селе Таваксай Южно-Казахстанской области недалеко от узбекской границы и Ташкента. Его отец Мусурбек – казах из рода Жаппас, мать Прасковья Жеронкина — запорожская казачка, бежавшая от голода с Украины.

Алжан вел образ жизни обычного советского мальчишки, учился в школе и не помышлял ни о какой спортивной карьере. В девятом классе юноша отправился со школьной экскурсией в Ташкент, где его заметил тренер студенческой команды по баскетболу. Парень приглянулся ему высоким ростом. Так Алжан познакомился с баскетболом.

Тем не менее, от мира большого спорта молодой человек был все еще далек. После окончания школы в течение двух лет он работал шлифовальщиком в небольшом узбекском городке Чирчик на заводе, где получил производственную травму и сильно повредил два пальца на правой руке, что тем не менее не помешало ему впоследствии стать знаменитым баскетболистом и Олимпийским чемпионом. Однако спортивные успехи и уговоры тренера сделали свое дело – Жармухамедов оставил работу и поступил в Ташкентский институт физкультуры. Тогда же, в 1963 году он всерьез занялся баскетболом, играя сначала за студенческую команду, а затем за ташкентский СКА.

Первым значительным достижением Алжана стала победа на чемпионате Европы в 1967 году в составе сборной СССР. Выступление на Чемпионате мира через три года стало менее успешным: советская команда заняла лишь третье место в общем рейтинге.

После окончания спортивной карьеры Алжан Жармухамедов пять лет работал тренером в Группе советских войск в Германии, затем был направлен в Алматы на должность тренера спортивного клуба по пулевой стрельбе (1987 год).