Родился 18 декабря 1913 в городе Юзовка (ныне Донецк, Украина).

В составе 34-го стрелкового полка 75-й стрелковой дивизии участвовал в советско-финляндской войне. Великая Отечественная война застала Козьмина под Брестом. Над полком нависла угроза окружения и пленения, но Александру Ивановичу удалось вывести из угрожаемого района 90 человек и вынести на своем теле боевое знамя полка. В конце 1942 года А.И. Козьмин направлен на курсы командиров полков, по окончании которых был назначен заместителем командира 50-го стрелкового полка 15-й гвардейской стрелковой дивизии. Вскоре последовало новое назначение - командиром 47-го стрелкового полка той же дивизии. Во главе этого полка Александр Иванович участвовал в обороне Сталинграда, не раз поднимал полк в контратаку против наседавших фашистов, организовывал разведгруппы с целью захвата пленных, создавал систему огня для максимального поражения противника. Из Сталинграда Козьмин был направлен в Военную академию имени М.В. Фрунзе. Окончив ее с золотой медалью, он получил назначение на должность начальника штаба 18-й бригады 98-й стрелковой дивизии 37-го воздушно-десантного корпуса. Позднее стал командиром 20-й бригады того же корпуса. В 1944 году возглавил 302-й стрелковый полк 98-й дивизии. С конца 1944 года принимал участие в освобождении Венгрии, Австрии и Чехословакии.

После войны Александр Иванович Козьмин окончил с золотой медалью Военную академию Генерального штаба. Он назначался на ряд ответственных должностей - от начальника штаба воздушно-десантной дивизии до командира корпуса. Был также начальником управления боевой подготовки Ленинградского военного округа и заместителем Главнокомандующего Группой советских войск в Германии по боевой подготовке, старшим военным представителем штаба Объединенных Вооруженных Сил стран-участниц Варшавского Договора.

Генерал-полковник А.И. Козьмин награжден орденом Октябрьской Революции, тремя орденами Красного Знамени, орденом Красной Звезды, американским орденом "Легион Почета", двумя польскими орденами "Виртути Милитари", медалью "За оборону Сталинграда" и другими.