Андрей Казьмин родился в 1958 году в Москве. В 1980 году окончил Московский финансовый институт по специальности "экономист", в 1983 году окончил аспирантуру МФИ. Кандидат экономических наук.
В 1983 – 1984 гг. работал экономистом в одном из отделений Сбербанка СССР в Москве.
В 1984 году вернулся в МФИ: работал ассистентом на кафедре "Денежное обращение и кредит", заместителем декана кредитно-экономического факультета.
В 1988 - 1993 гг. - старший научный сотрудник Комиссии по изучению производительных сил и природных ресурсов АН СССР (РАН). В этот период несколько раз стажировался в Австрии и Германии: в Австрийском национальном банке, Бундесбанке, германском федеральном Министерстве финансов, Институте мировой экономики.
В начале 1993 года пришел на работу в Министерство финансов РФ на должность советника министра. В июле 1993 года был назначен заместителем министра. Курировал вопросы денежно-кредитной политики, рынок ценных бумаг, отношения с государствами СНГ, взаимодействие с коммерческими банками. В период работы в министерстве входил в состав Правительственной комиссии по вопросам финансовой и денежно-кредитной политике, возглавлял Рабочую группу комиссии.
В 1995 году отвечал за проведение эмиссии первых государственных ценных бумаг для населения - облигаций сберегательного займа (ОСЗ). Участвовал в проведении залоговых аукционов. В январе 1996 года был избран председателем Правления Сбербанка РФ, в феврале того же года освобожден от должности заместителя министра финансов.
В октябре 1996 года был включен в Совет по банковской деятельности при Правительстве РФ.
В 1998 году вошел в состав Наблюдательного Совета Национальной фондовой ассоциации (НФА).
В мае 2003 года переизбран на пост вице-президента и члена административного совета (правления) Всемирного института сберегательных банков (World Savings Banks Institute) сроком на три года.