Алексей Смирнов родился в 1920 году в провинциальном городке Данилов Ярославской губернии. Когда мальчику исполнилось пять лет, их семья перебралась жить в Ленинград, где будущий актёр пошёл в школу, а чуть позже начал посещать детскую театральную студию.
Как позже вспоминал Алексей Макарович, что, возможно, он бы увлёкся чем-нибудь другим, но в их школе был драмкружок, которым заведовал очень увлечённый театром человек. Он передал любовь к театру и трепет перед сценой своим ученикам, среди которых был и Алексей.
После окончания школы юноша поступил в театральную студию при Ленинградском театре музыкальной комедии. Завершить актёрское образование помешала война. В июле 1941 года Алексей, не дожидаясь повестки, сам пришёл в военкомат. И его сразу же отправили на фронт.
Он воевал геройски, был награждён орденами Славы и Красной Звезды, а также медалями «За отвагу» и «За боевые заслуги».
Воевал на Западном фронте командиром огневого взвода и ещё успевал в своём полку заведовать художественной самодеятельностью.
Встретить победу в Берлине ему помешало тяжёлое ранение в феврале 1945 года, после которого он был комиссован.
Далее была служба в театре, выступления на эстраде, и лишь в 1957 году его, наконец, заметили кинорежиссёры. Кинодебют у 37-летнего актёра состоялся в эпизоде фильма Яна Фрида «Балтийская слава».
В «Ленфильме» на актёра появилось личное дело, и далее Алексей уже не пропустил ни одного года без съёмок в кино, вплоть до своей смерти в 1979 году.
В его фильмографии около сотни киноработ и при этом менее десяти главных ролей. В основном в короткометражных фильмах.
Как однажды о Смирнове сказал Леонид Гайдай, мол, у него слишком яркий комический типаж для главных ролей. За то в своих эпизодах он был незаменим. В том числе и в его комедиях. Но, тем не менее, именно Гайдай доверял Смирнову главные роли в своих фильмах.
Глубокого драматического актёра в нём разглядел лишь Леонид Быков, когда самому Смирнову уже было за пятьдесят. После премьеры фильма «В бой идут одни старики» Алексей Макарович заявил всем, что в картинах Быкова он готов играть любые роли, даже не читая сценарии. А Леонид Фёдорович, свою очередь, назвал его в шутку самым грустным комиком нашего кино.
Внезапная и трагическая гибель Леонида Быкова в апреле 1979 года подкосила здоровье и Алексея Смирнова. Он очень тяжело переживал потерю друга и менее чем через месяц после похорон Быкова скончался от инфаркта.