Он появился на свет 28 февраля 1920 года в городе Данилове Ярославской губернии. Отец мальчика рано ушёл из жизни и все заботы об Алёше и его маленьком брате Аркаше легли на плечи матери. Семья перебралась в Ленинград, где ютилась в крохотной комнате в коммуналке. Несмотря на тяготы бедного детства, Алексей рос жизнерадостным и юморным мальчуганом. В школьные годы он начал посещать драмкружок, впервые вышел на сцену и загорелся мечтой стать актёром. Получив аттестат, Смирнов поступил в студию при Ленинградском театре музыкальной комедии и вскоре был принят в труппу. Правда здесь он успел сыграть лишь одну роль — Чёрного Орла в оперетте «Роз-Мари».
В 1940-м году Алексея Смирнова призвали в армию, а с началом Великой Отечественной войны он добровольцем отправился на фронт. Актёр командовал огневым взводом в миномётном полку, воевал на Западном, Брянском, 1-м Украинском, 2-м Белорусском фронтах. В одном из боёв он лично взял в плен семь фашистов. За проявленное в многочисленных сражениях мужество старший сержант Смирнов был награждён орденом Красной Звезды, орденом Славы III степени и медалями «За отвагу» и «За боевые заслуги». В 1945 году, во время форсирования реки Одер, Смирнов с однополчанами на себе переправили миномёт и уничтожили две пулемётные точки противника, расширив плацдарм для советских войск. За этот подвиг он был награждён орденом Славы II степени. До Берлина старшине Смирнову дойти не удалось — он получил контузию, а после госпиталя его комиссовали.
Когда война кончилась, Алексей Смирнов вернулся на сцену родного Театра музыкальной комедии. Поначалу больших ролей ему не предлагали, и жилось актёру непросто — всю скромную зарплату он тратил на уход за больной матерью, у которой случилось психическое расстройство после гибели на фронте младшего сына Аркадия. Алексей остался её единственной опорой. Его театральная карьера потихоньку шла в гору, зрители полюбили смешных и неуклюжих увальней в его исполнении. Актёр появился в нашумевших опереттах «Вольный ветер» и «Девичий переполох», но мечтал о серьёзной роли. Впервые такая возможность предоставилась ему в постановке «Табачного капитана», где он предстал в образе Петра I. Постепенно Смирнов становился всё более заметным в театре, но коллеги почти ничего о нём не знали, а говорить о фронтовом прошлом он не любил. Никто даже не подозревал о боевых заслугах актёра до тех пор, пока он не повстречал на гастролях маршала Жукова и не пригласил его на спектакль.
Алексей часто гастролировал с театром, но его душа болела за мать, которая надолго оставалась совсем одна. В результате Смирнов принял решение покинуть труппу и перевёлся в «Ленгосэстраду». К концу 50-х актёра начали приглашать в кино, когда требовалась внушительная комплекция и простоватая внешность, правда роли были совсем небольшие. Он сыграл морячка в «Балтийской славе», буржуя в «Кочубее», шофёра в «Не имей 100 рублей…». Со временем его имя начало попадать в титры популярных картин — актёр предстал в образе посла в «Вечерах на хуторе близ Диканьки» и перевоплотился в матроса Кныша в «Полосатом рейсе».
Первым, кто предложил Алексею Смирнову главную роль, был режиссёр Леонид Гайдай. Он доверил актёру сыграть добродушного бандита Билла Дрисколла в одной из новелл фильма «Деловые люди». Смирнов прекрасно справился с ролью, поразив съёмочную группу своим цепким умом и способностью понимать всё с полуслова. Сотрудничество актёра и режиссёра продолжилось в комедии «Операция «Ы» и другие приключения Шурика» — Смирнов стал тунеядцем Федей, а над его репликами хохотала вся страна. С тех пор у актёра не было недостатка в ролях. За ним прочно закрепилось комедийное амплуа, которое охотно использовали многие известные режиссёры. Он появился в картинах «Айболит-66», «Свадьба в Малиновке», «Семь стариков и одна девушка», «Адъютант его превосходительства», «Золотые рога».
Однако особое место в биографии Алексея Смирнова занимала его дружба с Леонидом Быковым. Они познакомились на съёмках комедии «Зайчик» и сразу почувствовали друг в друге родственные души. Роль механика Макарыча в легендарном фильме «В бой идут одни „старики“» Быков писал специально для своего товарища, однако киноначальство кандидатуру «комика» Смирнова отклонило. Режиссёр пришёл в ярость — собрал все боевые награды, которые его друг получил в годы войны, и выложил на стол. Пристыженные начальники молча утвердили героя. Смирнов был бесконечно благодарен другу, что тот разглядел в нём драматический талант, и жалел лишь об одном — что слишком поздно нашёл «своего» режиссёра.
Быков мечтал увидеть актёра и в фильме «Аты-баты, шли солдаты», но Смирнов был вынужден отказаться из-за проблем со здоровьем — давала о себе знать давняя контузия и многолетняя работа на износ. На протяжении всей жизни актёр был очень одинок. Фронтовое ранение лишило его возможности иметь детей. Вернувшись из госпиталя, Алексей разорвал отношения с девушкой, так и не сумев объяснить ей неприглядную причину. Всю оставшуюся жизнь он сильно комплексовал из-за своего недуга и в конце концов пришёл к выводу, что жениться ему не суждено.
Алексей Смирнов жил в старой коммуналке под одной крышей с матерью, которая была для него самым близким человеком. Когда под конец жизни она из-за болезни перестала узнавать родного сына, актёр невыносимо страдал. Он искренне любил детей и умел расположить их к себе. На съёмках «Добро пожаловать, или Посторонним вход воспрещён» большой и добрый дядя Лёша был всеобщим любимцем, баловал юных актёров самодельными игрушками. Тем несправедливее казалась ему злая шутка, которую сыграла с ним судьба. Однажды Смирнов даже пытался забрать из детского дома мальчика с пороком сердца, но попытка усыновления закончилась неудачей.
В последние годы актёр вёл замкнутый образ жизни. Свободное время он проводил дома за чтением книг из собственной библиотеки или рассматривал коллекцию насекомых и пресмыкающихся, которых хранил в засушенном или заспиртованном виде. Финальным ударом для Смирнова стало известие о трагической гибели единственного друга Леонида Быкова в автокатастрофе. И без того слабое сердце дало сбой. Актёра с ишемией госпитализировали в больницу, где у него обнаружили целый ряд сопутствующих болезней — атеросклероз, недостаток кровообращения, жидкость в лёгких и выраженную одышку.
За две недели к нему в палату не пришёл ни один посетитель, зато актёр сумел расположить к себе весь медицинский персонал. В день выписки он устроил для врачей банкет, но покинуть стены госпиталя ему было уже не суждено — сердце 59-летнего Алексея Смирнова остановилось. Актёра похоронили на Южном кладбище Санкт-Петербурга. Сам он мечтал, чтобы на церемонии прощания звучал вальс «На сопках Маньчжурии», но об этом стало известно уже после похорон.