В 1930 году вместе с родителями он переехал в Москву, где семья поселилась на улице Малые Кочки (ныне улица Доватора), работал в ремонтных мастерских 2-го Московского шарикоподшипникового завода (литейщиком), одновременно занимался в популярной театральной студии при заводе «Каучук». Этим полупрофессиональным театральным коллективом руководили в то время актёры Театра им. Вахтангова во главе с Василием Кузой, - его Анатолий Папанов и считал своим первым учителем.

В 1937 году Папанов впервые снялся в кино, сыграв эпизодическую роль в фильме «Ленин в Октябре».

В первый же день войны 22 июня 1941 года он ушел на фронт. Дослужился до старшего сержанта.

В 1942 -м был направлен на Юго-Западный фронт. Там готовилось большое наступление советских войск. Под Харьков были стянули несколько советских дивизий, которые попали в «котел». Немцы перешли в контрнаступление, и советские войска были вынуждены отступать до самого Сталинграда. Двадцатилетний Анатолий Папанов командовал тогда зенитной батареей. В этих боях, он роль солдата, которому некуда отступать – прожил сполна.

Под Харьковом Папанов узнал, что значит служить в батальоне, который просит и не получает огня. Там он был тяжело ранен в ногу, попал в госпиталь и, в 21 год от роду, вышел из него инвалидом.

«Разве можно забыть, как после двух с половиной часов боя, из сорока двух человек осталось тринадцать?»

– вспоминал Папанов.

Об этом времени – одна из самых ярких и значительных ролей актера – роль генерала Серпилина в экранизации романа Симонова «Живые и мертвые». Возможно, не будь Серпилина в творческой биографии Папанова, не было бы и другой военной роли – бывшего радиста-десантника, бухгалтера Дубинского, в фильме «Белорусский вокзал».