Окончил казачье юнкерское училище в 1900 году. С 1891 года работал оружейным мастером в казачьем полку в Радивилове на Волыни, а с 1900-го — заведующим оружием. Затем поступил на курсы при офицерской стрелковой школе в Ораниенбауме, где и начал свою конструкторскую карьеру.

Токарев начал свою конструкторскую деятельность в 1908 году. В 1908—1914 годах он работал на Сестрорецком оружейном заводе, где продолжал совершенствовать эту модель винтовки, работая, кроме того, над новыми образцами автоматической винтовки собственной конструкции. Автоматическая винтовка Токарева наравне с другими конструкторами была признана и прошла «комиссионные» и полевые испытания. Но в 1912 году он представил совершенно новый образец винтовки, значительно улучшенный, над которым работал до 1914 года, когда был мобилизован в действующую армию.

В действующей армии Токарев находился около полутора лет, командовал сотней в 29-м Донском казачьем полку и получил 5 боевых наград за отличие в делах против неприятеля. В 1915 году Токарева вновь зачислили в штат Сестрорецкого завода, как «отличного техника и конструктора оружия».

Талант Токарева расцвёл в начале 1920-х годов. С 1921 он связал свою судьбу с Тульским оружейным заводом. В 1924 году на вооружение Красной Армии был принят ручной пулемёт Максима, модернизированный по системе Токарева (МТ — Максим — Токарев). В 1926-м Токарев разработал новый вариант пулемёта Максима для применения в авиации, заменивший пулемёт Виккерс. В 1927 году разработал первый отечественный пистолет-пулемёт под револьверный патрон (Пистолет-пулемет Токарева образца 1927 г.).

Фёдор Васильевич Токарев нередко выходил победителем открытых конкурсов на лучшие образцы оружия. Так, в конце 1920-х годов ряд конструкторов стрелкового оружия (С. А. Коровин, С. А. Прилуцкий и другие) работал над пистолетами. Участвовал в этой работе и Токарев. С 25 июня по 13 июля 1930 года комиссия под председательством В. Ф. Грушецкого проводила полигонные испытания 7,62-мм пистолетов Коровина, Прилуцкого и Токарева параллельно с испытанием лучших иностранных образцов систем Люгера, Браунинга, Маузера и пр.

Особое внимание Токарева привлек пистолет Colt 1911, системы Джона Мозеса Браунинга. Токарев отметил чрезвычайно удачную систему запирания затвора этого пистолета, и несколько упростив, применил в ТТ не только эту систему, но и всю компоновочную схему. Это был очень удачный выбор, схема Браунинга по сей день считается самой удачной и используется в самых современных пистолетах. Применив схему Браунинга для патрона 7,62*25 Токареву удалось создать необычно мощный и компактный пистолет. Испытания выявили превосходство пистолета Токарева над многими другими по массе, габаритам и мощности в различных условиях эксплуатации.

В 1930 году на вооружение армии поступил разработанный Токаревым самозарядный пистолет ТТ. Им были также разработаны самозарядная винтовка образца 1938 года (СВТ-38), самозарядная винтовка СВТ-40, которые применялись в Великой Отечественной войне.

В 1948 году Токарев сконструировал оригинальный фотоаппарат для панорамной съемки ФТ-1, выпущенный в небольшом количестве в 1948—1949 годах на Красногорском механическом заводе. После существенной переработки заводскими конструкторами фотоаппарат Токарева под названием ФТ-2 выпускался с 1958 по 1965 годы.

Разработки: - МТ (пулемёт); - Пистолет-пулемёт Токарева образца 1927 года; Пистолет ТТ; СВТ-38; СВТ-40.

Модернизировал: - Пулемёт «Максим»; Пулемёт Виккерс.