В 1924 вступил добровольцем в Красную Армию.

В 1924-1925 годах — курсант Одесского пехотного училища, в 1925 году перевелся в Киевскую артиллерийскую школу и закончил её в 1928 году. Член ВКП(б) с 1928 года.

В 1940 году — командир танковой бригады в Белоруссии, в том же году назначен заместителем командира 2-й танковой дивизии Прибалтийского особого военного округа.

11 марта 1941 года назначен командиром 28-й танковой дивизии 12-го механизированного корпуса в Прибалтике.

В Великую Отечественную войну командовал 28-й танковой дивизией (в декабре 1941 года переформирована в 241-ю стрелковую дивизию) в оборонительных боях юго-западнее Шяуляя, на Западной Двине, под Сольцами и Новгородом. В первые месяцы войны ему присвоено воинское звание полковник.

5 мая 1942 года полковнику Черняховскому И. Д. присвоено воинское звание «генерал-майор».

В июне — июле 1942 года он командует 18-м танковым корпусом на Воронежском фронте.

С июля 1942 года — до апреля 1944 — командующий 60-й армией, которая приняла участие в Воронежско-Касторненской операции, Курской битве, форсировании рек Десна и Днепр, в Киевской, Житомирско-Бердичевской, Ровно-Луцкой, Проскуровско-Черновицкой операциях. За операцию по освобождению города Воронежа представлен к ордену Красного Знамени: . При этом все остальные командармы Воронежского фронта были награждены орденами Кутузова 1-ой степени. Это связано с тем, что командующему 2-ой немецкой армии генералу Г. фон Зальмуту удалось вывести большинство своих частей из окружения, в которое они попали в районе Касторного. Однако затем именно армия Черняховского сыграла решающую роль в стремительном освобождении Курска, нанеся неожиданный для противника глубокий фланговый удар.

14 февраля 1943 года ему присвоено звание «генерал-лейтенант».

Указом Президиума Верховного Совета СССР от 17 октября 1943 года за высокие организаторские способности при форсировании Днепра и проявленный личный героизм генерал-лейтенанту Черняховскому Ивану Даниловичу присвоено звание Героя Советского Союза.

5 марта 1944 года ему присвоено звание «генерал-полковник».

С апреля 1944 года Черняховский командует войсками 3-го Белорусского фронта. Из всех командующих советскими фронтами он был самым молодым по возрасту. Фронт под его командованием успешно участвовал в Белорусской, Вильнюсской, Каунасской, Мемельской, Гумбиннен-Гольдапской и Восточно-Прусской операциях.

28 июня 1944 года ему присвоено звание «генерал армии». Черняховский стал самым молодым генералом армии в РККА (в 37 лет).

Второй медали «Золотая Звезда» генерал армии Черняховский Иван Данилович удостоен Указом Президиума Верховного Совета СССР от 29 июля 1944 года за успешные действие его войск при освобождении Витебска, Минска, Вильнюса.

18 февраля 1945 года генерал армии Черняховский И. Д. был тяжело ранен осколками артиллерийского снаряда на окраине города Мельзак в Восточной Пруссии (ныне Пененжно, Польша) и в тот же день скончался. Был похоронен в Вильнюсе на одной из центральных площадей.

В 1992 году прах дважды Героя Советского Союза Черняховского был перезахоронен в Москве на Новодевичьем кладбище.

Демонтированный властями Вильнюса, памятник Черняховскому был установлен в Воронеже, который в конце 1942 года обороняла, а в январе 1943-го освобождала 60-я армия под командованием И. Д. Черняховского. На памятнике была сделана надпись: «И. Д. Черняховскому от воронежцев».