Родился 20 мая (1 июня) 1897 года в деревне Филисово ныне Рыбинского района Ярославской области.

На военной службе с 1915 года. Участник 1-й мировой войны (с 1916). За отличия в боях награжден двумя Георгиевскими крестами и двумя медалями. В Красной Армии с 1918 года. Почти 4 года воевал на фронтах Гражданской войны в России, участвовал в подавлении восстаний в Рыбинске, Ярославле, Пошехонье. Окончил курсы «Выстрел» (1927), Высшие академический курсы при Военной академии Генштаба (1950). После войны командовал ротой, с 1927 года — батальоном, затем — начальник штаба и командир полка. В 1936–37 годах принимал участие в национально-революционной войне испанского народа. По возвращении — командир стрелкового корпуса (1937), участвовавшего в советско-финляндской войне. С 1940 года — заместитель командующего войсками Закавказского военного округа.

С начала Великой Отечественной войны Батов — командир 9-го стрелкового корпуса, с августа 1941 года — заместитель, в ноябре-декабре — командующий 51-й армией Южного фронта, затем командующий 3-й армией (январь-февраль 1942), помощник командующего войсками Брянского фронта (февраль–октябрь 1942). В последующем до конца войны командовал 65-й армией, участвовавшей в боевых действиях в составе Донского, Сталинградского, Центрального, Белорусского, 1-го и 2-го Белорусских фронтов.

Войска под командованием Батова отличились в Сталинградской и Курской битвах, в сражении за Днепр, в боях при освобождении Белоруссии, в Висло-Одерской и Берлинской операциях, освобождали города Глухов, Речица, Мозырь, Бобруйск, Минск, штурмовали Росток, Штеттин (Щецин). Батов умело применил для поддержки атаки пехоты и танков двойной огневой вал в Бобруйской операции 1944 года, решительно осуществил маневр войсками армии с одного направления на другое в Белорусской (1944) и Восточно-Померанской (1945) операциях. Боевые успехи 65-й армии под его руководством 23 раза отмечались в приказах Верховного Главнокомандующего.

За организацию четкого взаимодействия подчиненных войск при форсировании Днепра, прочное удержание плацдарма на западном берегу реки и проявленные при этом личную отвагу и мужество удостоен звания Героя Советского Союза. Второй медалью «Золотая Звезда» награжден за инициативу и мужество, проявленные при организации форсирования pек Висла и Одер, овладении городом Штеттин. В ходе многочисленных боевых операций проявил себя решительным, энергичным военачальником.

После войны командовал механизированной и общевойсковой армиями, был 1-м заместителем главнокомандующего Группой советских войск в Германии (1945–55), командующим войсками Прикарпатского (1955–58) и Прибалтийского военных округов (1958–59); Южной группой войск (1961–62). В 1959–61 годах — старший военный специалист в Народно-освободительной армии Китая. В 1962–65 годах — начальник Штаба Объединенных вооруженных сил государств — участников Варшавского Договора.

С 1965 года в Группе генеральных инспекторов Министерства обороны СССР. В 1970–81 годах — председатель Советского комитета ветеранов войны. Депутат Верховного Совета СССР 1, 2, 4, 5 и 6-го созывов.

Награжден восемью орденами Ленина, орденом Октябрьской Революции, тремя орденами Красного Знамени, тремя орденами Суворова I степени, орденами Кутузова I степени, Богдана Хмельницкого I степени, Отечественной войны I степени, «За службу Родине в Вооруженных Силах СССР» III степени, «Знак Почета», медалями, иностранными орденами.