Маршал артиллерии
Родился 19 декабря 1898 года в городе старая Русса Новгородской области.
На военной службе с 1917 года. В Красной Армии – с 1918года. Окончил 2-е Петроградские артиллерийские курсы (1920), Академические курсы усовершенствования комсостава (1924).
Участник Первой мировой войны, воевал командиром взвода. Во время Гражданской Войны – командир артиллерийского взвода и адъютант дивизиона. С 1922 года служил в СКВО помощником командира и командиром батареи, начальником полковой школы, помощником командира и командиром дивизиона. С 1929 года – начальник штаба, с 1931 года – командир артиллерийского полка. С 1934 года – начальник артиллерии Полоцкого Укрепленного Района, с 1935 – БВО, с 1936 года – помощник армейского инспектора кавалерии БВО. В 1937-1941 годах – начальник артиллерии СКВО и КОВО, участник похода в Западную Украину (1939). В 1941–1946 годах – начальник Главного артиллерийского управления (ГАУ) и член Военного совета артиллерии Красной Армии. Во время Великой Отечественной войны проводил большую работу по обеспечению действующей, армии вооружением и боеприпасами. 
Под руководством Н.Д. Яковлева были разработаны новые образцы артиллерийского вооружения и боеприпасов. В 1946–1948 годах – начальник ГАУ – 1-й заместитель командующего артиллерией Вооруженных Сил, с ноября 1948 года – заместитель министра ВС СССР по вооружению. 
В декабре 1951 года снят с занимаемой должности, в январе 1952 года необоснованно арестован. В 1953 году освобождён из-под стражи и назначен 1-м заместителем командующего (с 1955 – главнокомандующего) Войсками ПВО страны. 
С 1960 года – в Группе генеральной инспекции МО СССР.
Депутат Верховного Совета СССР II созыва.
Награждён шестью орденами Ленина, двумя орденами Красного Знамени, двумя орденами Суворова I степени, орденами Кутузова I степени, Трудового Красного Знамени, медалями, а также иностранными орденами и медалями.