Николай Парфёнов родился 26 июля 1912 года в селе Сергиевы-Горки Владимирской губернии (ныне Вязниковский район Владимирской области). Его отец служил помощником капитана парохода, ходившим по Волге, а мать, имея на руках шестерых детей, занималась домашним хозяйством. После Октябрьской революции отца назначили директором льномяльного завода, но вскоре он умер.

После смерти отца вся нагрузка по обеспечению семьи легла на старших братьев, Николая и Бориса, которые целый день трудились в поле, и постепенно им удалось поднять хозяйство. В начале 1930-х годов в период коллективизации семья была раскулачена.

Чтобы спасти детей, мать отправила их в Пермь, а сама была отправлена на торфоразработки. В Перми Николай и брат Борис поступили в вуз, но впоследствии были отчислены. В Москве они устроились работать арматурщиками на завод «Серп и Молот», а три сестры из четырёх поступили учиться в МГУ. После получения сёстрами образования они устроились на работу, а братья подали документы на поступление в вузы. Николай поступил в студию при Московском театре им. Моссовета, тогда называвшемся театром МГСПС (Московского губернского совета профессиональных союзов), которую окончил в 1935 году. Его однокурсником был Владимир Зельдин.

В 1935—1989 годах — актёр Государственного академического театра им. Моссовета, в котором сыграл большое число характерных ролей.

Основной герой Парфёнова — администратор-бюрократ среднего уровня: управдом, заведующий, бухгалтер, начальник поезда, замдиректора, председатель месткома, прокурор. Его персонаж бывает трусоват, ограничен, упрям, лишён чувства юмора, долго подбирает нужные слова. Но вместе с тем, герои Парфёнова никогда не остаются равнодушными к общественным проблемам и делают все, чтобы окружающая жизнь стала справедливее и стабильнее.

Парфёнов был одним из самых снимающихся актёров 1960—1980-х годов. На его счету более 130 ролей в кино. Актёр стал своеобразным рекордсменом киножурнала «Фитиль» по количеству снятых эпизодов с его участием: от самых первых выпусков (1963 — «Большой фитиль») и до последних выпусков советского периода он появлялся в кадре практически ежегодно. Сниматься Парфёнов прекратил, когда ему исполнилось 80 лет. Главными увлечениями Н. И. Парфёнова были стихи и спорт, он любил шахматы, был довольно сильным игроком.

Скончался 7 января 1999 года в Москве на 87-м году жизни. Похоронен на 59-м участке Химкинского кладбища 10 ряд 15 могила от центральной аллеи.