Родился 25 января 1913 года в селе Зелёная Слобода Московской губернии (ныне Раменского района). В юности работал в колхозе, дослужился до должности бригадира. Одновременно выступал в любительском театре. Увлекшись сценой, уехал поступать в Москву.

В 1935 году окончил училище при Московском театре Революции и стал актёром этого театра. В 1940 году стал актёром киностудии «Союздетфильм», с 1945 года — актёр Театра-студии киноактёра.

Снимался в кино с 1939 года (дебютировал в роли есаула Сороки в фильме «Кубанцы»). Прославился ролями простых русских мужчин, часто эпизодическими, но колоритными (всего более 300).

Иван Рыжов ушёл из жизни утром 15 марта 2004 года в московской больнице. По рассказам дочери, это произошло по халатности медперсонала — актёр упал и порезал руку. Ему вовремя не оказали помощь и он потерял много крови. Панихида проходила не в Доме кино, как бывало с другими известными актёрами, а в больнице им. Боткина, в которой его не стало. Там же, в маленьком храме при больнице, прошло отпевание. Проститься с актёром пришли только родственники и несколько деятелей искусства.

Похоронен актёр на Перепечинском кладбище (участок № 25, № захоронения 1630).

Жил в Москве на улице Черняховского, д. 5.

Жена — Нина Петровна Никольская (1918—2003), дочь Татьяна Рыжова (1948—2020)