Issu d'une famille pauvre, ouvrier à quatorze ans, Iejov adhère au parti bolchevique en 1917 et devient l'un des protégés de Staline à partir de 1927.

Il accède au comité central du Parti, puis au comité exécutif du Komintern en 1934. Il dirigera d'une main de fer la répression contre l'opposition.

Iejov succéde ensuite à Iagoda à la tête du NKVD, le contre-espionnage soviétique, en septembre 1936; à ce poste clé, il mit en œuvre une nouvelle purge, sans doute plus massive que les précédentes, surnommée « iejovtchina ».

Eliminé par Béria en 1938, Iéjov est emprisonné. Lors de son procès, en 1939, il reconnut avoir « purgé quelque quatorze mille tchékistes » et fut fusillé en prison.