Fils de paysans hongrois, Nagy fut incorporé à l'armée austro-hongroise en 1914. Fait prisonnier, il se rallia au régime bolchevique après 1917, et à ce titre participa à la guerre civile russe.

En 1918, Nagy retourna en Hongrie, adhèra au P.C. et fut ministre du gouvernement de l'éphémère république des conseils. A partir de 1920, il plongea dans la clandestinité jusqu'à ce qu'il se réfugie en U.R.S.S. en 1929. Il y demeura jusqu'à 1944.

De retour en Hongrie, il fut ministre puis président de l'Assemblée Nationale.

Après la mort de Staline, Nagy, qui symbolisait l'aile "réformatrice" de la bureaucratie, devint président du Conseil. Ses mesures de libéralisation rencontrèrent l’opposition de la majorité de l'appareil dirigée par Rakosi : il fut chassé du gouvernement et du parti en avril 1956.

Réhabilité sous la pression de la rue, Nagy prit la tête du gouvernement le 24 octobre 1956 dans une situation de révolution ouverte. Quelques jours après sa nomination, il présenta un programme économique et politique en totale rupture avec les mesures antérieures : arrêt de la collectivisation forcée, libération des prisonniers politiques...

Mais face à la révolution montante, le 4 novembre 1956, les troupes du Pacte de Varsovie investirent la capitale. Du 4 au 8 novembre, l’insurrection fut matée. Malgré la grève générale des conseils ouvriers du 21 novembre, Nagy fut enlevé avec 48 personnes, puis déporté en Russie. Condamné à mort pour trahison, il fut pendu en 1958 en Roumanie.