Hollandais d'origine, Muste arrive enfant aux Etats-Unis. En 1909, il devient pasteur calviniste. Ses positions pacifistes à partir de 1914 le mettent en difficulté avec la hiérarchie cléricale.

A partir de 1919, Muste se trouve en contact du mouvement ouvier. Il devient rapidement directeur du collège de Brookwood à Katonah, New York. Ce centre de formation syndical eût une grande importance pour le mouvement ouvrier américain et donna à Muste une influence réelle au sein du mouvement syndical.

En 1929, Muste impulse la Conference for Progressive Labor Action qui cherche à réorienter le mouvement syndical américain vers la lutte de classe. Le cours des évènements pousse alors Muste vers la révolution : il fonde l'American Workers Party en 1933. Il a alors une activité importante, notamment dans la vague de grève des années 1930-35.

L'activité politique avait fait rentrer Muste en contact avec les trotskystes dirigés par J.P. Cannon. Bientôt, les deux groupes fusionnent dans le Workers Party of America, ouvertement trotskyste. Mais en 1936, au retour d'une visite chez Trotsky, Muste va soudainement rompre avec le trotskysme et retourner à l'Eglise. Il dirigera une organisation religieuse pacifiste jusqu'en 1953.

A partir de 1953, Muste se consacre à diverses activités pacifistes : contre le désarmement, l'intervention U.S. au Vietnam, etc.