Nasceu em Juiz de Fora (MG) a 13 de maio de 1901. Trabalhou como telegrafista, prático de farmácia, guarda-livros e funcionário do cartório de seu pai. Em 1920 foi levado por um irmão mais velho para o Rio de Janeiro, onde passou a trabalhar como arquivista do Ministério da Fazenda. Seu primeiro livro, Poemas, foi publicado em 1930 e bem recebido pela crítica. Com ele ganhou o prêmio da Fundação Graça Aranha.

Em 1957, o poeta, a convite do Departamento Cultural do Itamarati, vai para a Itália lecionar na Universidade de Roma. O curso de Estudos Brasileiros é criado também por ele na Universidade de Pisa. Voltando poucas vezes ao Brasil, acaba se tornando também conhecido na Europa como poeta e crítico de arte.

Em 1968 publica seu livro de memórias, A idade do serrote. Em 1972 conquistou o Prêmio Internacional Etna-Taormina. Embora seguindo as pegadas do Modernismo de 1922, a poesia de Murilo Mendes é mais séria e intimista.

Faleceu em Lisboa, Portugal, em agosto de 1975.