Albino Silva nasceu no dia 30 de junho de 1909, em Curitiba, filho de Aldo Silva. Ingressou na Escola Militar do Realengo, no Rio de Janeiro, em 1927, concluindo o curso de engenharia militar em 1930. Cursou a Escola de Armas e a Escola do Estado-Maior do Exército e a Escola Superior de Guerra.

Em 1958, foi relator da comissão criada pelo presidente Juscelino Kubitschek (1956 a 1961), com o objetivo de averiguar o conflito entre o Conselho Nacional do Petróleo (CNP) e a Petrobras, envolvendo esferas de atribuição. O relatório final dos trabalhos concluiu ter a Petrobras tomado várias decisões envolvendo compras de petroleiros e localização de novas refinarias sem a aprovação do CNP, mas que este, por sua vez, mostrava-se lento na análise e aprovação dos programas que lhe eram submetidos pela empresa estatal.

Em 1961, Albino Silva foi transferido para Porto Alegre, onde exerceu interinamente a chefia do estado-maior do III Exército. Em maio de 1962, no governo de presidente João Goulart (1961-1964), foi nomeado assessor militar da delegação brasileira na Comissão Mista Brasil-Estados Unidos. Em setembro, assumiu a chefia do Gabinete Militar da Presidência da República.

Albino Silva deixou a chefia do Gabinete Militar para ocupar, em junho de 1963, a presidência da Petrobras. Ao assumir o cargo, declarou que as falhas da Petrobras deveriam ser atribuídas "à própria empresa e não aos trustes internacionais do petróleo". Em fins de janeiro de 1964, acusou um diretor e alguns chefes de serviço da Petrobras de terem negociado contratos ruinosos para a empresa e solicitou ao presidente da República a demissão do diretor acusado. Ao mesmo tempo, esse diretor acusou Albino Silva pelos mesmos motivos. Goulart interveio demitindo Albino e também os demais envolvidos, e nomeando uma comissão especial para apurar irregularidades. Na Câmara dos Deputados, criou-se uma CPI com a mesma finalidade, mas não foram comprovadas as denúncias.

Após o golpe militar de 31 de março de 1964, que depôs João Goulart, foi editado o Ato Institucional nº 1, que permitiu cassações, demissões e expulsões de adversários do novo regime. Por força deste ato, Albino Silva foi transferido para a reserva.

Faleceu no dia 22 de abril de 1976, no Rio de Janeiro.

Foi casado com Maria Aparecida Pimpão Silva, com quem teve um filho.