Incorporando o Armazém Del Rey e a Casa da Moeda, o brigadeiro e engenheiro militar José Fernandes Pinto Alpoim, projetou a nova Casa dos Vice-Reis do Brasil, cujas feições se sobressaíam às dos sobrados existentes no Largo do Carmo.

Com a chegada da Corte Portuguesa, o prédio foi promovido a Paço Real, local de despacho e da tradicional cerimônia do Beija-mão do Rei D. João VI. Após a Independência do Brasil, passou a Paço Imperial, palco dos principais acontecimentos políticos e sociais da Corte, entre eles a aclamação de D. João VI, como soberano do Reino Unido de Portugal, Brasil e Algarves.

Após a Proclamação da República, entrou em curso o apagamento dos símbolos imperiais e o prédio tornou-se, então, a sede da Agência Central dos Correios e Telégrafos (1929 a 1975).  Apesar de tombado em 1938 pelo antigo Serviço de Patrimônio Histórico e Artístico Nacional - SPHAN, o edifício foi entregue ao IPHAN, em 1980, semidestruído e descaracterizado.  

Restaurado, recebeu tratamento multidisciplinar buscando a reabilitação das marcas do passado. Fragmentos e vestígios das construções foram surgindo, revelando as intervenções sofridas no interior do prédio. Alguns acréscimos foram eliminados, deixando a fachada mais aproximada à do tempo de Dom João VI.