A célebre Torre do Relógio, da autoria do arquitecto italiano Canevari, só durou umas escassas décadas, já que o terramoto de 1755 destruiu o Paço e tudo à volta.
Com a construção da Real Barraca, à Ajuda, concluída em 1761, fez-se nova Patriarcal da qual a Torre do Galo (por ter um catavento em forma de galo) fazia parte.
Em 1794, e segundos os registos, por descuido de um criado com uma candeia, deflagra-se um enorme incêndio que destrói por completo a Real Barraca e grande parte do seu valioso recheio – tapeçarias, pinturas, ourivesaria, mobiliário – é totalmente consumido pelo fogo. Salva-se a Torre da Paroquial (Torre do Relógio ou do Galo).