O Palácio de Yarra foi construído na década de 1950 por James Garret Lamb após o mesmo se tornar o primeiro Duque de Melbourne. O nome da residência foi escolhido em homenagem ao rio que corta a cidade, o Yarra. Com cerca de quatro hectares, parte do palácio está envolvido pelo mar e ainda possui 28 quartos, 37 salas, campo de golfe, ilha privativa, pomar e três piscinas.