O Lar de D. Pedro V é uma das instituições mais antigas da cidade de Braga.
Todavia, nem sempre esteve ligada à Educação ou ao trabalho com crianças e jovens socialmente carenciadas. Com efeito, no século XVII (1652), um ilustre casal bracarense ordenou a construção de um recolhimento para religiosas, no que então se chamava Campo de Santana, e deixou-lhe em herança todos os seus bens, desde que se convertesse em convento regular, o que veio a suceder durante o arcebispado de D. Rodrigo de Moura Teles (1704-1728). Em 7 de junho de 1720, o mesmo arcebispo lançou e benzeu a primeira pedra para a igreja do convento da ordem da Imaculada Conceição, concluída em 1727. Convém referir que esta igreja é ainda hoje um dos símbolos mais reconhecidos da arte barroca bracarense, a Igreja de Nossa Senhora da Penha de França.
Nesse mesmo ano, mais concretamente em 4 de junho, D. Rodrigo de Moura Teles, juntamente com a superiora do convento e outras religiosas, entraram em procissão solene no novo convento. O convento acabaria por encerrar a 21 de dezembro de 1874, devido ao falecimento da última freira. O edifício esteve devoluto durante cerca de cinco anos, altura em que o convento da Penha e todos os seus pertences foram entregues ao cuidado de um asilo para crianças carenciadas, entretanto fundado em Braga por individualidades ilustres da cidade, como o Governador Civil de Braga, Marquês da Sabugosa, o Arcebispo Primaz, D. José Joaquim d’Azevedo e Moura ou o Dr. Francisco de Campos d’Azevedo Soares, primeiro conde de Carcavelos.
A 20 de novembro de 1861, nascia o Asylo de Infância Desvalida de D. Pedro V, assim chamado em memória do Rei D. Pedro V, falecido há nove dias. As primeiras instalações situavam-se no hospício das Carvalheiras, mas a 12 de maio de 1879, cinco anos após o encerramento do convento da Penha, o Asylo de Infância Desvalida de D. Pedro V tomava posse daquelas instalações, fixando-se por lá até aos dias de hoje.