Tras o peche do lazareto realizáronse diversas propostas de reutilización das instalacións, entre elas a criación dun aeroporto marítimo ou unha residencia para nenos orfos. Con todo, a Guerra Civil española paralizou calquera iniciativa e finalmente a illa converteuse en colonia penal, función que desempeñou entre 1936 e 1943, albergando a presos de zonas próximas e tamén a detidos procedentes doutros pontos de España.
Mentres a illa grande destinábase a prisión, en San Antonio instalouse o acuartelamento dos soldados encargados de custodiar o penal. Unha vez finalizada a guerra, a época máis dura na vida da prisión, e a menos tensa postguerra, a colonia penal pechouse no ano 1948, recuperándose como albergue de residencia temporal para os membros da garda do entón Xefe do Estado, Francisco Franco.
A illa volvería ser testemuña dunha nova traxedia no ano 1950, cando o naufraxio da lancha A Monchita provocou a morte de 43 membros da Garda de Franco, o que supón a clausura definitiva do albergue.
As illas serían reutilizadas durante os anos 50 para a criación do Fogar Méndez Núñez para a formación de orfos de mariñeiros, un proxecto de vida efémera que funcionou entre os anos 1955 e 1963. O cruceiro en homenaxe ás vítimas do naufraxio da A Monchita, inaugurado en 1958 no illote de As Cobreiras, ao sur do arquipélago, foi o último elemento monumental levantado no conxunto de San Simón antes do seu abandono definitivo, que se prolongou durante trinta anos ata un novo rexurdir nos anos 90 do século pasado, grazas ao desenvolvemento do plan director que levará á rehabilitación das infraestruturas.