Karen Brahe styrede selv klosteret ind til sin død i 1736, hvorefter patronatet overgik til Brahe-familien, og sidenhen familien Bille-Brahe og Bille Brahe Selby. Efterhånden fik økonomiske problemer klosteret til stykvis at bortsælge stiftelsens jordtilliggender. Der var også problemer med at udfylde alle pladserne i klosteret, og op i mod vores tid fandtes huset og lejlighederne så utidssvarende, at der blev færre og færre, som ønskede bolig i stiftelsen. Den sidste adelige jomfru forsvandt midt i 1950’erne, og priorinden flyttede ud omkring 1970. I den forbindelse besluttede klosterets ledelse at søge en sammenlægning med Roskilde adelige Jomfrukloster, hvilket skete i 1974. Ved fusionen blev de indskrevne frøkeners rettigheder overført til den videreførende institution, Den Skeel-Juel-Brahe'ske Stiftelse, Roskilde Kloster. Det samme skete med klosterets store portrætsamling og forskelligt kostbart inventar, herunder det berømte "Nakkebølletæppe". Endvidere blev det enestående "Karen Brahes Bibliotek" nu en del af Roskilde Kloster.

 

Anne Gøye, som var niece til Karen Brahes mor, Susanne Gøye, var en passioneret bogsamler og havde samlet et bibliotek på cirka 900 bøger og 100 håndskrifter. Denne samling testamenterer hun til Karen Brahe, som efterhånden øgede samlingen til 3.400 bøger og 1.150 håndskrifter. Karen Brahe flyttede flere gange bøgerne med til de gårde, hvor hun havde ophold. Inden sin død testamenterede hun samlingen til Odense adelige Jomfrukloster, hvor den til evig tid skulle være placeret til klosterfrøkenernes brug. Af sikkerhedsmæssige grunde blev Karen Brahes Bibliotek dog i 1907 flyttet til Landsarkivet for Fyn og i 2010 flyttede Den Skeel-Juel-Brahe'ske Stiftelse biblioteket til Roskilde.

 

I 1972 blev klosterbygningen solgt til Odense Kommune for et symbolsk beløb. Kommunen brugte bygningen til forskellige kontorformål, men levede ikke op til stifterfamiliens forhåbning om en øget vedligeholdelse og restaurering af bygningen. Efter mange års slid og manglende istandsættelse solgte Odense Kommune bygningen videre for 600.000 kroner til Realdania Byg, et datterselskab til Realdania. Den lave pris skyldtes en klausul i købsaftalen, der forpligtede Realdania til at anvende 40 millioner kroner på istandsættelse af de fredede bygninger. Bygningen er i dag efter flere års intensivt arbejde delvist restaureret, og er nu udlejet til Syddansk Universitet.

 

Man kunne i øvrigt i den forbindelse tro, at Odense adelige Jomfrukloster var genopstået, for i dag kaldes selve bygningen netop "Odense adelige Jomfrukloster"; en historisk misvisende tillempelse, for Odense adelige Jomfrukloster eksisterer ikke længere, men indgår som en integreret del af den Skeel-Juel-Brahe'ske Stiftelse på Roskilde Kloster. Mere historisk korrekt kunne bygningen tage navn efter sin oprindelige bygherre og kaldes "Jens Beldenaks Bispegård".