Aftreden en opvolging
In 1993 trad Gijsen op dringend advies van zijn arts – volgens wie de kans op een collaps zeer groot was – af als Bisschop van Roermond en trok zich terug in een klooster in het Oostenrijkse Walpersdorf. Volgens het Katholiek Nieuwsblad kan op de achtergrond de zaak van de conrector van zijn priesteropleiding, die publiekelijk beschuldigd was van een homoseksuele verhouding met een (overigens reeds oudere, lang volwassen) seminarist, hier ook een rol in gespeeld hebben. Volgens sommigen zou Gijsen door de toestand op zijn seminarie de steun van het Vaticaan ontvallen zijn. Zelf heeft hij dit altijd ontkend. Gijsen werd opgevolgd door Mgr. Frans Wiertz, die hem bij zijn installatie-mis beschreef als degene die in het Bisdom de priesters hun identiteit had teruggegeven.
Bisschop van Reykjavik
Gijsen werd op 12 oktober 1995 benoemd tot Apostolisch Administrator van het Bisdom Reykjavik en op 25 mei 1996 tot Bisschop van Reykjavik in IJsland, waar ongeveer 9000 personen (3% der bevolking) Rooms-Katholiek zijn en waar elf priesters werken. Hij werd daarmee na Hendrik Hubert Frehen (1917-1986) de tweede Limburgse Bisschop van IJsland. In november 2012 maakte de IJslandse onderzoekscommissie naar misbruik in de Katholieke Kerk, bekend dat Gijsen in zijn periode als Bisschop een brief over seksueel misbruik heeft vernietigd. Gijsen reageerde hierop door te schrijven dat de brief slechts om een vermoeden ging en dat de briefschrijver en hijzelf samen hadden besloten de brief te vernietigen.
Emeritaat en overlijden
Gijsen ging op 30 oktober 2007, de maand waarin hij 75 werd, met emeritaat. Gijsen keerde terug naar Nederland, en nam in Sittard de zielzorg van de Zusters Karmelietessen aan de Kollenberg op zich. Op 24 juni 2013 overleed de Bisschop in Sittard op 80-jarige leeftijd na een lang ziekbed. Hij leed aan een ongeneeslijke vorm van kanker. Gijsens uitvaart vond plaats op 29 juni van dat jaar. Hij kreeg zijn laatste rustplaats op het kloosterkerkhof van diezelfde zusters karmelietessen.
