A mitjan segle XVI, els Fugger van començar a afrontar dificultats que mai no superarien.
En primer lloc, la creixent competència d’unes altres cases bancàries, com els Welser i els Médici, va començar a erosionar la seva posició dominant.
A més, les contínues guerres i les despeses militars de l’Imperi espanyol van augmentar la càrrega financera de la família, que va començar a tenir problemes per recuperar els préstecs atorgats.
El col·lapse de l’economia espanyola en el segle XVII, a causa de la inflació i la devaluació de la moneda per l’afluència de metalls preciosos del Nou Món, també va impactar negativament als Fugger. La incapacitat de l’Imperi per pagar els seus deutes va portar a diverses bancarrotes estatals, cosa que va afectar molt els prestadors.
La mateixa diversificació d’activitats que en un altre temps els va fer rics es va tornar un problema quan els dipòsits de plata a Europa central van començar a esgotar-se i les extraccions a Almadén es van complicar.
Un altre factor que va contribuir al declivi va ser la falta de successors capaços de mantenir el complex imperi financer que Jakob Fugger el Ric havia construït. La mort dels membres clau de la família, sense un lideratge igual de competent, va deixar els Fugger sense la capacitat per navegar les turbulentes aigües econòmiques i polítiques de l’època.
La Reforma protestant i les guerres religioses van ser un altre llast. La família, catòlica devota, va perdre gran part de la seva influència en regions que es van tornar protestants.
La guerra dels Trenta Anys (1618-1648) va devastar moltes de les terres i negocis en què els Fugger tenien interessos, cosa que va reduir encara més el seu poder i riquesa. Després d’un segle de presència a Espanya, amb el regnat de Felip IV, els Fugger desapareixen. En 1644 van perdre els Mestrats i les mines d’Almadén passen a mans d’administradors castellans.
No obstant això, els descendents d’aquests Fugger segueixen oferint serveis financers per tota Europa i encara constitueixen una banca privada que opera a Alemanya.