A mediados del siglo XVI, los Fúcar comenzaron a afrontar dificultades que nunca superarían.
En primer lugar, la creciente competencia de otras casas bancarias, como los Welser y los Médici, comenzó a erosionar su posición dominante.
Además, las continuas guerras y los gastos militares del Imperio español aumentaron la carga financiera de la familia, que comenzó a tener problemas para recuperar los préstamos otorgados.
El colapso de la economía española en el siglo XVII, debido a la inflación y la devaluación de la moneda por la afluencia de metales preciosos del Nuevo Mundo, también impactó negativamente a los Fúcar. La incapacidad del Imperio para pagar sus deudas llevó a varias bancarrotas estatales, lo que afectó severamente a los prestamistas.
La misma diversificación de actividades que en otro tiempo los hiciera ricos se volvió un problema cuando los depósitos de plata en Europa central comenzaron a agotarse y las extracciones en Almadén se complicaron.
Otro factor que contribuyó al declive fue la falta de sucesores capaces de mantener el complejo imperio financiero que Jakob Fugger el Rico había construido. La muerte de los miembros clave de la familia, sin un liderazgo igual de competente, dejó a los Fúcar sin la capacidad para navegar las turbulentas aguas económicas y políticas de la época.
La Reforma protestante y las guerras religiosas fueron otro lastre. La familia, católica devota, perdió gran parte de su influencia en regiones que se volvieron protestantes.
La guerra de los Treinta Años (1618-1648) devastó muchas de las tierras y negocios en los que los Fúcar tenían intereses, lo que redujo aún más su poder y riqueza. Tras un siglo de presencia en España, con el reinado de Felipe IV, los Fúcar desaparecen. En 1644 perdieron los Maestrazgos y las minas de Almadén pasan a manos de administradores castellanos.
No obstante, los descendientes de estos Fúcar siguen ofreciendo servicios financieros por toda Europa y todavía constituyen una banca privada que opera en Alemania.