Zaselek, kasneje pa mesto, se je razvil okrog gradu Žužemberk, na terasi nad reko Krko. Žužemberk je bil prvič pisno omenjen leta 1246, trške pravice pa je dobil leta 1399. Od leta 1413 je sedež župnije Žužemberk. Od leta 1828 se v kraju nahaja osnovna šola, med letoma 1868 in 1940 pa je v njem delovalo okrajno sodišče in raznih državnih uradov.

Imena: Žužemberk, Seisenberg Leto ustanovitve: leta 1377 kraj postane trg Ustanovitelj: Zavetnik: sv. Mohor in Fortunat Pomembni datumi: 1000, letnica vklesana nad vhodom v štirioglati romanski stolp, verjetno letnica izgradnje gradu 1046, zgrajena grajska kapela sv. Urha 1526–1533, knezoškof Krištof Raubar izpelje največjo dozidavo gradu s sedmimi stolpi zaradi obrambe pred Turki 1538, Jurij in Wolf Engelbet Turjaška kupita grad

Leta 1559, na svečnico in semanji dan, je grad zavzel Gregor, nezakonski sin Jurija Turjaškega z osemnajstimi Napolitanci. Vendar zavzetje ni trajalo dolgo, saj je bil v bližini Herbart Turjaški, takratni general Hrvaške krajine, ki premaga napadalce. Ti pobiti in vrženi čez obzidje žalostno končajo v gozdovih, kjer jih pojedo divje zveri.

Glede na ta dogodek je leta 1560 cisterijanski menih Janez Faitan spisal pesnitev Seisenbergensis Tumultus, Ropot v Žužemebrku. Ohranjeno in prevedeno je le nekaj verzov.

V sredi Ilirije dviga se kraj nad globoko ožino,
močna trdnjava, kljubest in odpor za vsako orožje,
kraj, ki ga kroti Turjačanov rod že leta in leta,
rod, ki je svoje ime že v premnogih bojih proslavil,
staro ime, povzeto od tura al divjega zobra.
Skozi ta kraj se reka Krka poganja,
ki med skalovjem bučeč,
daje z gromkim šumenjem in truščem
kraju in gradu ime
ter liže trdnjavsko obzidje.