Na dvou pískovcových skaliscích, která se zvedají do výše téměř 60 m nad údolí říčky Libuňky, mezi Troskami aValdštejnem stojí zámek Hrubá Skála, kdysi hrad zvaný pouze Skála. Poněvadž v tomto kraji existovala ještě Skála nad řekou Jizerou, rozlišily se v 17. století jejich názvy na Malou a Hrubou Skálu. Obdoba jmen v dějinných počátcích obou hradů a navíc majitelé různých větví jednoho rodu, to vše působilo potíže při lokalizování historických dějů v době jejich vzniku. Panství nynější Hrubé Skály vzniklo odštěpením od zboží hradu Valdštejna.
Hrad Skálu postavil pravděpodobně Hynek z Valdštejna, který je v r. 1353 uváděn jako pán na Skále, jež se tak poprvé objevuje v písemných pramenech. Hynek však z neznámých důvodů postoupil hrad brzy svému bratru Jaroslavovi (Jarkovi) z Valdštejna na Chlumu, Skále a Lomnici, který je písemně doložen v 1. 1358-1362. Hrad Skála patřil k výšinným skalním hradům, které byly stavěny tam, kde bylo možno použít přírodních podmínek k obraně. Místo bylo zvoleno velmi dobře. Plošina dvou obrovských balvanů poskytla dostatečný prostor pro předhradí a vlastní hrad a obě části byly prakticky přístupné jen z jediného místa, od jihu po mostě, pod nímž byla téměř šedesátimetrová propast. Tento most vedl na předhradí, jež spojoval další most se zadním hradem. Tam bylo nutno na západní straně skálu přitesat a rozšířit rokli mezi oběma balvany. Podobu původního gotického hradu neznáme, třebaže na mnohých místech skalnatých základů jsou zachovány otvory pro trámy a pod nynější velkou věží je spleť podzemních místností tesaných patrovitě pod sebou, některé úplně tmavé, jiné s otvory na severní stranu skály. Také na protější skále mimo hrad, zvané Prachovna, jsou zbytky základů a stopy schodů. Skála totiž vysoko přečnívala skalní balvany a z její plošiny bylo dobře vidět do širokého okolí na severu od Ještědu přesKozákov a dále do kraje.
Jaroslav z Valdštejna zemřel pravděpodobně v r. 1370 a až do r. 1395 není o dalších majitelích hradu jasno. Že mezi nimi byl po tomto roce Petr z Vartemberka na Veliši vyplývá z několika písemností vztahujících se k řešení poddanských otázek v okolí Skály a k prodeji některých Petrových statků litomyšlskému biskupovi. Protože v 1. 1407-1408 biskup daroval Skálu litomyšlskému kostelu, je zřejmé, že uvedený prodej se týkal Skály a příslušných vesnic. V 1. 1416-1460 byli majiteli Skály odpůrci husitského hnutí páni z Jenštejna. K hradu patřilo jen poddanské městečko Rovensko a přilehlé vesnice, nešlo tedy o panství nijak rozlehlé. V r. 1460 získali Skálu Zajícově z Házmburka. Jan Zajíc se postavil na stranu uherského krále Matyáše Korvína proti Jiřímu z Poděbrad, a proto byly v r. 1469 hrady Házmburků obléhány. Skála se vzdala a Jan Zajíc byl nucen požádat krále Jiřího o uzavření dohody. Dalšími majiteli Skály se stali před r. 1492 Svojanovští z Bozkovic, a to nejdříve Jindřich a po jeho smrti v r. 1509 Jan. Skalské panství bylo v té době již značně rozlehlé a také Jan Svojanovský kupoval nové a nové statky. Ke Skále patřily nyní hrad Valdštejn s příslušnými vesnicemi, část Turnova, Rovensko, Semily, Vysoký, Návarov se statky a vesnicemi od Vyskeře na jihu přes Kozákov a Zásadu na severu, od Borku na východě až k Turnovu, celkem na 54 vsí nebo jejich částí. I když Jan prodal svojanovské panství, upadal novými koupěmi na Skále do dluhů a byl nucen dát skalské panství do zástavy věřitelům. Jednotlivé díly zastaveného skalského panství skupoval od r. 1515 Zikmund ze Smiřic a do r. 1524 se postupně zmocnil celého skalského majetku.
Tak začalo stoleté panství Smiřických nad Skálou, které se projevilo i ve stavební změně hradu. Gotická Skála se proměňovala v renesanční zámek. Dřevěná stavení většinou ustoupila budovám z kamene. V druhém poschodí západního křídla byla nově zřízena souvislá chodba. V prvním poschodí byly otevřeny sloupové arkády. Do patra vedlo šnekovité schodiště, podstatně upravena byla i hlavní věž čtvercového půdorysu. Nad úrovní budov byl zřízen ve věži ochoz a nad ním užší čtverhranná věž. Ve věži byla sklenutá místnost s dveřmi vedoucími na arkádovou chodbu, z níž se vcházelo do velké síně. Palácová budova na jižní straně nádvoří byla ozdobena renesančními sgrafity s loveckými výjevy. Podobně doplněna byla i budova na východní straně, takže pouze sever nádvoří byl uzavřen nízkými ochozy. Také vstup na předhradí byl opatřen vysokou branou s padacím mostem. Bezpečnost zámku byla dokonalá. V této podobě byla Skála zcela nepřístupná. Představu o hodnotě zařízených panských pokojů si lze sice učinit jen z několika dochovaných předmětů, ty však mají skutečně vysokou uměleckou úroveň. V Muzeu Českého ráje v Turnově je vyřezávaná široká renesanční truhla a sedadlo, ale zejména míšeňská kamna (původně krb z velké síně) s barevnými glazovanými kachly v dolní části s antickými portréty a v horní části s dvojicí v renesančních kostýmech s písmeny WDMIE na každém kachlu různých barev. (Starší historikové je vykládali jako zkráceninou hesla VEĎ MĚ. Tento výklad je však nepravděpodobný, jde asi o kryptogram, který byl v té době módní a znamenal počátek slov významné věty, přičemž bylo nutno písmena číst zleva doprava. Shoda nabízí větu Verbum Domini Manet in aeternam - Slovo Páně trvá až na věky. Uvedené předměty dokazují bohatství Smiřických a zároveň i změnu ve vkusu pánů na nově budovaných zámcích.
Zikmund ze Smiřic zemřel r. 1548 a zanechal po sobě tři syny, z nichž Jindřich zdědil Skálu. Také on pokračoval v otcově tradici a rozšiřoval skalské panství; z nejbližšího okolí koupil hrad Trosky s přilehlými vesnicemi. Zemřel v r. 1569 a o jeho statky se rozdělili tři synové. Už v této generaci se objevilo předčasné vymírání jednotlivých členů rodu, které později znamenalo zánik rodu Smiřických po meči. Bez dědiců zemřel r. 1588 Jaroslav a po něm r. 1602 Albrecht a tak se stal po jeho smrti pánem nesmírného bohatství další Zikmund Smiřický ze Smiřic. Nezapřel rodové schopnosti rozšiřovat panství a přikoupil Kumburk, Český Dub a jiná zboží a na všech zavedl vzorné hospodaření. Zemřel r. 1608. I po něm zůstali tři synové, Jaroslav, Jindřich Jiří a Albrecht Jan. Jaroslav zemřel mlád v r. 1611, Jindřich Jiří byl slabomyslný, takže Albrecht Jan získal ve svých sedmnácti letech obrovské jmění. Ani on neměl pevné zdraví, zato však vynikal vzdělaností a inteligencí. Horlivě se účastnil všech akcí českých stavů, kteří připravovali vzpouru proti Ferdinandu IL, inspiroval a podněcoval povstání a dokonce se aktivně účastnil vojenských akcí v r. 1618. V listopadu téhož roku však ve vojenském ležení u Českých Budějovic onemocněl a po převozu do Prahy ve čtyřiadvaceti letech zemřel. Tak vlastně unikl osudu svých druhů po porážce na Bílé hoře v r. 1620, po níž následoval soud a poprava vůdců povstání v r. 1621. Třebaže Albrecht Jan byl posmrtně odsouzen ke ztrátě veškerého jmění, zůstalo skalské panství bez postihu, neboť jeho nedílným spoluvlastníkem byl slabomyslný Jindřich Jiří, který byl vlastně bez viny. Ten jediný zůstal jako poslední mužský potomek mocného rodu Smiřických a s ním i dvě jeho sestry, Eliška a Markéta Saloména. Rodinné záležitosti byly navíc komplikovány milostným poměrem Eliščiným s kovářským chasníkem. To se stalo v r. 1606 ještě za života jejího otce Zikmunda Smiřického. Za trest byla uvězněna v rohové komnatě pod věžičkou na severozápadní straně zámku. Otec by snad časem krutý rozsudek odvolal, ale v r. 1608 zemřel. Toho využila Eliščina sestra Markéta Saloména, provdaná za Jindřicha Slavatu. Chtěla dosáhnout poručnictví nad svou sestrou a dala ji odvézt ze Skály a uvěznit na hraděKumburku u Jičína. Smrtí bratra Albrechta Jana se vlastně stala jedinou dědičkou nesmírného panství, pokud by byla ustanovena poručnicí Jindřicha Jiřího. Situace se však zkomplikovala tím, že Jindřich Ota Vartemberk násilím vysvobodil Elišku Smiřickou z vězení na Kumburku a oženil se s ní. Markéta Saloména Slavatová proto ihned zahájila spor o smiřické dědictví. Eliščin manžel byl zajat a uvězněn v Praze, nešťastná Eliška bydlela na jičínském zámku, který také patřil jejímu rodu. Spor skončil tragicky: při komisionálním šetření na zámku v Jičíně nastal 1. února 1620 výbuch, při němž zahynula celá komise, Jindřich Slavata i Eliška. Jičínská katastrofa předznamenala katastrofu širšího významu, která začala porážkou stavů 8. listopadu 1620 na Bílé hoře. Markéta Slavatová uprchla z Čech a vzala s sebou slabomyslného bratra Jindřicha Jiřího do Německa. Později se opět vrátila a soudila se o majetek.
O poručnictví nad Jindřichem Jiřím se totiž přihlásil Albrecht z Valdštejna, který byl vskutku po matce se Smiřickými spřízněn. Jenom jemu se mohlo podařit uchránit před konfiskací tu část statků rodu Smiřických, na kterých měl podíl Jindřich Jiří a jež mu byly svěřeny do péče spolu s poručnictvím nad slabomyslným příbuzným. Ale i tak dosáhl Albrecht z Valdštejna příznivého výsledku teprve po dlouhém vyjednávání. Statky tedy získal, ale složitější byla záležitost s Jindřichem Jiřím, kterého odvezla jeho sestra Markéta Saloména do Německa. Teprve r. 1628 byl dopraven až z Hamburku na Hrubou Skálu. Panství Smiřických a Redernů, kteří před pobělohorskou konfiskací drželi Frýdlant, se stalo těžištěm budoucího vévodství Albrechta z Valdštejna. Za vévodskou rezidenci si zvolil Jičín, odkud bylo celé panství jednotně řízeno. Slabomyslný Jindřich Jiří Smiřický zemřel na Hrubé Skále v r. 1630 a skalské zboží zůstalo ve Valdštejnově držení. Z majetku Smiřických získal Hrubou i Malou Skálu, Trosky, Frýdštejn, Semily, Navarov,Kumburk, Hořice a samozřejmě k nim náležející statky. Město Turnov bylo opět načas spojeno a od Albrechta z Valdštejna získalo některá práva, neboť dřívější dvojpanství mezi Hrubou Skálou a Hrubým Rohozcem je vlastně snížilo na úroveň vesnice.
Za života Albrechta z Valdštejna bylo jeho vévodství uchráněno válečných hrůz, jen rekatolizace propukla na statcích v plné síle. Vznikaly drobné selské rebelie, snadno zvládnuté vojskem, jako byla rebelie v r. 1629 u Rovenska, při níž vzbouření nevolníci v Libuni zavraždili jičínského jezuitu pátera Matyáše Burnatia. Smrtí Albrechta z Valdštejna r. 1634 zaniklo i vévodství frýdlantské. Novým majitelem Hrubé Skály se stal jeho blízký příbuzný Maxmilián z Valdštejna, původně jím určený jako dědic vévodství. To ovšem nebylo možné, neboť Albrechtův majetek byl zabaven. Maxmilián, který byl také oblíbencem Ferdinanda IL, si přesto vyžádal skalské panství s Turnovem. Nový majitel převzal majetek r. 1636 a našel Hrubou Skálu vyloupenou jak od Sasů, tak od císařských, kteří si na bývalém panství Albrechta z Valdštejna počínali hůř než nepřátelé. Až do r. 1648, kdy skončila třicetiletá válka, byly Hrubá Skála i panství sužovány vpády Švédů i průchody císařských, kteří krutě vymáhali peníze, dobytek, obilí, řemeslné výrobky, pivo i víno. Při švédském vpádu v r. 1639 se na Hrubé Skále objevil Albrecht Slavata, syn Markéty Salomény, rozené Smiřické, ale dlouho tu nepobyl. Císařský velitel Colloredo dobyl zámek, protože Švédové neměli dostatek munice k hájení. V r. 1643 přitáhli Švédové s generálem Torstensonem, vypálili Turnov a táhli do nitra země. Posádka na Hrubé Skále se jim vzdala a Švédové nechali na zámku své vojáky. Kraj byl postižen kontribucemi, celé vesnice hruboskalského panství vypáleny a pole opuštěna.
Maxmilián z Valdštejna žil po celou dobu třicetileté války ve Vídni a tam také r. 1655 zemřel. Za jeho vnuka Arnošta Josefa měl být zámek Hrubá Skála podle císařského rozkazu z r. 1658 spolu s hrady Velišem a Kostí zbořen, protože v době válek byly hrady a opevněné zámky často ovládnuty nepřítelem. Hrad Veliš byl skutečně úplně zničen, ale destrukční práce postupovaly velmi liknavě. Na Hrubé Skále zasypati jen část příkopu a po průtazích se svoláním komisí bylo na podzim r. 1659 od dalších akcí zcela upuštěno. Zdá se, že protest majitele zámku byl přece jen ve Vídni vyslyšen. V 17. a 18. století nedošlo k žádným podstatným stavebním úpravám Hrubé Skály. Pouze v r. 1710, když zámek vyhořel, dal jej tehdejší majitel panství František Josef Valdštejn znovu obnovit podle stavu z doby Smiřických. Oheň zasáhl zadní zámek, nikoli předhradí. Další oheň, v r. 1804, zničil tentokrát předhradí, kde byla většina stavení ze dřeva. Po požáru byla postavena z kamene. Tehdy vlastnil Hrubou Skálu Karel Josef z Valdštejna, který zrušil zámeckou kapli v jihovýchodním rohu zámku, protože na volném prostranství před zámkem byl postaven kostel sv. Jiří.
Poslední Valdštejn František Adam byl daleko více učencem než zámeckým pánem. Vynikl jako botanik a vydal ve Vídni třísvazkové dílo Descriptio et icones plantarum rariarum Hungarie, které je stále cenným poučením pro odborníky. Není tedy divu, že neměl valný zájem o hospodaření na Hrubé Skále, a proto panství í zámek prodal r. 1821 Janu Lexovi z Aehrenthalu, který na Hrubé Skále založil novou šlechtickou linii. Šlechtický titul si koupil za peníze, které vydělal jako válečný dodavatel za napoleonských válek. Všichni Aehrenthalové byli dobří hospodáři. V první i druhé generaci se snažili okázalými úpravami svého sídla i okolních zbytků šlechtické slávy zdůraznit své šlechtictví a také sňatky se dostávali do prostředí starých panských rodů. Prováděli rekonstrukci a úpravu na Valdštejně, pořizovali schody naTroskách a v r. 1859 dali upravit (Jan Antonín) Hrubou Skálu v novogotickém slohu, kterým zastřeli většinu renesančních prvků kromě hlavní věže, arkád do dvora na západní straně a sgrafit na jihu. Nově postavena byla brána do předhradí i s kamenným mostem, na němž jsou dvě gotické sochy svatého Floriana a sv. Vavřince, upraveno bylo i předhradí a na východní straně vybudován park. Také most z nádvoří do zámeckého dvora byl postaven z kamene. Východní budova zámku byla rozšířena až k ochozu a upravena novogoticky, což značně poškodilo její dosavadní renesanční charakter. Po r. 1945 převzal Hrubou Skálu československý stát jako konfiskát.