Charles Ryder, ktorý príbeh rozpráva, je študentom Oxfordskej univerzity. Spriatelí sa so Sebastianom Flytom, mladším synom aristokratickej rodiny. Sebastian, ktorý pochádza z veľmi bohatej rodiny, vezme Charlesa do svojho rodinného sídla, zámku Brideshead. Charles sa zoznámi s jeho rodinou vrátane Sebastianovej sestry Júlie.
Počas prázdnin sa Charles vracia domov, kde žije so svojím otcom. Počas prázdnin sa Sebastiánovi stane malý úraz a Charles sa k nemu vráti. Sebastian a Charles spolu strávia zvyšok leta.
Sebastiánova rodina je katolícka. Jeho otec, lord Marchmain, bol anglikán, ale konvertoval na rímskokatolícku vieru, náboženstvo svojej manželky. Rodina veľa hovorí o náboženstve, čo Charlesa, ktorý si vždy myslel, že kresťanstvo nie je dôležitá téma, prekvapí. Lady Marchmainová, Sebastiánova matka, je veľmi prísna katolíčka. Snaží sa kontrolovať ostatných tým, že v nich vyvoláva pocit viny. Sebastian nachádza útechu v pití alkoholu. Často sa opíja a v priebehu dvoch rokov má s rodinou Flyteovcov čoraz menej spoločného.
Charlesovi je však súdené opäť sa stretnúť s rodinou Flyteovcov a zamiluje sa do Júlie, ktorá je v tom čase vydatá za bohatého Kanaďana Rexa Mottrama.
Charlesova vlastná manželka mu bola neverná, a tak sa s ňou plánuje rozviesť, aby sa s Júliou mohli vziať. Júlia sa však z náboženských dôvodov rozhodne, že by nebolo správne, aby sa vydala za Karola. Keď lord Marchmain umieral, prijal sviatosť najvyššieho pomazania. Tento akt ovplyvnil aj Charlesa, ktorý "v tých dňoch hľadal lásku", keď prvýkrát stretol Sebastiana, "tie nízke dvere v stene... ktoré sa otvárali do uzavretej a čarovnej záhrady", čo je dôležitá metafora v knihe.
Charles sa stal architektom. Počas druhej svetovej vojny sa stáva armádnym dôstojníkom. Náhodou je ubytovaný v Bridesheade. Zdá sa mu, že stavbári robia užitočnú prácu, aj keď sa občas vyskytnú problémy.
