Con un'altezza di 140 metri sul lato ovest del Danubio, la collina Gellért è coronata dalla carcassa fortificata della Cittadella, che offre uno dei migliori punti panoramici di Budapest. Dai bastioni ci sono panorami di vasta portata a nord del Castello di Buda e lungo il fiume fino al Ponte delle Catene Széchenyi, alla Basilica di Santo Stefano e al Parlamento. Costruita dall'occupazione delle forze austriache nel 1840, la cittadella era odiata dagli ungheresi, che abbatterono le sue porte fortificate quando gli austriaci alla fine lasciarono la città nel 1897. I suoi 60 posizionamenti canonici rimangono ancora, così come la 'U' di sei metri- pareti sagomate del forte.
Durante la seconda guerra mondiale nella Cittadella fu costruito un rifugio antiaereo, che ora ospita un piccolo museo sulla guerra. Nel 1956, le truppe sovietiche soppressero la ribellione ungherese contro il comunismo sparando artiglieria pesante dalla fortezza e l'artiglieria russa è ancora sparsa nel complesso. Oggi la fortezza comprende una mostra di storia all'aperto ed è una delle migliori attrazioni turistiche gratuite di Budapest; Attorno è cresciuto un minivillaggio di bar, negozi di souvenir e ristoranti, mentre la caserma militare è stata trasformata in albergo.
Altre attrazioni sulla collina Gellért, patrimonio dell'umanità dell'UNESCO, includono la vasta Statua della Libertà in acciaio, costruita dai russi in stile socialista-realista per celebrare la vittoria sui nazisti alla fine degli anni '40. Quando i comunisti finalmente lasciarono Budapest nel 1989, i padri della città decisero che la statua rimanesse come simbolo del passato travagliato dell'Ungheria. A metà del pendio, la chiesa sotterranea della grotta (Sziklatemplom) fu costruita dai monaci negli anni '20 e fu requisita come ospedale durante la seconda guerra mondiale. Ha riaperto nel 1992 dopo la caduta del comunismo. Nascosti ai piedi della collina si trovano i famosi bagni termali Gellért, dal design secessionista e risalenti al 1918, sebbene in questo luogo sia esistito un centro termale dalla metà del XVII secolo.