Burg Eltz, der måske i starten nærmere kunne betegnes som et befæstet hus, blev bygget i 1150 af Rudolf, der tog navnet Eltz efter skoven omkring borgen. De næste 500 år voksede familien Eltz og det samme gjorde borgen. Eftersom den ligger på toppen af en klippe, kunne de ikke udvide omfanget, så i stedet byggede de opad, og bygningerne nåede efterhånden op i 35 spektakulære meters højde.

Familien Eltz delte sig i 1268 formelt og kontraktligt i tre grene, som havde hver deres afdeling af borgen. Den ene gren døde ud i 1786, og i 1815 blev greven af Eltz-Kempenach eneejer. Det er hans efterkommere – ligeledes grever af titel – som ejer og bebor borgen i dag.