Als zweites von sechs Kindern war Albrecht zu Castell-Castell im elterlichen Schloss in Castell geboren worden. Nach dem Tod seines Vaters und des älteren Bruders im Zweiten Weltkrieg übernahm der 20-Jährige die Leitung der Familienbetriebe, des größten privaten Weinguts in Franken mit Land- und Forstwirtschaft. Er war Mitinhaber der Fürstlich Castell'schen Bank. Seine Frau Marie-Louise Prinzessin zu Waldeck und Pyrmont schenkte ihm acht Kinder; zwei sind bereits verstorben.