Midt oppe i bakken mellom Lille Ulefos og Ulefos Hovedgaard ligger Kammerherrehaugen. Her tok kammerherre Cato Aall seg en hvil når han spaserte fra hovedgården der han bodde, til kontoret på Aall/Ulefos Brug ved slusene og tilbake igjen. Kammerherre var en tittel på en hoffmann, en som arbeidet for kongen. Nå er det en ærestittel som ikke brukes i Norge lenger.