Geïnspireerd door een tekening die Salvador Dalí ooit voor hem maakte, begint hij aan een lange zwerftocht door de Sahara, Senegal en West-Afrika. Uiteindelijk belandt hij in de diepe binnenlanden van Mali. In het legendarische Djenné, een stad van meer dan tweeduizend jaar oud, vindt hij de ideale plek voor zijn droomproject. Aan de oever van een brede rivier begint hij onder leiding van een traditionele meestermetselaar aan de bouw van zijn Zandkasteel.
Hij wordt verliefd op de dochter van een nomade, en reist door het gebied van de mysterieuze Dogon en de moerassen van de Niger naar Timboektoe om haar voor zich te winnen. Als de bouw na twee jaar is voltooid, neemt hij zijn intrek in het Zandkasteel. De herinnering aan Nederland vervaagt, maar tegelijkertijd begint hij zich af te vragen of hij op den duur wel in Afrika kan blijven. Misschien is zijn droom niet meer dan een illusie.
Het Zandkasteel is een prachtige reisroman over verre landen en vreemde volkeren, over Afrikaanse spiritualiteit en westerse ontworteling, over een ambitieuze droom en een onmogelijke liefde.