In de wachtkamervan het station van Antwerpen zit een man: jeugdig, met blond haar, zwarte wandelschoenen, een blauwe werkbroek en een oude rugzak, verdiept in het maken van aantekeningen en schetsen. De verteller van Austerlitz raakt gefascineerd en spreekt de man aan. Het is het begin van een relatie die zich door de decennia heen ontwikkelt en de verteller steeds meer in beslag neemt.
Jacques Austerlitz is de naam van de raadselachtige vreemdeling, en als het toeval de twee mannen op de meest onverwachte plekken steeds weer samenbrengt, wordt stap voor stap het levensverhaal van deze eenzame, zwaarmoedige reiziger onthuld. Hoewel Austerlitz al jaren in Londen woont, is hij geen Engelsman. In de jaren veertig is hij als joods vluchtelingenkind in de pastorie van een klein dorp in Wales terechtgekomen. Hij groeit in eenzaamheid op bij het oudere, vreugdeloze domineesechtpaar, en als hij na jaren zijn herkomst en zijn ware naam te horen krijgt, weet hij waarom hij zich een vreemdeling tussen de mensen voelt.
Austerlitz is het magnifieke verhaal van een man die als kind is beroofd van zijn vaderland, zijn taal en zijn naam, en die nu niet meer kan aarden in deze wereld.