Bergerhof, ook wel genaamd Kapittelshof, dankt zijn naam aan de eigenaar. Het pand was namelijk een van de laathoven (een vermogenscomplex van goederen en hieruit verkregen inkomsten) van het kapittel van Thorn. De hardstenen omlijsting van het pand duiden dan ook op een voorname bestemming.
Het grondgebied in en om Neer was ofwel eigendom van een van de laathoven, of wel cijnsplichtig, zodat hier een cijns (belasting) moest worden betaald. Beide laathoven hadden een centrale boerderij met grote schuren en stallen, waar de opbrengsten van vele laatgoederen werden geïnd.
De oudste vermelding van de Bergerhof stamt al uit 1234. In 1383 werd het in erfpacht uitgegeven en in 1490 werd “Der hof tgene berghe’ met landerijen in de Bergerstraat verpacht aan Jan van den Berghe. Het huidige pand aan de Bergerstraat 23 is omstreeks 1703 gebouwd en in 1801 door de familie Aquarius nog eens herbouwd.
