De middeleeuwse geschiedenis van Oudenburg wordt gedeeltelijk bepaald door de Sint-Pietersabdij, die er omstreeks 1084 door de H. Arnoldus werd gesticht.
Van dit klooster blijft na allerlei troebelen en verwoestingen weinig over: een langgerekte en witgekalkte hoeve uit 1671, een vijftiende-eeuwse duiventoren en het abtsgebouw . In dit laatste werd in 2009 het R(omeins) A(rcheologisch) M(useum) met bezoekerscentrum en polyvalente culturele zaal geopend. Voor de Franse Revolutie bepaalden de abdijgebouwen de middeleeuwse skyline van Oudenburg.
Ten westen en zuiden van de voormalige abdijgebouwen lag een uitgestrekte groene ruimte. Daar was ongetwijfeld een moestuin, een boomgaard en een bloemen- en kruidentuin.