Oorspronkelijk bestond de Kapel van Onze Lieve Vrouw van Zeven Smarten uit slechts een kleine kapel. Deze liet pastoor Jan van Goch in 1612 bouwen om hierbinnen tot rust te komen. Het was namelijk een roerige tijd: de Tachtigjarige Oorlog. Ook vanuit buiten Afferden kwam men ter bedevaart naar deze kapel, die vroeger ook wel het kapelletje der Zeven Weeën werd genoemd.
Door krijgsgewoel in de 17e eeuw is het gebouw verwoest. Pastoor P. Vossen heeft het in 1688 laten herbouwen. Het houten altaar binnenin, met vier getorste zuiltjes en een schelpnis, dateert uit de 17e eeuw, net als het beeld van Onze Lieve Vrouw van Smarten.
Omdat de ruimte van het kapelletje beperkt was, liet pastoor W. Berden in 1909 een grotere kapel bouwen. De grotere kapel sluit aan de achterkant direct aan de kleine kapel. Met een trapje van vier treden worden de grote en kleine kapel aan elkaar verbonden.
