Onder mensen met pretenties was het in de zeventiende en vooral achttiende eeuw in Europa populair om zogenaamde ‘folly's’ te laten maken, fantasieoptrekjes in weelderig aangelegde parken. Het werkelijke verhaal van de schelpengrot (een folly) van Nienoord is dat rondtrekkende Italiaanse stucadoors rond 1700 het toen eenvoudige tuinkoepeltje omtoverden tot een uniek en buitengewoon vertrek. Einde verhaal.

Veel spannender is de legende die rond de schelpengrot ontstond en die tot op de huidige dag wordt doorverteld. Die legende verhaalt dat de grot ooit de schatkamer was van de Heer van Nienoord. Volgestouwd met kostbaarheden wekte ze de nieuwsgierigheid van iedereen die ervan wist, maar niemand die de rijkdom ooit had gezien. Tot een kindermeisje van de borgheer zich niet langer kon bedwingen en door een list de schatkamer binnen drong. De deur viel achter haar dicht, de sleutel zat aan de buitenkant en ze zat als een rat in de val.

De borgheer legde haar als straf op dat ze de kluis met schelpen, koraal en steentjes moest versieren. Haar vrijheid zou ze krijgen op het moment dat de versiering klaar was. Twintig jaar zat het meisje opgesloten, tot ze de laatste schelp bevestigde. Ze werd vrijgelaten, strompelde naar het Leekstermeer, keek in het water, zag een oude en uitgeteerde vrouw, zakte ineen en stierf ter plekke.

De huidige vorm van het gebouwtje is onlogisch: ooit waren aan beide zijden vleugels aangebouwd, waarin ’s winters de exotische planten uit de borgtuinen werden opgeborgen. Later, in de tijd van jonkheer Van Panhuys, deed de schelpengrot dienst als biljartkamer.