A legenda szerint az 1600-as évek elején a vár ura, Lord Seton megcsalta feleségét a képen is látható Lillias Drummond-ot a nő unokatestvérével, Grizel Leslie-vel, és hogy mihamarabb feleségül vehesse új szerelmét, a megalázott asszonyt bezáratta a szobájába, ahol végül belehalt a bánatba és az éhségbe. Ám miután oltár elé vezette szeretőjét és a nászéjszakára került a sor, keserves zokogást és kaparászást hallottak az ablak mögül. A személyzet átkutatta a kertet, de senkit sem találtak, így az újdonsült házaspár nyugodtan hajtotta álomra a fejét. Ám reggel észrevették, hogy az ablakpárkányba Lillias Drummond neve van belekaparva. Azóta bolyong a vár falai között, a Zöld Asszony bánatos kísértete, itt-ott feltűnik árnyalakja a folyosókon és csak figyeli a látogatókat.