Undir Skollaskarði er grjótskriða. Neðan hennar eru talsvert miklar fornar rústir. Uppdráttur af einni þeirra frá árinu 1991 gerður af Árna Hjartarsyni fylgir. Uppdrátturinn var gerður í skemmtiferð með þórði Sveinssyni frá Barðsnesi.
Samkvæmt öskulaga rannsókn frá 1999, gæti elsti hluti túngarðs verið frá tíundu til elleftu öld.
Skráðar þjóðsögur eftir Dr Birni Bjarnasyni í Viðfirði greina frá því að Barði landnámsmaður hafa búið að Bæjarstæði neðan Skollaskarðs. Barði sótti mjög í sel á Selasandi sunnan Skarðsins. Vætt ein eða skessa sem var þar fyrir vildi selveiðina óskerta eins og áður en hann kom. Gerði hún Barða margar skráveifur og hrinti af stað grjótskriðu, sem stefndi eins og enn má sjá, beint á hús Barða. Hann hrökk upp úr draumi sínum, greip fjósreku til að stöðva skriðuna og slapp með ónotin. Deila þeirra endaði með því að þau gerðu sátt um selveiðina sem þau héldu bæði og er það ef til vill fyrsti kvótasamningur á Austurlandi.