Bjarni Sveinsson og Guðrún Jónsdóttir bjuggu í Viðfirði frá því um miðja 19. öld og áttu 16 börn. Afkomendur þeirra teljast til hinnar fjölmennu Viðfjarðarættar, þeir bjuggu þar til loka búsetu. Guðrún þótti röggsöm svo af bar og óvílin. Bjarni var lista skrifari og skrifaði upp bækur fágæts efnis.

Nokkrir afkomendur þeirra sem urðu þekktir ýmist fyrir hagleik eða fræði.
Doktor Björn Bjarnason kennari, orðabókarmaður og orðasmiður varði ritgerð sína um íþróttir fornmanna. Hann skráði einnig merkar þjóðsögur tengdar svæðinu og gaf út.
Sveinn Bjarnason hlaut alhliða menntun til smíða á tré og járn í Danmörku. Hann tók við búi í Viðfirði þegar heim kom, vann meðfram búskapnum að smíðum og kenndi sonum sínum smíðar. Í Viðfirði var eldsmiðja ofan gamla bæjarins og sneri stafni að sjó. Ofan við bryggjuna var smíðaverkstæði. Þar smíðaði Sveinn marga árabáta. Einnig smíðaði hann vélbáta þegar þeir komu til sögunnar, bæði einn og í félagi við aðra. Hann dvaldi oft um tíma á Norðfirði við bátasmíðar.
Auk þess smíðuðu Sveinn og synir hans alls konar búshluti; borð, rokka og annað það, sem fólk vantaði.
Sófus Sveinsson skar út taflmenn úr birki frá Hallormsstað, sem voru sendir á Heimssýninguna í New York 1939. Mikil hagleikssmíð. Þeir eru nú í Safnahúsinu í Neskaupstað.
Karl Hjelm sonur Sigríðar Sveinsdóttur og Karl Henning Hjelm, ólst upp í Viðfirði. Hann vann mikið að æskulýðsmálum á Norðfirði á yngri árum. Kenndi börnum og unglingum að tefla, taka og vinna ljósmyndir og að safna steinum. Hann var áhugaljósmyndari og hélt sýningar á verkum sínum.
Árið 1932 var byggt stórhýsi í Viðfirði teiknað af Guðjóni Samúelssyni, sem nú hefur verið gert upp af myndarskap.

Öflug útgerð var frá Viðfirði til 1936. Það ár, fyrsta október, fórust þrír bræður, þeir Þórarinn, Frímann og Sófus Sveinssynir í sjóróðri ásamt ábúandanum á Borg Halldóri Eiríkssyni. Báturinn sem þeir fórust á hét Sigþór.

Árin eftir slysið efldu Viðfirðingar landbúskap og stækkuðu bústofn sinn. Um 1950 komu snjóavetur og rigningasumur og jafnframt sýktist fjárstofn af blóðsótt sem drap stóran hluta lamba nýfæddan. Síðustu búskaparárin voru því erfið.

Á fimmta áratug 20. aldar fóru samgöngur milli Norðfjarðar og umheimsins að stórum hluta fram um Viðfjörð með siglingum til og frá Norðfirði. Þá var seldur matur og gisting í Viðfirði.



