Til Loshavn kom han i 1802 - etter at han inngikk ekteskap med enken Olene Iversdatter (1774-1817), som brått hadde mistet mannen sin etter et skuddrama ved Bjønnsundet i Eikvåg året før.  Omtrent samtidig med at Olene ble enke, døde Torgies kone Ane Brønildsdtr, og han ble enkemann. De hadde bodd flere år i Holland, men hadde også noen år bodd i Flekkefjord.  Sammen hadde de fire barn: To sønner - Govert Bernt (f. ca. 1789) og Tønnes - hvor ihvertfall den ene av dem var født i Holland, og to tvillingdøtre - Gunvor og Inger Gonilla - som ble født i Flekkefjord i 1796. Virksomheten som skipsreder begrenset seg til at han eide ei skute som ble ført av en av sønnene. Og det endte ikke godt: Skute og mannskap forsvant sporløst. 

Da Olene døde i 1817,  ble han igjen enkemann. Men to år senere inngikk han sitt tredje ekteskap - med den 35 år yngre Rebekka Pedersdtr (1796-1851) fra Spind. Med henne fikk han i årene mellom 1820 og 1831 seks barn, og samtlige bosatte seg i Loshavn.

Det har sikret Torgie Tonstad en solid etterslekt i Loshavn.