全家被骚扰了近3年

你好，一直有苦说不出。我们一家从福建到湖北做生意。3年前，我父亲回老家福建盖房子，去赌博（当地的一种恶习啊），输了别人十几万，没有给就湖北了。后来，那人一直打电话到我家里要钱。骂人，威胁......因为这件事，我们全家已经有3年没有回老家了，我母亲也因此患上了抑郁症，我们就说给他2万了解此事，但那人不原意，非得十几万赌费，我们自然也拿不出这么多钱，而且赌博本来就是不合法的事情。我作为家中长女，实在无法再让这事情困扰我们家了。我就是想咨询下，我们是不是可以拿起法律的手段保护自己？那人是不是构成骚扰罪了？如果我们拒不付这十几万赌费，我们的行为是合法的吗？谢谢了。