我们到底应该怎么办呢

我姐姐与她的丈夫是大约20年前结的婚，因为那个男的是个游手好闲之徒且身患残疾，所以我们全家均不同意这门婚事，但姐姐还是违背家里的意愿跟那人结了婚。他们有个女孩，前几年男方因为打架斗殴进了监狱，之后姐姐就跟他办理了离婚手续。今年这个男的刑满出狱了，给我姐姐打了电话，想让我姐姐继续跟他过日子，但姐姐没有同意，于是他就威胁说今年过完年后就找我姐姐的麻烦，如果找不到我姐姐，就找我家的麻烦（他知道我家的住处），并告诉我姐说到那时不要后悔，让我姐哭都没地方哭去。听姐说这个男的心狠手辣，而且认识很多社会上的闲散人员，什么事情都能干出来，真的不知道该怎么办才好，请好心的律师帮忙出出主意，谢谢了。