如何才能摆脱困境

一年前，一次偶然的机会遇到了一个外地的男子，有了一段婚外恋，其实大多数的时间，也就是彼此通电话和发短信，有一次他的妻子因为看到我们的短信就执意要和他离婚，现在已经上诉一次并且分居半年了，他因为失去了家和孩子更因为得不到我心理变得非常的偏激不太正常了，常常在我丈夫在家的时候给家里打电话，并且不停的威胁说要告诉我的丈夫，在今年年初把我们的事告诉了我的丈夫，但看到我们并没有因此而离婚就又不停的给我新人单位打电话，扬言要告诉我的同事和我的父母使我身败名裂，我现在是生不如死了，好好和他说他根本听不进，要不理他又怕他真的到处宣扬，他的手机停机了，别的电话我也没有，可以说现在只有他能找到我我却找不到他，所以他更是无所顾忌，我该怎么办呢？求大家给我想想办法吧。否则我只能一了之了。