只签了离婚协议书，但是我跟我男朋友是他们离婚后我们才认识在一起的，现在我要怎么办

我男朋友是离过婚的，当时孩子没满一岁领不了结婚证，只签了离婚协议书，但是我跟我男朋友是他们离婚后我们才认识在一起的，现在他前妻说是因为我的出现他们才离婚的，要起诉我男朋友，现在我要怎么办？