我们要怎么办才能有宁静的生活

我爸爸03年的时候去世了，妈妈在04年1月的时候与另一名年龄相访的男子（有一名年龄和我相访的男孩）只签订了一份“招父领子协议”，其中协议的内容主要就是双方要赡养老人;把子女扶养到双方成家;双方子女有婚姻自主的权利;双方在一起后的财产双方拥有.现在，那名男子已经有两年没有给过家里钱了也没有和家里的人联系过，只有过年的时候回去闹几天，我和妈妈可不可以让他离开我们家呢，因为他来的时候，我刚好要上大一，他的孩子也上高三，他给我交了三年的学费和三年的生活费，而我妈妈也给过他孩子钱，只是他给我的都是打在存折上，我妈妈给的都没有什么纸上的证据。如果，现在我们让他离开我们家，我们有没有什么经济上的纠纷呢？请律士给我指点一下，我们被这样的生活给折磨得很难受，谢谢！