关于智商残疾人的监护问题

我有一个三姨，她跟我三姨夫（两个人都是智力有问题的残疾人）住在单位分（三姨夫单位）的工房里。我母亲是三姨的妹妹，一直充当着他们的监护人（俗话就是一直去看望他们），但是在2002年母亲去世，去世前1年因种种原因与三姨断绝来往。最近三姨街道居委会的工作人员找到我和父亲，说三姨和三姨夫住的房子被人用三姨夫的工龄买下来后又卖给了三姨和三姨夫的干儿子（这个干儿子，我母亲在世时从未有过，应该是在我母亲去世后才出现的），三姨和三姨夫都不知道房子被人卖了，也没有拿到过一分钱卖房子的钱；居委会的人和三姨夫厂子的领导找到我们，希望我们充当起监护人的责任，替他们打官司也好报案也好，要回属于三姨和三姨夫的房子。在这里，我想请问律师，我和父亲（不管是谁）有没有监护人的责任和义务？如果有监护人的责任和义务，比如有一天三姨夫和人打架把别人打伤了，作为监护人的我们有责任赔偿被打伤的人吗？如果我们没有监护人的义务，居委会找到我们让我们充当监护人的责任替三姨他们要回房子，那么之后我们拒绝再充当监护人可以吗？