属于私人住房，同时考虑到那个时候我家的住房比较紧张，他不同意，是否应该给予他家补偿呢

我家在宣武区有一个四合院，一共有10间平方，属于私人住房，在文革时期曾交公，那个时候就住进了几家人，直到现在，有一个家人姓金，在91年左右的时候我家人发现他在附近有一间公房（简易楼）在出租（那个时候是不允许出租公房的），同时考虑到那个时候我家的住房比较紧张，就让他把我家的3间平方腾出来，他不同意，最后我房管局的调解下，他同意把那间简易楼的房过户到我家人的名下，他继续住着这里的3间平方。可是最近他又提出让我们把那个简易楼的房还给他，他愿意主动腾出这里的3间平方，或者，我家给他一定的补偿费。可是我家人认为当初他的行为是他自愿的，而且当时他也得到了他所愿意的在我家3间平方的居住权，我们现在也没有必要再给他任何补偿。 请问我家是否应该给予他家补偿呢？为什么？