身心疲惫求助

我爷爷和他妹妹在1981年（也就是我出生之前）之前就定了口头协议，他妹妹要把他大女儿（当时她女儿还没有成年）名下的地皮给我爷爷的儿子（就是我爸爸），当时爷爷说给钱，但他妹妹说不需要（因为当时她们生活条件不是很好，我爷爷经常在钱上帮助她们，她们没有钱在那地皮上盖房子），只要和我爸爸当时拥有的另一处地皮交换就可以了，我们就在那盖了房子已经住了有20几年了，现在房屋要拆迁，赔偿金很可观，她们就不同意了，我姑姑就是她大女儿和她丈夫多次要求收回，（我爷爷已经去世了）并声称当时他们不知道，他们不同意。并要我爸爸按现在的价格给钱。昨天，我爷爷的妹妹带他的几个儿子和女儿又说到了这件事情，说就是她们家的，给我们住是看的起我们，并骂我们很难听的话。我们为了这件事情，身心真的受到了很大伤害，并感到世态炎凉。说实话，如果我们不是在上大学，花费很大。我们不想在受这种气，不和她们争了。我们的父母为了我们，没有和她们吵。我们该怎么办啊？