我家是否该赔偿损失费

我家在1997年把二间楼房二间平房卖给了一城市户口居民，因为我们当初也不清楚国家土地管理法是怎样制订的，农村的房子没有房产证,只是写了一张房屋买卖合同。现在我们家想要回房子，与对方打了官司，通过一审、二审，都判决房屋买卖合同无效，对方要把房子退还给我们。现在对方又起诉我们家要赔偿房子的损失费47万多元，我们同意房子当时的卖房款退还给他，还有利息及合理的补贴，对方不同意。在这里人想问一下对方提出的47万多元房屋损失费我家该赔吗？