我不想和他以地换房了，怎么办啊

我原来有一块地，后来也盖了部分房子。前年自己经营餐饮业，去年和今年一直空放着。 最近需要资金周转，我的一个朋友愿意用自己的底商和我对换，我们签了协议，并且他交给我定金5万元。可是，我刚知道，我的地和房子升值好多、好多，我后悔了！！！我想要回我的地和房子，退给他定金，可以吗？帮帮我！