关于房产的纠纷

律师： 您好。我想咨询关于一些房产的问题： 4年前，我原有一套88平米的住所，想卖掉换一套距离单位比较近的。后来找到一家房源，地理位置比我以前的那套要好，但是只有60平米，因为当时房价不高，所以对价差平米差不是很在意。因为对方的房贷没有还清，所以没办过户，但是两方签署了一份换房协议（上面规定了到贷款还完才能过户，在此期间不允许任何一方对住房有太大的装修改动,违约就要向对方支付2万元作为赔偿） 但是4年过后，对方在我的一再催促下6万的贷款至今没有还清，给我个人很多问题造成不便。如今房价一再飙升，而且那套88平米的住房正被政府规划到拆迁范围内。所以我已经不想换房了，我想要回自己的那套88平米的住房。房产证在我本人这里，除了一纸换房协议，我们什么换房证明都没有。 请问，我可以要回自己的房子吗？是否要缴纳违约金2万元？是否还有其他违约的惩罚呢？麻烦律师帮忙解答~