谁能帮帮我?

我想买对方一套二手房.当时,看了一下房子.觉得满意.别的事情也没有问(房产证过户的事情)就给了对方五千元的购房定金.后来过了二天我就到房产所询问了过户的手续金额.才发现现在未满五年的房子还要另交个人所得税20%.我就和对方说.这个20%的个人所得税要对方负责.对方不答应.于是,我要对方退定金.对方也不肯退. 当时,定金交给对方的时候,对方打了一张收条,收条上就是写了收到我的购房定金五千元.别的什么也没有写.现在,对方不肯负责20%的个人所得税.我可以要对方退这五千元的定金吗?