房屋买卖合同的解除和关于该案的起诉

我以前签的一个房屋购买合同，在交了5000元的定金后，由于其他的原因，我没有购买，现我和房屋中介商协商后，对方答应给付我2500元解除合同，可对方在签解除合同的时候，没有盖对方公司的公章，我都没有签订，现在我急需用钱，而对方却以公司公章在老总哪里，而老总却不经常在公司有理由拖延付款。我想咨询的是，在不盖公章的前提下，如何才能得到法律认可的解除合同协议。（因为在协议上有一条针对我不利的条款）。