我该如何起诉买方！

我该如何起诉买方！ 我于05年10月23日于吴某签订买卖房子协议，是通过中介进行的，当时约定于05年11月20日前到房管局签字过户。否则违约责任里面写的是5000元。但当时吴并不想过户，所以中介当时就将房产证和土地证都给了吴。然后我给吴打个条（就是收到房款四万多）。期间这几年我一直想过户，但联系几次吴都没回音，也不说去也不说不去。今年年前才去的最近一次，这几年过去了，我想要回我的房子。不想给他了！看合同上是他违约在前。我该如何起诉对方！