让他退房租理由充分吗

我于2005年2月在该地租房 合同写明租期5年每年房租4500元， 预付2年房租9000元，但事先有口头约定如房东要用到这个房子我们就搬到隔壁的小房，房租另订，于2006年2月房东声称要用此房，依约定我们搬到小房，商定房租为大房的一半，但由于一年来我们生意的扩大，小房面积不够用，而且房子漏雨情况严重，经过两个多月，房东也没有用原先的大房子，我们便申请搬回，但他老推辞，于2006年8月我们实在没办法就搬到了别处，原小房转租，但于2006年十月房东就将原大房又租给了别人，我找他协商，他说等新房主到期了，再考虑是我们搬回去还是退给我们房租的问题，由于我们也是新签订的合同，于是等到现在我再找他，他却不理我们了。我现在手头就有我们最初签订的大房子的合同。