房屋的装修部份在合同解除后可否视为合同期满而归出租方所有

我租赁房屋给别人，合同上约定可以装修，装修不动产期满后归出租方所有。可是因为他不按时付房租，还有两年未到期，我就起诉讨要房租和解除合同，他也同意解除了，双方签订了调解协议（未涉及装修不动产的问题，我以为自然应该归我的了）。但之后对方提出他还有两年的装修期权，要我补偿，否则不准我使用该房屋，而且要价很高，我有什么办法吗？