双方也有协议.现在他想要回房子,请问我同样给他要我的房款利息合理不?

五年前,我与我一同事协商:他在单位的福利房由我先给他交房钱,交完后先由我居住,他要住房时,还我房款我交还他房子,双方也有协议.现在他想要回房子,但说要按我租他房计算,也就是还不回我当时交的房款,要我还他房子.请问我同样给他要我的房款利息合理不?如此以来就是我租他房子给他租金,他借我钱算利息.但这些事先没有协议.我该怎么办?