算不算我违约

2003年，我与我一同事协商并写有协议：1、他在单位的福利房由我先给他交房钱,交完后先由我居住使用。他的物业管理方面的福利由我享受。2、我的分房名额让给他（我比他分房晚），由他交房钱，之后我们相互换名额，换成之后我给他一万元钱作为他晚住房的补偿。3、如果他要要回他的房子，必需还给我所交的房款。 2006年我取得分房资格后，我可以在B城市分房，之前他的名额在A城市。但房价比原来的A城市房价高。我曾用电话问他 想要哪个城市的房子，他曾说过，不要B城市的房子，就要当年我在A城市的房子。但没有证据能说明这一点。电话也没有录音。现在他想要回他在A城市的房子，我提出要他还我当时所交的房款。可他说现在没那么多钱，不想给我当时报交房款，想按租房算，还想让我出暖气费。 现在我的顾虑是他一方面没那么多钱，再一方面他身体不好，疾病缠身，万一他去世了我的钱找谁要？我该怎么办？ 请问我们没能换成房子，算不算我违约？ 部分条款不给执行的情况下，协议怎么算？他万一真不给我房款怎么办？