不同意全部还给我当时所交全部房款，算不算我违约

2003年，我与同事协商：1、他在单位的福利房由我交房钱,交完后先由我居住使用。他的物业福利由我享受。2、我的分房名额让给他（我比他分房晚），由他交房钱，之后我们相互换分房名额，换成后我给他一万元钱作为晚住房的补偿。3、如果他要要回他的房子，必需还给我所交的房款。 2006年我取得分房资格后，可以在B城市分房(之前他的名额在A城市)。但房价比原来的A城市房价高。我曾用电话问他想要哪个城市的房子，他曾说过，不要B城市的房子，就要当年我在A城市的房子,所以我就在B城市用我的名额并交了房款分到我的房子。但没有证据能说明我曾和他商量我在B城市分房时与他协商这一点。现在他想要回他在A城市的房子，我现在也想还给他在A城的房子。我提出要他还我当时所交的房款。可他说现在没那么多钱，不同意全部还给我当时所交全部房款，想按租房算，还想让我出暖气费。 现在我的顾虑是他一方面没那么多钱，再一方面他身体不好，疾病缠身，万一他去世了我的钱找谁要？我该怎么办？ 请问我们没能换成房子，算不算我违约？部分条款不能执行的情况下，协议怎么算？他万一真不给我房款怎么办？我一同事