父亲可否要回给出的房子

签协议之前，父亲名下有A、B两户房子，小儿子名下有一户房子C，小女儿家（女婿）名下有一户房子D。由于家庭和睦，2002年7月16日，上述三人一致乐意签订房权归属协议：房子D归父亲，房子A归小女儿家，房子B、C归小儿子。协议规定，自签字之日起生效。后父亲不愿意在房屋D居住，小女儿因此为父亲另购一比D好得多的房屋居住，后父亲于2003年8月9日立字据将房屋D全权给大儿子。 2005年5月，在所有当事人（当然包括父亲）一致同意的情况下，房屋A已更名在小女儿（女婿）名下，房屋D已更名在大儿子名下。而协议规定给小儿子的房屋B、C，更名在父亲名下。这是因为，父亲是离休老干部，待遇较高，若房屋B、C更名在小儿子名下要化数万元。 现82岁的父亲欲与四十多岁保姆再婚，要要回给出的房子，法律是否支持？