并约定违约金5万元，是否应承担违约责任

大家好： 我有个问题想咨询。我买栋楼房，价值11万元，我以交付7万元。并约定违约金5万元，但是还没有办过户手续。我对房屋在进行装修时，我家楼下在装修过程中，将房屋结构破坏，造成我家墙体下沉，墙壁出现裂缝。现在我不想购买该房屋，原户主是否应承担违约责任？因其房屋质量以有问题，即使经过修复，也不可能达到原来的样子，我该怎么办呢？大家帮帮我，有酬谢！！！！！！！！ [em00]