我家要起房子，我们把房子拿给李三做，在邻居的劝说和没有动工的情况下我反悔拉，那我们怎么办

我家要起房子，我们把房子拿给李三做，合同都签拉，后来知道凡是李三起的房子质量不到位（周围邻居亲身体验凡是拿给李三做的房子都觉得不好，住在你面感觉很危险），在邻居的劝说和没有动工的情况下我反悔拉，把房子拿给另外的人做拉。李三不服坚持要告我们，那我们怎么办。