再和他签定了建房合同，我该怎么办，该怎样拿回属于我的钱

我和朋友一起起一栋房子，由于他资金不足，在开始起时我借了10W元他，再和他签定了建房合同，我负责起房子，他需要在每起一层房子时须交给我一定金钱，等工程完结再总结算，但是起了6层，他只给我两层的钱，于是我就没和他装修房子，只起了6层框架，但是经结算他已欠我10多万了，后面我没帮他装修，他自己另请人装修好了 。。。现在他拿合同说我没帮他完全起好房子，不肯支付欠我的钱，我该怎么办，该怎样拿回属于我的钱，现在的他拿着合同这点，说一分钱都不肯给我，希望大家帮下我