说我在单位没有给他面子,老公提出离婚

我和老公06年结婚,08年共同买房,因为他有住房公积金我没有,所以房子在他名下,前几天我发现他和别的女人出去玩了,因为我对感情很专一,所以当时在他单位的餐厅就发火了,没有给他面子,我还主动提出离婚,那时候他还没有想离婚的意思,其实我当时生气是想他可能有别的女人了,所以一生气就说离婚,可现在我不想离婚,他非逼我离婚,说不想和我过了,忍受不了我的性格,可是我们结婚的时候什么也没有,就凭我对他的感情结婚了,可现在刚刚有房子了,他就要离婚,夫妻之间哪有不吵架的呢,以前为什么不提离婚呢,现在有房子就要离婚,他是不是认为他有房子就可以找到更好的了?我不想有个失败的婚姻,也不想离婚,可是他现在说的太伤人了!我们首付共5万6,我俩共有财产差不到到4万,其余借的,现在是他每个月一个人还贷款,请问,我不想离婚可以吗?