我租的房子是押二付三，我想问他如果不愿协商直接来赶我们，我们可以喊他退剩下的房租吗

我租的房子是押二付三，需要提前一个月交房租，我这个房东是二房东，我已经跟打过招呼说晚点交，因为一些原因，并且说的时候交了一个月的房租。现在又因为疫情原因无法交租，希望房东宽限一下，房东不愿意说明天就要来赶人，这是我们住的第二个月，我们现在就相当于家了四个月房租，我想问他如果不愿协商直接来赶我们，我们可以喊他退剩下的房租吗