因邻里纠纷，在我家门口辱骂，身体没有造成伤害，我该怎么办

因邻里纠纷，对方故意找茬，在我家门口辱骂，我妈与其发生口角，我妈有心脏病，不能受刺激，在我劝对方回家的时候对方连我一块辱骂，我一时按捺不住，便打了他，身体没有造成伤害，但对方身体一直有病，现在故意赖着我，我该怎么办。