离婚后他不曾给我生活费现在我有义务赡养他吗

父母5年前因家庭暴力离婚 当时我19岁 正在读大学 离婚时他们签了协议书 约定每个月各给我一定的生活费 之后我和母亲一起生活 但父亲从未给我生活费 并说离婚时就一起给了 最近父亲找我要钱 说我有义务赡养他