父亲死了，奶奶和爷爷有责任和母亲一起抚养子女吗

我和弟弟是未成年人，爸爸在我五岁时死了。爷爷奶奶不抚养我们，只有妈妈一个人承担我们二人的全部费用，我应该向他们要抚养费吗？（爷爷有工资，妈妈没有带出任何财产。）