我想用这些钱来继续支付昂贵的医药费，但他不同意还说不还就要去告我，那我以后的药费怎么办呢

我是一名交通事故受害者，目前还尚在医院接受康复治疗。交警责任任定对方的全责，先前的医疗费用是由肇事方垫付的。由于我是工伤，前不久劳动和社会保险处作了工伤任定书。所以报销了一部分医药费，因为治疗还没有结束，所以我想用这些钱来继续支付昂贵的医药费，但肇事方却提出要我把报销回来的药费全部还给他，理由是先前的药费是他垫会交的。我提出他垫付的钱等到最后交通事故处理的时候多退少补的还给他，但他不同意还说不还就要去告我，我应该把钱还给他吗，如果给他了，那我以后的药费怎么办呢？