我会负什么法律责任

帮朋友的孩子办工作的问题我只是中间人办事人要收取一定的费用，我将钱转交给办事人，孩子已经上班，但现当事人不在上班要求将当时办事所需费用要我全部退回可我一分都没有拿全部转交办事人而给办事的人现在又不给我退钱我该怎么办？