是否应当付给弟弟钱款急！

从01年开始，我弟弟在外跑江湖将钱从邮局寄回让我代取并为其保管，至2003年5月算帐时中间差了壹万元.其间他寄回的每笔我都有记录，与他所说的总额也相同。但是在这期间有他和他的家人从我这儿取过钱，其中有笔壹万元我记得好象当时没有记帐。造成现在所剩钱款与弟弟所说相差一万元。请问：这种情况下，我是否应该将这一万元补还给他？ 苦脑，急！！谢谢！！