告小哥拿了老人的存款不养老人的晚年

6年前，我老爸在生之年写了份遗嘱，有30000多交给我继承，可我当时意识不是很清理，受下这份遗嘱后马上就转给了我小哥，遗嘱有写明谁继承遗产谁包两位老人养老。我与小哥的交结没有效的凭据，只有10000的借条和一份简单的保管存款条 老爸4年前已过生，在他生前我小哥并没尽到孝心照顾好他，为这大哥很是憎恨我当时的决定，现在还有个老妈，小哥他也没能力照顾为由而不尽心照顾 我 两个月前找他，要他把钱都拿出来，再重新安排这件事，可他不同意，说没钱 ,面对大哥的责怪,我该怎样做才能还老人家一个公道