有欠条就可以要回钱吗

我哥哥1999年中专毕业，托我姨夫找工作，他是一中学老师，当时陆续给他钱接近1.5万，（没有别的证人在场，也没有任何收据）是他到我们家要的钱，我们把钱给他，由他来支配，他说又托了A和B帮忙，给了A5000元，给了B6000元红包，剩下的钱他说是请客吃饭花掉了。到现在，我姨夫说事情办不成了，我联系到了A，问了一下钱的事，A说钱在2年前就退给了我姨夫，而我姨夫自己把钱花掉了，也没跟我们说。我问我姨夫B的联系方式，他不肯告诉我，不让我再追究，可我不相信他是真送了红包，事情根本不能办，人家怎么会收6000元的红包呢？我想肯定是被我姨夫花掉了，可又没什么证据。我爸妈一直碍于面子，这几年都没问我姨夫钱是怎么花的，直到今年，我姨夫自己说事情真的不能办了，（前几年，他一直在说等机会），才问他这些情况。他现在只承认A退的5000元，给B的那6000元，他说是红包。我爸妈都是农民，我哥哥在一私企打工，都没多少收入，我现在上大学，急需钱用，学费已欠了1万多，跟我姨夫要钱，他又不肯给，他说现在他家没有钱，就是承认的5000元也要以后给。他是一老师，每月都有工资的，可他说他儿子前几年买房子花了八，九万，要还贷款，他儿子已经结婚生子。他犯的是诈骗罪吗？如果现在他打了欠条就一定能把钱要回来吗？我们的行为犯法吗？