《2011中国大学研究报告》中有一套看似科学的评价体系，但是这套体系却经不起半点推敲。
首先，课题组虽然公开了评价指标体系，但没有公布数据来源和采集方法。这次排行既不是学校报选而来，中国校友会网也不是教育主管部门，所以注定了它无法直接获取真实可信的数据，最多就是间接的通过学校官网，或者别的途径来获取学校不全面的数据。
以公办高校评价指标为例，课题组是根本无法获得九个三级指标中的学科水平、重大科研成果、科学创新基地、国家声誉、社会声誉这几项的原始、全面、权威的数据。这就注定了任何人无法以课题组提供的评价指标来检验数据。
而民办大学评价指标中社会声誉一项的数据采集，竟然是依靠搜索引擎来检索每个学校的新闻数量。这里记者不禁要问课题组：一个学校的社会声誉难道就是单纯依靠新闻报道的数量？或者负面新闻较多的学校也能依靠新闻报道的多少来取胜？
由此可见，在这套外表科学的评价体系下实则是漏洞百出，千疮百孔。
其次，《报告》由中国校友会网总编赵德国、中南大学蔡言厚教授、厦门大学冯用军博士、桂林电子科技大学王凌峰博士和中国校友会网刘明等共同执笔编写完成，这几人中蔡言厚、冯用军、王凌峰所任职的大学分别在排行榜中名列第14、20、267位。这种既当裁判员又当运动员的行为能保证排行榜的公正客观吗？
一个以全国为头衔的榜单，本应该是经过严谨的科学计算而得出排名的，但中国校友会却在数据采集不科学的情况下不负责任的发布榜单。现任南方科技大学校长的朱清时曾说过：“这些所谓的‘排行榜’仅是一家之言，根本谈不上什么权威性。”
