大数据系统知识_大数据系统学习笔记

这篇文章主要是想分享一个金融大数据社区Tushare，最近在做量化的课题，针对自己的一些内容做一些分享。 导入Tushare import....

1、spark基于有向无环图DAG生成执行计划，他属于1个改进版的MapReduce，降低了很多不必要的shuffle次数，减少了节点之间的数....

一、需求描述 1.将待分析的文件（不少于10000英文单词）上传到HDFS。 2.调用MapReduce对文件中各个单词出现的次数进行统计。....

一、docker下php-fpm容器添加kafka扩展 进入php-fpm docker-compose exec php-fpm bash 安装librdkafka 执行 apt insta....

flink任务提交到yarn集群出现如下问题，不断刷屏org.apache.flink.yarn.YarnClusterDescriptor                  [....

达达快送平台的孙壮不经意间刷新了自己配送时效的记录。 2020年6月18日，他只用了十几分钟就将达达集团旗下即时零售平台京东....

苏月婷 江苏安科瑞电器制造有限公司 0 引言       众所周知，能源作为经济发展的重要引擎，堪称是国民经济的命脉。采矿业....

2021年10月28日，第五届中国数字医疗创新峰会在上海举行，诸多医疗行业企业参与数字医疗变革探讨。在会上，医疗卫生行业的各....

SpringBoot2 SpringBoot2(一)三、JDBC使用四、Druid连接池五、Mybatis六、SpringSecurity(安全)七、Swagger6.1、导入配置swa....

1.引入依赖 org.elasticsearch.client elasticsearch-rest-high-level-client 7....

尽管通用硬件能够处理人工智能任务，但要使用深度学习技术，通用硬件依旧缺乏足够的性能。因此，对于想要使用高效运行人工智....

这边在初始化Phoenix表数据的时候，遇到一个难题，就是需要往Phoenix里面初始化30亿的数据，而采用普通方式往phoenix插入数....

距离2022年还剩下2天的时间，马上要迎来新的开始啦，小伙伴们做好准备了吗？新的一年是继续当条咸鱼碌碌无为，还是想做出改....

解析年度爆款，拓商为你讲解背后的商品趋势 2021年已经进入倒计时阶段，新的一年即将开启，各大电商平台也陆续发布了关于202....

了解数据处理过程的基本模式？ 数据输入(Source) 数据处理(Transformation) 数据输出(Sink) 大数据处理计算模式 流计算与....

近日，在中国信息通信研究院和中国通信标准化协会联合主办的首届混合云大会上，开始围绕混合云、多云管理等课题展开讨论，算....

大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 101篇原创内容 公众号 Scala 中的模式匹配....

对于 IT 专业人士来说，这是一个充满机遇的时代。 目录 为什么要成为认证数据专家？ 数字时代的顶级大数据认证 助理大数据分....

1、  简介 在这个万物互联的时代，任何一家企业的发展都离不开数据，数据是每一个互联网企业的核心资产。在互联网安全事故....

使用kettle批量在指定服务器上执行任务是包如下错误： java.lang.OutOfMemoryError: unable to create new native thread ja....