我们目前开源的 舆情系统 分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例。
所谓，取之于开源,用之于开源，我们把整套系统开源出去，回馈给技术社区。同时，我们也会逐步的讲解，在这个开源 舆情系统 中我们是如何使用这些技术的，以及在使用中遇到的各种问题和工程师们的解决方案。
数据采集开发平台：Java EE & SpringBoot爬虫框架：Spider-flow & WebMagic & HttpClientAPP爬虫：Xposed框架URL仓库：Redis网页渲染解析：Jvppeteer & Playwright（微软开源）web应用服务器：Nginx & Tomcat储存任务发送：Kafka & Zookeeper抓取任务发送：RabbitMQ配置管理：MySQL前端展示：Bootstrap & VUE 数据处理
开发框架：SpringBoot开发语言：Java JEE数据暂存：MySQL数据索引：Redis深度学习：PaddlePaddle自然语言处理：HaNLP & THUCTC数据处理和储存任务发送：Kafka & Zookeeper数据中台：自研 & DataEase 数据初始化：集成FlyWay，自动初始化MySQL数据总线：RockAPI （进行了二次开发） 数据分析
数据库：MySQL数据检索：Elasticsearch中文分词器：IK分词相似度计算：Clickhouse数据同步：DataX文章储存：Mongodb数据缓存：Redis消息队列：kafak & rabbitMQ开发框架：SpringBoot开发语言：Java JEE图表展示：Apache Echarts & anyCharts
项目地址开源项目地址：https://gitee.com/stonedtx/yuqing
在线体验
环境地址：http://open-yuqing.stonedt.com
用户名：13900000000
密码：stonedt
原文地址：StoneDT开源舆情系统大数据技术栈介绍
