信息采集组、数据清洗组、数据融合组、数据挖掘组、数据可视化组。


信息采集组主要是通过网络爬虫来采集数据,当然还可以根据业务需求,通过不同的方式来采集数据;

数据清洗组主要就是把一些无效的脏数据找出来剔除或者替换,任务量其实很大,因为爬来的数据脏数据量很大,这个组的工作周期一般很长,任务也很重;

数据融合组主要就是把爬来的课程信息把相似的归类,有上下级关系的就按照子类父类的关系列好,这一组的工作非常不好完成,目前我们做的融合效果不算好,想融合好算是一个难点;

数据挖掘组就是拿到可用的数据之后通过数据挖掘算法,去研究之前设定好的影响因子之间的因果关系,主要的分类算法有决策树、贝叶斯分类、基于规则的分类、神经网络、持向量机、懒惰学习算法中的K-最近邻分类和基于案例的推理等算法;

数据可视化组顾名思义就是把数据挖掘组的成果可视化展示,这样可以直观的看到数据之间的关系,并利用数据分析和开发工具发现其中未知信息的处理过程;


1,离线数据处理:项目内容为通过对网站访问日志的采集和清洗,结合数据库中的结构化用户数据,统计并展示网站的PV、UV情况,以对网站的运行情况进行监控。通过此项目,回顾并串联前面讲述的离线数据处理相关技术,如:FIune、Sqoop、Hive、Spark等,了解和掌握PB级数据离线处理的一般过程和架构。

2,流式数据处理:项目内容为通过对数据库交易数据修改的实时同步,监控网站实时交易情况,以提高网站交易情况监控的时效性,降低网站运行的风险。 通过此项目,回顾并串联前面讲述的实时数据处理相关技术,如:kafka、Spark、Streaning和HBase等,了解和掌握实时数据处理的一般过程和架构。

3,推荐系统:项目内容,基于公开数据库的商品推荐,某大型互金公司产品推荐系统剖析, 通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练,了解推荐系统的一般架构和常用算法。

4,搜索系统:项目内容,通过网站爬虫爬取网站数据,然后基于KlastlcSeard和Klbana搭建一个完整的搜索系统。

5,系统运行情况仪表盘: 通过对网站访问日志的采集和清洗,结合数据库中的结构化用户数据,统计并展示网站的PV,UV情况,以对网站的运行情况进行监控。通过此项目,回顾并串联前面讲述的离线数据处理相关技术,如Flume,Sqoop,Hive,Spark等,掌握PB级数据离线处理的一般过程和架构。

6, 实时交易监控系统 : 过对数据库交易数据修改的实时同步,监控网站实时交易情况,以提高网站交易情况监控的时效性,降低网站运行的风险。通过此项目,回顾并串联前面讲述的实时数据处理相关技术,如Kafka,Spark Streaming和HBase等,掌握实时数据处理的一般过程和架构。

7,推荐系统理论与实战: 讲解推荐系统的相关背景,常用算法及通用架构;基于公开数据集从零构建一个电影推荐系统。通过对公司实际推荐项目的剖析和根据真实数据搭建推荐系统的实操演练,了解推荐系统的一般架构和常用算法

8,数据仓库搭建理论与实战: 讲解数据仓库搭建的方法论,常用建模理论;以互金公司数据仓库搭建场景作为切入,实例演示数据仓库搭建过程及技术架构。

9,分布式业务监控系统: 讲解业务监控系统需求背景,基于大数据的技术方案;通过实例代码搭建完整的业务监控系统

10,基于ES的日志系统 : 基于Flume,ElasticSearch等技术搭建系统日志收集与查询系统。

11,信贷需求预测系统: 以京东信贷需求预测竞赛为背景,实例讲解数据挖掘项目中如何设计特征,模型基础,建模以及调参等。

12,用户画像系统 : 讲解用户画像系统的需求背景,基于大数据技术的解决方案;通过实例代码演示用户画像系统的搭建。

Last modification:April 12th, 2020 at 11:05 am
如果觉得我的文章对你有用,请随意赞赏