第六周-大数据学习班,深圳模具厂,模塑科技
回顾第5周 , 上周的 Hbase 软件, 卢老师提供过百度云盘的记录。 或者自己下载。
Hbase 增删改查 的 操作;
多种类型可以混合应用
可以增加逻辑判断和计算, 在条件中, 这是 scala 的强大之处。
这种是递归的函数, 也就是函数中调用了自己本身的函数
变长数组,定长数组, 可变数组, 可以相互转化。
reverse , 这个是 取反 的意思, 也就是倒序。
%2 取模 , 也就是去偶数
.min 是进行取小。
映射,必须有键值对,有K 有 V, 对键值对的调换、
Scala 主要是计算 文本搜索统计中, 得到的统计结果,
MAP 映射相关的操作。
1、压平,
2、键值对,
3、统计,
4、键值对调换,
5、在进行排序,
6、再次统计。
定义元组
这个元组, 也就是一个容器, 可以对他取值。
这就是结果。
parton 用的很多,
=JaVa 中的重载
这些就是 SCALA 的 类的运用
上周 Hbase 和 Scala的复习
接下来讲 kafaka 再讲 zookeppr
-------------------------------------------------------------------------------------------------------------------------------------------------
KAFAKA ,首先要了解 KAFAKA 的如下内容
产生的背景, 一个分布式的发布以及订阅的消息系统,她最初由 linkdin 开发的,
使用 scala 语音书写的。 最终成为 Apache项目的一部分,可划分, 多订阅者
的
举例说明: 洒水车是 kafaka 装水就是 生产 , 洒水就是消费的过程。
灌水的速度 和 洒水的速度是多少? 就是消息
-----------------下午开始学习 KAFAKA
parttion 有序列号, 可以并行处理更多的数据, 每个消息都有ID , 也叫 offset 。
一个生产交易系统, 每天产生 1亿的订单量 , (分布在很多省) , 需要全国的销量监控, 以及各个省份的,
汇总到北京, 可以做到, 各个省份的排名,
1、 实际放入 的数据, 是实时产生的, 并不是同时产生的, 所以输入到 KAFKA 中, 然后由 Spark 取出来计算出来。
具体的接口
2、统计第一步, 第二步, 预测 , 学习, 挖掘 。 甚至可以人脸识别。
KaFKa 的 Message , 也就是把 Message 。 下周讲 10-13 上课 。
Hbase 是No SQL数据库 ,