1、启动虚拟机（2台或者3台）

2、启动zookeeper集群 sh /home/software/zookeeper-3.4.7/bin/zkServer.sh start

3、启动伪分布式hadoop

完全分布式

4、启动kafka集群

5、创建kafka指定的主题

6、编写并启动flume

flume weblog.conf编写

7、启动tomcat（埋点服务器和日志服务器）

8、编写SparkStreaming与Kafka的整合代码，从kafka消费数据

①启动scala-eclipse ②创建scalaProject ③导入spark依赖jar包 添加如下两个目录下的内容为依赖包 ④导入kafka依赖jar包 ⑤导入spark与kafka整合包 ⑥创建scala Object类Driver

9、启动SparkStreaming，访问埋点服务器，测试sparkStreaming是否能够从kafka接收到数据

访问localhost:8080/FluxAppServer/a.jsp出现

（Ⅰ）写数据

1、导入Hbase依赖包

2、编写spark与Hbase整合代码

3、启动多台虚拟机

4、启动zookeeper集群

5、启动伪分布式Hadoop

6、启动hbase集群

7、进入Hbase客户端，建表

8、启动spark，执行测试

（Ⅱ）读数据：

1、ReadDriver

2、ScanDriver

1、新建logBean与TongjiBean

2、新建HbaseUtil

3、修改Driver

4、项目与Mysql整合步骤

1、引入mysql和c3p0相关的jar包以及cp30的配置文件 将下面目录下的两个内容其放于工程目录下，并将mysql-lib中的jar build path 2、进入mysql，创建weblog库

3、切到weblog，创建tongji2表

4、编写代码，将实时流处理的指标插入或更新到tongji2表中

sh /home/software/zookeeper-3.4.8/bin/zkServer. sh start

完全分布式

进入01服务器的 hbase的 bin目录，执行︰sh start-hbase.sh

进入kafka的bin目录，执行∶ sh kafka-server-start.sh …/config/server. properties

进入f1ume 的配置文件目录，执行︰ …/bin/flume-ng agent -n al -c ./ -f ./web1og.conf-Df1ume.root.1ogger=INFO, console

2021-09-01 11:01:08,307 (conf-file-poller-0) [ERROR - org.apache.flume.node.AbstractConfigurationProvider.loadSinks(AbstractConfigurationProvider.java:427)] Sink k2 has been removed due to an error during configuration org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka broker at org.apache.flume.sink.kafka.KafkaSinkUtil.adddocumentedKafkaProps(KafkaSinkUtil.java:55) 原因：配置文件写错，a1.sinks.k1.brokerList写成了a1.sinks.brokeList

[2021-09-01 16:07:56,949] WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn:1102) java.net.ConnectException: Connection refused: no further information at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) 原因 设定zookeeper集群地址与通信端口出错，不能直接复制WriteDrive 应为

而非

    以上就是本篇文章【13、网站流量统计】的全部内容了，欢迎阅览 ！ 文章地址：http://nhjcxspj.xhstdz.com/quote/1455.html 
     行业      资讯      企业新闻      行情      企业黄页      同类资讯      网站地图      返回首页 物流园资讯移动站 http://yishengsujiao.xhstdz.com/ , 查看更多