Tomcat生产日志
Flume抓取日志下沉到kafka中
- 将写好的web项目打包成war包，eclise直接导出export，IDEA 在artifact中添加新的artifact-achieve项，选择web项目所在目录，再build即可
- 在Linux的Tomcat Webapp目录下放入war包，在bin下启动Tomcat时，war包会自动解压，然后从浏览器访问，注意是http://bigdata2:8080/WebAnalysis_war/ 的形式 host:8080/+项目文件名
- 配置flume的conf文件如下，直接抓取到kafka
agent.sinks = k1
agent.sources = s1
agent.sources = s1
agent.channels = c1
agent.sinks = k1
agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /home/bigdata/weblogs/access.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100
#设置Kafka接收器
agent.sinks.k1.type= org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口
agent.sinks.k1.brokerList=bigdata3:9092
#设置Kafka的Topic
agent.sinks.k1.topic=kafkatest
#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.channel=c1
启动flume
flume-ng agent -c conf -f /home/bigdata/flumeconf/log_kafka.log -n agent -Dflume.root.logger=INFO,console
- 启动kafka
./kafka-server-start.sh -daemon ../config/server.properties
如果没有创建该topic则新建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkatest
启动消费者
./kafka-console-consumer.sh --zookeeper bigdata3:2181 --topic kafkatest --from beginning
- 在JSP上点击添加日志文件内容，在Kafka中就可以消费的到
- 解决中文乱码问题
1修改tomcat的server.xml文件：
<Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443" URIEncoding="UTF-8" useBodyEncodingForURI="true"/>
2表单中文乱码,在<%@ page %>下加一句<% request.setCharacterEncoding("utf-8");%>
或在servlet中添加request.setCharacterEncoding("utf-8")
原文地址：https://www.cnblogs.com/schoolbag/p/8654833.html