网友通过本文主要向大家介绍了kafka producer,kafka producer配置,kafka producer sync,kafka producer api,kafka producerdata等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com
记一次kafka producer连接缓慢的排查
现象：kafka producer通过SSL连接kafka broker，发送消息。
能够发送成功，但连接非常缓慢，发送一条消息接近50秒。
环境：
kafka broker位于数据中心，通过端口映射暴露到公网。
内网IP：10.1.1.1
公网IP：x.x.x.x (映射 9093 端口到内网的10.1.1.1:9093)
内网访问broker使用PLAINTEXT，外网访问broker使用SSL。
broker配置（只网络相关配置）
- ssl.keystore.location=server.keystore.jks
- ssl.keystore.password=xxx
- ssl.key.password=xxx
- ssl.truststore.location=server.truststore.jks
- ssl.truststore.password=xxx
- ssl.client.auth=required
- listeners=PLAINTEXT://0.0.0.0:9092,SSL://:9093
- advertised.listeners=PLAINTEXT://10.1.1.1:9092,SSL://x.x.x.x:9093
producer在外网，通过SSL访问。配置：
- bootstrap.servers=x.x.x.x:9093
- ssl.protocol=SSL
- security.protocol=SSL
- ssl.keystore.location=client.keystore.jks
- ssl.keystore.password=xxx
- ssl.key.password=xxx
- ssl.truststore.location=client.truststore.jks
- ssl.truststore.password=xxx
producer日志：
- 14:01:23.367 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 0.9.0.1
- 14:01:23.367 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commitId : 23c69d62a0cabf06
- 14:01:44.856 [main] INFO org.apache.kafka.clients.producer.KafkaProducer - Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms.
排查：
在producer一侧，使用tcpdump观察9093端口，发现SSL握手成功，也有数据传输，
但是从producer启动到发送出syn，间隔10多秒。
后来去掉对9093端口的过滤，观察所有端口，发现在137端口有name query，
发送了3次，花费了10多秒。
137端口是windows的NETBIOS协议，看来producer是在向broker查询主机信息。
然后，通过jstack查看producer的线程堆栈，发现在getHostByAddr处等待。
到这时，才怀疑是不是因为取不到broker的主机名。
在producer一侧的hosts文件里配置主机名 "x.x.x.x serverx" 之后，故障解决，
producer非常快就结束了消息发送。
总结：
这次故障，是因为客户端无法根据服务器的IP获取主机名，一直等待到超时，所以造成处理缓慢。
最终通过配置hosts解决。
（如果使用DNS的话，看来需要配置反向解析。）
producer的配置里直接设置的是broker的ip，为什么客户端还要调用getHostByAddr呢？
这个问题还没有弄明白，猜测是因为SSL协议需要校验服务器证书，会用服务器的域名和
证书的cn比对吧？