压测数据的疑问

[XLPE]

您好，我横向对比了filebeat、vector、rsyslog、ilogtail三者的性能，ilogtail的性能并不最佳：
压测按两种模式进行：

file(source) to file(sinker)

目的： 方便验证可靠性，对比生产和消费的日志文件一致，可靠性结论暂不给出

• 本地提前mock一份日志文件(日志mock程序未启动)，大概十几万行，三个采集端同时启动从文件行首采集，看谁能提前达到目标行数，行数最多代表快

结论：vector >> filebeat > ilogtail

• 在上一步的基础之上，三个采集端都达到目标行数后，启动日志mock程序，比较每个采集端采集到的文件行数，tps根据窗口期的文件行数除以窗口耗时

结论：rsyslog(111616/s) >> vector(15064/s) >> ilogtail(5452/s)> filebeat(3072/s)
cpu占用率 rsyslog(202.3%)、vector(193%)、ilogtail(13%)、filebeat(178.1%)

file(source) to pulsar(sinker)

目的： 直观比较采集速度

• 起多个mock容器生成日志文件（每个mock容器写入宿主机同一路径的不同文件），同一宿主机再起三个采集端容器同时监听mock日志文件，写入pulsar的不同topic。观察pulsar management的In Rate指标（每秒写入的日志数）和 In Throught指标（每秒写入的带宽）

结论: filebeat(4.2W/s) > ilogtail(5.1K/s) > vector(13/s)
filebeat的CPU开销超过1个核，vector和ilogtail资源占用非常低，三个采集容器都未做资源限制

vector最慢的原因是因为官方的客户端是同步发送，其余两个均是异步发送。
其中ilogtail进行如下参数设置(vector和filebeat都未做任何有关性能的参数配置):

  cpu_usage_limit：9  
  mem_usage_limit：4096  
  process_thread_count： 8  

参数设置前后，发送qps变化不大 。
其中从ilogtail的日志中可以看到大量的：

  read log delay:******* fall behind bytes:228990196  file size:1000000136    read pos:771009940 
  logprocess queue is full, put modify event to event queue again:/var/log/mock-log/access_172.30.84.4.log

问题：
不知道是否是采集的性能问题，还是发送的问题，我应该如何调优ilogtail才能得到比filebeat更优的采集性能?

[Takuka0311]

我在本地用您的方法进行了测试，得出的结论如下。
采集速度：ilogtail略快于vector，远大于filebeat
CPU占用：ilogtail与vector几乎一致，都在15%～20%波动，filebeat则在35%以上

[Takuka0311]

可能存在的问题：
1、对于ilogtail的性能存在限制，可以参考 https://help.aliyun.com/document_detail/32278.htm?spm=a2c4g.11186623.0.0.7b607e7cKdibzl#t13060.html
2、是否引入了历史数据，是否从首行开始采集
3、测试的主要标准应该是一定的流量，测谁的cpu高，谁延迟。可以综合CPU占用与流量进行判断

[XLPE]

请问一下您说的延迟应该如何判定？目前我是不停加大日志流量，观察采集端的cpu、内存、tps变化来判定的

[Takuka0311]

可以逐步加大日志流量，测试何时Agent的采集速度开始跟不上生成速度，以及为了保持采集速度需要占用多少CPU

[XLPE]

已经查明原因是编译出来的二进制版本可能是master debug版本，重新编译v1.1.1 release版本后，一切都正常
file(source) to pulsar(sinker)
ilogtail是filebeat的三倍，峰值可以达到6万以上，cpu占用也极其低
file to file模式
ilogtail的速度几乎和写入速度一致，也是远远高于filebeat，峰值可以达到11万