当前位置：文档之家 › kafka linux参数

kafka linux参数

  • 格式：docx
  • 大小：4.23 KB
  • 文档页数：4

kafka linux参数

Kafka Linux参数详解

Kafka是一种高性能、分布式的消息队列系统，常用于构建实时流数据处理平台。在Linux环境下，为了保证Kafka的正常运行和提高性能，我们可以通过配置参数来调整其行为和性能。本文将详细介绍几个常用的Kafka Linux参数。

一、Kafka配置文件

Kafka的配置文件位于Kafka安装目录下的config文件夹中，主要包括server.properties和producer.properties两个文件。其中server.properties是Kafka服务端的配置文件，包含了Kafka的核心参数；producer.properties是生产者客户端的配置文件，主要用于配置生产者相关的参数。

二、Kafka核心参数

1. broker.id

broker.id是Kafka集群中每个broker的唯一标识，用于在集群中唯一标识每个broker。在配置文件中，可以通过设置broker.id参数来指定broker的ID。

2. listeners

listeners参数用于配置Kafka服务端监听的端口和协议。默认情况下，Kafka使用9092端口，并支持PLAINTEXT、SSL、SASL_PLAINTEXT等协议。可以通过修改listeners参数来指定监听的端口和协议。

3. log.dirs

log.dirs参数用于配置Kafka存储日志文件的目录。Kafka使用日志文件来存储消息，每个分区对应一个日志文件。可以通过修改log.dirs参数来指定存储日志文件的目录。

4. num.partitions

num.partitions参数用于指定一个主题（topic）的分区数。Kafka将消息分发到不同的分区中，以实现消息的并行处理和负载均衡。可以通过修改num.partitions参数来增加或减少分区的数量。

5. message.max.bytes

message.max.bytes参数用于限制Kafka接收的单个消息的最大字节数。当消息的大小超过该限制时，Kafka将拒绝接收该消息。可以通过修改message.max.bytes参数来调整单个消息的大小限制。

三、Kafka生产者参数

1. bootstrap.servers

bootstrap.servers参数用于指定Kafka集群中的一个或多个broker地址。生产者通过该参数来连接Kafka集群。可以通过修改bootstrap.servers参数来指定连接的broker地址。

2. acks

acks参数用于配置生产者发送消息的确认机制。它有三个可选值：0、1和all。0表示生产者不等待任何确认，直接发送下一条消息；1表示只要leader节点确认接收到消息，就认为发送成功；all表示需要所有的ISR（in-sync replicas）节点都确认接收到消息，才认为发送成功。

3. compression.type

compression.type参数用于配置生产者发送消息时的压缩方式。Kafka支持多种压缩方式，包括none、gzip、snappy和lz4。可以通过修改compression.type参数来选择合适的压缩方式。

四、Kafka消费者参数

1. group.id

group.id参数用于指定消费者所属的消费者组。消费者组是一组消费者共同消费一个主题的消息。可以通过修改group.id参数来指定消费者所属的组。

2. auto.offset.reset

auto.offset.reset参数用于配置消费者在初始启动或者消费的偏移量失效时的行为。它有三个可选值：earliest、latest和none。earliest表示从最早的偏移量开始消费；latest表示从最新的偏移量开始消费；none表示如果没有找到有效的偏移量，则抛出异常。

3. mit

mit参数用于配置消费者是否自动提交消费的偏移量。如果设置为true，则消费者会定期自动提交偏移量；如果设置为false，则需要手动调用commitSync()方法来提交偏移量。

五、总结

本文介绍了几个常用的Kafka Linux参数，涵盖了Kafka配置文件中的核心参数以及生产者和消费者相关的参数。通过合理设置这些参数，可以提高Kafka的性能和稳定性，满足不同场景下的需求。希望本文对你理解和使用Kafka有所帮助。

合集下载

linux usermod命令参数及用法详解(linux修改用户账号信息命令)

linux usermod命令参数及用法详解(linux修改用户账号信息命令)

linux usermod命令参数及用法详解(linux修改用户账号信息命令)

linux usermod命令参数及用法详解(linux修改用户账号信息命令)

点评：linux usermod命令参数及用法详解,linux修改用户账号信息命令,usermod可用来修改用户帐号的各项设定

-命 令：usermod 功能说明：修改用户帐号。 语 法：usermod [-LU][-c ][-d ][-e ][-f ][-g ][-G ][-l ][-s ][-u ][用户帐号]

补充说明：usermod可用来修改用户帐号的各项设定。 参

数： -c 修改用户帐号的备注文字。

-d登入目录> 修改用户登入时的目录。

-e 修改帐号的有效期限。

-f 修改在密码过期后多少天即关闭该帐号。

-g 修改用户所属的群组。

-G 修改用户所属的附加群组。

-l 修改用户帐号名称。

-L 锁定用户密码，使密码无效。 -s 修改用户登入后所使用的shell。

-u 修改用户ID。

-U 解除密码锁定。 usermod 不 允 许 你 改 变 正

在线 上 的 使 用 者 帐 号 名 称 。 当 usermod 用 来

改 变 user ID, 必 须 确 认 这 名 user 没 在 电 脑 上

执 行 任 何 程 序。 你 需 手 动 更 改 使 用 者 的

crontab 档 。 也 需 手 动 更 改 使 用 者 的 at 工 作

档 。 采 用 NIS server 须 在 server 上 更 动 相 关 的

NIS 设 定 。应用举例： 1、将 newuser2 添加到组 staff 中

# usermod -G staff newuser2

2、修改 newuser 的用户名为 newuser1

# usermod -l newuser1 newuser

嵌入式Linux添加液晶参数

嵌入式Linux添加液晶参数

广州致远电子股份有限公司 嵌入式Linux添加液晶参数 Application Note ARM嵌入式工业控制模块 产品应用笔记AN01010101 V1.00 Date: 2014/07/02 类别 内容 关键词 Linux、液晶参数 摘 要 添加、修改Linux液晶参数 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. i 嵌入式Linux添加液晶参数 修订历史 版本 日期 原因 V1.00 2014/07/02 创建文档 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. i 嵌入式Linux添加液晶参数 目 录 1. 适用范围..............................................................................................................1 2. 技术实现..............................................................................................................2 2.1 使用配套的TFT 4.3寸、LCD 7寸液晶................................................................2 2.2 使用其他的液晶屏...................................................................................................2 2.2.1 修改已有的液晶参数项.......................................................................................2 2.2.2 添加新的液晶参数项...........................................................................................3 3. 免责声明..............................................................................................................5 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. 1 嵌入式Linux添加液晶参数 1. 适用范围 此文档仅适用于广州周立功EPC-9600开发板及致远电子M3352核心板，且仅适用于Linux应用开发。 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. 2 嵌入式Linux添加液晶参数 2. 技术实现 2.1 使用配套的TFT 4.3寸、LCD 7寸液晶屏 EPC-9600产品默认配置的为TFT 4.3寸液晶参数。如果需要配置为LCD 7寸液晶显示（LCD_TM070RDH12_24B），只需要打开源码中\arch\arm\mach-omap2\board-m3352.c，找到程序代码，如程序清单1.1所示。注释TFT 4.3寸液晶参数，改为LCD 7寸液晶参数，如程序清单1.2所示。 程序清单1.1 lcdc_pdata的赋值（一） //lcdc_pdata = &TFC_S9700RTWV35TR_01B_pdata; lcdc_pdata = &TFT_HW480272_pdata; 程序清单1.2 lcdc_pdata的赋值（二） lcdc_pdata = &TFC_S9700RTWV35TR_01B_pdata; //lcdc_pdata = &TFT_HW480272_pdata; 保存并重新编译源码。 2.2 使用其他的液晶屏 2.2.1 修改已有的液晶参数项 打开源码中\arch\arm\mach-omap2\board-m3352.c，查看选择的液晶参数，如程序清单2.1所示。 程序清单2.1 lcdc_pdata的赋值（三） //lcdc_pdata = &TFC_S9700RTWV35TR_01B_pdata; lcdc_pdata = &TFT_HW480272_pdata; 此处默认选择的为TFT_HW480272。 打开源码中\drivers\video\da8xx-fb.c，查找“TFT_HW480272”，找到相应的参数，如程序清单2.2所示。 程序清单2.2 TFT 4.3寸液晶参数 [4] = { .name = "TFT_HW480272-0B-0A", .width = 480, // 屏幕x轴像素长度 .height = 272, // 屏幕y轴像素长度 .hfp = 8, // 水平前沿 .hbp = 43, // 水平后沿 .hsw = 4, // 水平同步信号脉冲宽度 .vfp = 4, // 垂直前沿 .vbp = 12, // 垂直后沿 .vsw = 10, // 垂直同步信号脉冲宽度 .pxl_clk = 9000000, // 像素时钟频率 .invert_pxl_clk = 0, }, 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. 3 嵌入式Linux添加液晶参数 修改参数值，保存并重新编译源码。 注意：.name = "TFT_HW480272-0B-0A",不能修改。 2.2.2 添加新的液晶参数项 （1）打开源码中\arch\arm\mach-omap2\board-m3352.c，找到结构体定义，如程序清单2.3所示。 程序清单2.3 TFT_HW480272_pdata结构体 struct da8xx_lcdc_platform_data TFT_HW480272_pdata = { .manu_name = "HuaWei", .controller_data = &lcd_cfg, .type = "TFT_HW480272-0B-0A", }; 在其下方添加新的结构体定义，如程序清单2.4所示。 程序清单2.4 LCD_NEW800600_pdata结构体 struct da8xx_lcdc_platform_data LCD_NEW800600_VGA_pdata = { .manu_name = "Your_Name", .controller_data = &lcd_cfg, .type = "LCD_NEW800600_VGA", //值与程序清单2.7中.name一致 }; （2）找到lcdc_pdata的赋值，如程序清单2.5所示。 程序清单2.5 lcdc_pdata的赋值（四） //lcdc_pdata = &TFC_S9700RTWV35TR_01B_pdata; lcdc_pdata = &TFT_HW480272_pdata; 将这两项都屏蔽掉，并在其下方添加一行新的赋值，如程序清单2.6所示。 程序清单2.6 lcdc_pdata的赋值（五） //lcdc_pdata = &TFC_S9700RTWV35TR_01B_pdata; //lcdc_pdata = &TFT_HW480272_pdata; lcdc_pdata = &LCD_NEW800600_VGA_pdata; （3）打开源码中\drivers\video\da8xx-fb.c，找到结构体数组known_lcd_panels[]，在下面添加新的液晶参数，如程序清单2.7所示。 程序清单2.7 LCD_NEW800600_VGA液晶参数 [5] = { .name = "LCD_NEW800600_VGA", .width = 800, // 屏幕x轴像素长度 .height = 600, // 屏幕y轴像素长度 .hfp = 20, // 水平前沿 .hbp = 200, // 水平后沿 .hsw = 1, // 水平同步信号脉冲宽度 .vfp = 4, // 垂直前沿 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. 4 嵌入式Linux添加液晶参数 .vbp = 12, // 垂直后沿 .vsw = 1, // 垂直同步信号脉冲宽度 .pxl_clk = 30000000, // 像素时钟频率 .invert_pxl_clk = 0, }, 程序清单2.7为添加的VGA_800x600液晶参数，仅供参考。这些参数值可以在对应液晶屏的数据手册中查阅。 添加、添加液晶参数之后，保存并重新编译源码。 注意：程序清单2.4中.type的值，必须要与程序清单2.7中.name的值保持一致。 广州致远电子股份有限公司 ARM嵌入式工业控制模块 产品应用笔记 ©2013 Guangzhou ZHIYUAN Electronics Stock Co., Ltd. 5 嵌入式Linux添加液晶参数 3. 免责声明

kafka3.0创建topic出现zookeeperisnotarecognizedoption

kafka3.0创建topic出现zookeeperisnotarecognizedoption

kafka3.0创建topic出现

zookeeperisnotarecognizedoption

在linux云服务器上搭建了⼀套kafka3.0集群，然后安装以前的创建topic指令，例如这样——

./kafka-topics.sh --bootstrap-server master:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic test

然⽽，却出现了这样⼀个异常提⽰：

Exception in thread "main" joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option

at joptsimple.OptionException.unrecognizedOption(OptionException.java:108)

at joptsimple.OptionParser.handleLongOptionToken(OptionParser.java:510)

at joptsimple.OptionParserState$2.handleArgument(OptionParserState.java:56)

at joptsimple.OptionParser.parse(OptionParser.java:396)

at kafka.admin.TopicCommand$TopicCommandOptions.(TopicCommand.scala:517)

at kafka.admin.TopicCommand$.main(TopicCommand.scala:47)

at kafka.admin.TopicCommand.main(TopicCommand.scala)

愣了⼀下，百度⼀番，才明⽩，原来新版本的kafka，已经不需要依赖zookeeper来创建topic，新版的kafka创建topic指令为下：

Linux内核参数说明

Linux内核参数说明

Linux内核参数说明

转载⾃：https:///tolimit/p/5065761.html 因个⼈能⼒有限，不能保证所有描述都正确，还请⼤家集思⼴益，有错误的地⽅欢迎⼤家留⾔指正，同时也欢迎⼤家留⾔对未标注项进⾏补偿，谢谢。 内核参数列表

kernel.acctacct功能⽤于系统记录进程信息，正常结束的进程都会在该⽂件尾添加对应的信息。异常结束是指重启或其它致命的系统问题，不能够记录永不停⽌的进程。该设置需要配置三个值，分别是：1.如果⽂件系统可⽤空间低于这个百分⽐值，则停⽌记录进程信息。2.如果⽂件系统可⽤空间⾼于这个百分⽐值，则开始记录进程信息。3.检查上⾯两个值的频率(以秒为单位)。kernel.auto_msgmni系统⾃动设置同时运⾏的消息队列个数。0：不⾃动1：⾃动kernel.blk_iopoll kernel.cad_pid接收Ctrl-alt-del操作的INT信号的进程的PIDkernel.cap_last_cap系统capabilities最⾼⽀持的权限等级。详见：/iamfy/archive/2012/09/20/pat-log kernel.core_pattern设置core⽂件保存位置或⽂件名,只有⽂件名时，则保存在应⽤程序运⾏的⽬录下

kernel.core_pipe_limit定义了可以有多少个并发的崩溃程序可以通过管道模式传递给指定的core信息收集程序。如果超过了指定数，则后续的程序将不会处理，只在内核⽇志中做记录。0是个特殊的值，当设置为0时，不限制并⾏捕捉崩溃的进程，但不会等待⽤户程序搜集完毕⽅才回收/proc/pid⽬录（就是说，崩溃程序的相关信息可能随时被回收，搜集的信息可能不全）。kernel.core_uses_pidCore⽂件的⽂件名是否添加应⽤程序pid做为扩展0：不添加1：添加kernel.ctrl-alt-del该值控制系统在接收到 ctrl+alt+delete 按键组合时如何反应：1：不捕获ctrl-alt-del，将系统类似于直接关闭电源0：捕获ctrl-alt-del，并将此信号传⾄cad_pid保存的PID号进程进⾏处理kernel.dmesg_restrict限制哪些⽤户可以查看syslog⽇志0：不限制1：只有特权⽤户能够查看kernel.domainname⽹络域名(重启失效)kernel.ftrace_dump_on_oops确定是否将ftrace的缓冲区的信息打印出来，是通过printk来打印的0：不打印1：在系统oops时，⾃动dump堆栈信息到输出终端kernel.hostname主机名(重启失效)kernel.hotplug该⽂件给出了当前系统⽀持热插拔(hotplug)时接收热插拔事件的程序的名字（包括路径）。kernel.hung_task_check_counthung_task检查的进程数量最⼤值hung_task⽤于检测⼀个进程是否在TASK_UNINTERRUPTIBLE状态过长，只有在等待IO的时候进程才会处于TASK_UNINTERRUPTIBLE状态，这个状态的进程内核不能够通过信号将其唤醒并杀死。kernel.hung_task_panic设置hung_task发⽣后是否引发panic1：触发0：不触发kernel.hung_task_timeout_secshung_task超时时间(以秒为单位)，当⼀个进程在TASK_UNINTERRUPTIBLE状态超过这个时间后，会发⽣⼀个hung_tasklinux会设置40%的可⽤内存⽤来做系统cache，当flush数据时这40%内存中的数据由于和IO同步问题导致超时。kernel.hung_task_warnings最⼤产⽣警告数量，当发⽣⼀次hung_task时会产⽣⼀次警告，但警告数量到达此值后之后的hung_task就不会发⽣警告kernel.kexec_load_disabled表⽰kexec_load系统调⽤是否被禁⽌，此系统调⽤⽤于kdump。当发⽣了⼀次kexec_load后，此值会⾃动设置为1。0：开启kexec_load系统调⽤1：禁⽌kexec_load系统调⽤kernel.keys.gc_delay kernel.keys.gc_delay kernel.keys.maxbytes kernel.keys.maxkeys kernel.keys.persistent_keyring_expiry kernel.keys.root_maxbytes kernel.keys.root_maxkeys