Elasticsearch 6 重要参数配置 | 您所在的位置:网站首页 › es集群配置参数 › Elasticsearch 6 重要参数配置 |
采用zip或tar.gz的二进制包方式安装的ES,需要配置一系列参数,通过阅读官方文档了解到其中重要参数的配置及其说,下面将逐步进行了解。 一、 ElasticSearch参数配置 1. data和logs路径配置 如果使用.zip或.tar.gz归档文件,则数据和日志目录是$ES_HOME的子文件夹。如果这些重要的文件夹保留在它们的默认位置,则在将Elasticsearch升级到新版本时,删除它们的风险很高,建议进行修改 path: logs: /var/log/elasticsearch data: /var/data/elasticsearch其中 data目录可以设置多个路径 path: data: - /mnt/elasticsearch_1 - /mnt/elasticsearch_2 - /mnt/elasticsearch_32. 集群名称 默认的集群名称均为elasticsearch,如有多套集群,则必须修改 cluster.name: syslogs-dev3. 节点名称 默认情况下,Elasticsearch将使用随机生成的UUID的前七个字符作为节点id。请注意,节点id是持久化的,在节点重启时不会更改,因此默认的节点名称也不会更改。建议配置一个更有意义的名称,它还具有在重新启动节点后持久化的优点。 node.name: syslogs-data-2或者用主机名(hostname)作为节点名 node.name: prod-data-24. network.host 默认情况下,Elasticsearch只绑定到环回地址,例如。127.0.0.1 (::1)。但此配置只能在同一服务器上运行单个节点。为了在其他服务器上形成具有节点的集群,节点需要绑定到一个非环回地址。虽然有许多网络设置,但通常只需要配置network.host network.host: 192.168.1.105. 发现方式设置 Elasticsearch使用名为“Zen discovery”的自定义发现实现节点到节点的集群选择。生产上,应该配置两个重要的发现设置: discovery.zen.ping.unicast.hosts: - 192.168.1.10:9300 - 192.168.1.11 - seeds.mydomain.com discovery.zen.minimum_master_nodes: 2其中,discovery.zen.ping.unicast.hosts 可以设置为ip:port 、ip(使用默认端口时)、域名(可解析的)其中任意一种均可; discovery.zen.minimum_master_nodes 设置的值建议设置为 (master_eligible_nodes / 2) + 1 6. 堆大小设置 默认情况下,Elasticsearch告诉JVM使用大小为最小和最大1 GB的堆。在 jvm.options 文件里 通过Xms(最小堆大小)和Xmx(最大堆大小)设置的选项。通常设置规则如下: a)让最小堆大小(Xms)和最大堆大小(Xmx)相等; b)Elasticsearch可用的堆越多,用于缓存的内存就越多。但是请注意,过多的堆会导致长时间的垃圾收集暂停; c)将Xmx设置为不超过物理RAM的50%,以确保有足够的物理RAM留给内核文件系统缓存; d)不要将Xmx设置为JVM用于压缩对象指针的截止值之上(压缩的oops);确切的界限有所不同,但接近32 GB。例如: -Xms2g-Xmx2g还可以通过环境变量设置堆大小,例如,通过ES_JAVA_OPTS设置这些值 ES_JAVA_OPTS="-Xms2g -Xmx2g" ./bin/elasticsearchES_JAVA_OPTS="-Xms4000m -Xmx4000m" ./bin/elasticsearch7. JVM堆转储路径 可以在 jvm.options 中的 -XX:HeapDumpPath=...进行配置,如果指定一个目录,JVM将根据运行实例的PID为堆转储生成一个文件名。如果指定一个固定的文件名而不是目录,那么当JVM需要对内存不足异常执行堆转储时,该文件必须不存在,否则堆转储将失败。 8. GC 日志 默认情况下,Elasticsearch启用GC日志。这些都是在jvm中配置的。选项并默认为与Elasticsearch日志相同的默认位置。默认配置每64 MB旋转一次日志,最多可以消耗2 GB的磁盘空间 9. temp路径 默认情况下,Elasticsearch使用一个私有临时目录,启动脚本在系统临时目录下创建该临时目录,默认情况为/tmp。但如果最近没有访问/tmp中的文件和目录,系统实用程序将清除这些文件和目录。但是,如果您打算在Linux上长时间运行.tar.gz发行版,那么应该考虑为Elasticsearch创建一个专用的临时目录,而不是在清除旧文件和目录的路径下。这个目录应该设置权限,这样只有运行Elasticsearch的用户才能访问它。然后,在开始Elasticsearch之前,将$ES_TMPDIR环境变量设置为指向它 10. JVM致命错误日志 默认情况下,Elasticsearch配置JVM将致命错误日志写入默认日志目录/var/log/elasticsearch。如果此路径不适合接收日志,则应修改jvm.options 条目-XX:ErrorFile=… 二、 重要的系统参数配置 1 . ulimit设置 建议设置为65535,修改的2种方式如下: a) 修改/etc/security/limits.conf.文件 elasticsearch - nofile 65536b) root用户直接命令行修改 sudo suulimit -n 65536su elasticsearch2. 禁用swapping a) 可以通过关闭swap方式防止使用swap,例如临时运行命令行处理 sudo swapoff -a要永久禁用它,您需要编辑/etc/fstab文件并注释掉包含swap的任何行 b) Linux系统上的另一个方式修改vm.swappiness为1。这减少了内核交换的趋势,并且在正常情况下不应该导致交换,同时仍然允许整个系统在紧急情况下交换。 c)在Linux/Unix系统上使用mlockall,或者在Windows上使用VirtualLock,尝试将进程地址空间锁定到RAM中,防止任何Elasticsearch内存被交换出去,这可以通过在config/elasticsearch.yml文件中配置一行来实现 bootstrap.memory_lock: true3. 系统控制文件设置 Elasticsearch默认使用mmapfs目录存储索引。默认操作系统对mmap计数的限制可能太低,这可能导致内存异常。修改方式如下: a) 修改 /etc/sysctl.conf文件 系统控制文件是管理系统中的各种资源控制的配置文件。ES需要开辟一个65536字节以上空间的虚拟内存。Linux默认不允许任何用户和应用直接开辟虚拟内存。 新增内容为: vm.max_map_count=262144使用命令: sysctl -p 让系统控制权限配置生效。 b) root用户下命令行方式临时设置 sysctl -w vm.max_map_count=2621444. 线程数设置 Elasticsearch为不同类型的操作使用不同的线程池。需要确保Elasticsearch用户可以创建的线程数至少为4096。可以用如下方式设置: 修改/etc/security/limits.d/90-nproc.conf 设置为 4096 * soft nproc 4096root soft nproc unlimited5. DNS cache设置 在 JVM options中设置 es.networkaddress.cache.ttl 和 es.networkaddress.cache.negative.ttl,默认为60s和10s 想进一步沟通或想了解其他文章的同学可以关注我 |
CopyRight 2018-2019 实验室设备网 版权所有 |