• 仅由空格组成的行将被忽略

• 以#开头的行被视为注释并被忽略

  # this is a comment

• 以-开头的行被视为独立于 JVM 版本而适用的 JVM 选项

  -Xmx2g

• 以数字开头、后跟 :- 的行被视为 JVM 选项，仅当 JVM 版本与数字匹配时才适用

  8:-Xmx2g

• 以数字开头、后跟 -: 的行被视为 JVM 选项，仅当 JVM 版本大于或等于该数字时才适用

  8-:-Xmx2g

• 以数字开头、后跟 -数字:的行被视为 JVM 选项，仅当 JVM 版本落在这两个数字的范围内时才适用

  8-9:-Xmx2g

• 所有其他行都被拒绝

export ES_JAVA_OPTS="$ES_JAVA_OPTS -Djava.io.tmpdir=/path/to/temp/dir"
./bin/elasticsearch

• Azure 存储库插件
• EC2 发现插件
• GCS 存储库插件
• S3 存储库插件

######## Server JSON ############################
appender.rolling.type = RollingFile 
appender.rolling.name = rolling
appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.json 
appender.rolling.layout.type = ESJsonLayout 
appender.rolling.layout.type_name = server 
appender.rolling.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.json.gz 
appender.rolling.policies.type = Policies
appender.rolling.policies.time.type = TimeBasedTriggeringPolicy 
appender.rolling.policies.time.interval = 1 
appender.rolling.policies.time.modulate = true 
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy 
appender.rolling.policies.size.size = 256MB 
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.fileIndex = nomax
appender.rolling.strategy.action.type = Delete 
appender.rolling.strategy.action.basepath = ${sys:es.logs.base_path}
appender.rolling.strategy.action.condition.type = IfFileName 
appender.rolling.strategy.action.condition.glob = ${sys:es.logs.cluster_name}-* 
appender.rolling.strategy.action.condition.nested_condition.type = IfAccumulatedFileSize 
appender.rolling.strategy.action.condition.nested_condition.exceeds = 2GB 
################################################

appender.rolling.type配置RollingFile appender
appender.rolling.fileName配置日志文件名
appender.rolling.layout.type配置layout类型为JSON

######## Server -  old style pattern ###########
appender.rolling_old.type = RollingFile
appender.rolling_old.name = rolling_old
appender.rolling_old.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}_server.log 
appender.rolling_old.layout.type = PatternLayout
appender.rolling_old.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] [%node_name]%marker %m%n
appender.rolling_old.filePattern = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}-%d{yyyy-MM-dd}-%i.old_log.gz

1. 通过命令行：（-E <name of logging hierarchy>=<level>例如， -E logger.org.elasticsearch.discovery=debug）。当在单个节点上临时调试问题时（例如，启动问题或开发过程中出现问题），这是最合适的。
2. 通过elasticsearch.yml：（<name of logging hierarchy>: <level>例如， logger.org.elasticsearch.discovery: debug）。当临时调试问题但不通过命令行（例如，通过服务）启动 Elasticsearch 或希望在更持久的基础上调整日志记录级别时，这是最合适的。

3. 通过集群设置：

   PUT /_cluster/settings
   {
     "transient": {
       "<name of logging hierarchy>": "<level>"
     }
   }

   例如：

   PUT /_cluster/settings
   {
     "transient": {
       "logger.org.elasticsearch.discovery": "DEBUG"
     }
   }

   1. 当需要在正在运行的集群上动态调整日志级别时，这是最合适的。

4. 通过log4j2.properties:

   logger.<unique_identifier>.name = <name of logging hierarchy>
   logger.<unique_identifier>.level = <level>

         列如        

logger.discovery.name = org.elasticsearch.discovery
logger.discovery.level = debug

        当需要对记录器进行细粒度控制时，这是最合适的（例如，想要将记录器发送到另一个文件，或以不同方式管理记录器；这是一个罕见的用例）。

弃用日志记录

        除了常规日志记录之外，Elasticsearch 还允许启用已弃用操作的日志记录。例如，这允许及早确定将来是否需要迁移某些功能。默认情况下，弃用日志记录在 WARN 级别，该级别将发出所有弃用日志消息。

logger.deprecation.level = warn

这将在配置的日志目录中创建每日滚动弃用日志文件。定期检查此文件，尤其是当打算升级到新的主要版本时。

默认日志记录配置已将弃用日志的滚动策略设置为在 1 GB 后滚动和压缩，并最多保留五个日志文件（四个滚动日志和一个活动日志）。

可以通过如下所示，在文件config/log4j2.properties中将弃用日志级别设置为error来禁用它：

logger.deprecation.name = org.elasticsearch.deprecation
logger.deprecation.level = error

如果HTTP  header中使用了X-Opaque-Id ，则可确定是什么触发了已弃用的功能。弃用JSON日志的X-Opaque-ID字段中包含了用户 ID。

{
  "type": "deprecation",
  "timestamp": "2019-08-30T12:07:07,126+02:00",
  "level": "WARN",
  "component": "o.e.d.r.a.a.i.RestCreateIndexAction",
  "cluster.name": "distribution_run",
  "node.name": "node-0",
  "message": "[types removal] Using include_type_name in create index requests is deprecated. The parameter will be removed in the next major version.",
  "x-opaque-id": "MY_USER_ID",
  "cluster.uuid": "Aq-c-PAeQiK3tfBYtig9Bw",
  "node.id": "D7fUYfnfTLa2D7y-xw6tZg"
}

JSON 日志格式

为了更轻松地解析 Elasticsearch 日志，日志现在以 JSON 格式打印。这是由 Log4J 布局属性配置的appender.rolling.layout.type = ESJsonLayout。这种布局需要设置一个属性type_name，用于在解析时区分日志流。

appender.rolling.layout.type = ESJsonLayout
appender.rolling.layout.type_name = server

每行包含一个 通过ESJsonLayout配置属性的JSON 文档。有关更多详细信息，请参阅此类javadoc。如果 JSON 文档包含异常，它将被打印在多行上。第一行将包含常规属性，后续行将包含格式化为 JSON 数组的堆栈跟踪。

NOTE

仍然可以使用自己的自定义布局。通过设置appender.rolling.layout.type属性可设置不同的布局。请参阅下面的示例：

可以使用以下设置控制事件和有关记录内容的其他一些信息：

这些设置会影响忽略策略 ，这些策略可以对将哪些审计事件打印到日志文件进行细粒度控制。具有相同策略名称的所有设置组合形成一个策略。如果某个事件与特定策略的所有条件匹配，则该事件将被忽略且不打印。

ccr.indices.recovery.max_bytes_per_sec(动态)

限制每个节点上的总入站和出站远程恢复流量。由于此限制适用于每个节点，但可能有许多节点同时执行远程恢复，因此远程恢复字节总数可能远高于此限制。如果将此限制设置得太高，那么正在进行的远程恢复可能会消耗过多的带宽（或其他资源），这可能会破坏集群的稳定性。leader和follows集群都使用此设置。例如，如果在leader上设置为20mb，即使follows正在请求并且可以接收60mb/s，leader也只会以20mb/s发送给follows。默认为40mb.

ccr.indices.recovery.max_concurrent_file_chunks(动态)

控制每次恢复可以并行发送的文件块请求数。由于多个远程恢复可能已经并行运行，因此增加此专家级设置可能仅在单个分片的远程恢复未达到配置的总入站和出站远程恢复流量的情况下有所帮助ccr.indices.recovery.max_bytes_per_sec。默认为5. 最大允许值为10。

ccr.indices.recovery.chunk_size(动态)

控制文件传输期间跟随者请求的块大小。默认为 1mb.

ccr.indices.recovery.recovery_activity_timeout(动态)

控制恢复活动的超时时间。此超时主要适用于leader集群。在恢复过程中，leader 集群必须打开内存中的资源来向follower 提供数据。如果leader在这段时间内没有收到follower的recovery请求，就会关闭资源。默认为 60 秒。

ccr.indices.recovery.internal_action_timeout(动态)

控制远程恢复过程中各个网络请求的超时时间。单个操作超时可能会导致恢复失败。默认为 60 秒。

Elasticsearch 转换设置

xpack.transform.enabled

设置为true（默认）以在节点上启用转换。

如果在elasticsearch.yml中配置为false，则在节点上禁用转换 API。此时，节点无法启动或管理转换或接收与转换 API 相关的传输（内部）通信请求。

xpack.transform.num_transform_failure_retries(动态)

转换遇到非致命错误时重试的次数。一旦重试次数用完，转换任务将被标记为failed。默认值为10，有效最小值0 ，最大值为100。如果转换已在运行，则必须重新启动它才能使用更改后的设置。

Elasticsearch 中的索引生命周期管理设置

这些是可用于配置索引生命周期管理(ILM) 的设置。

重要

机器学习使用 SSE4.2 指令，因此只能在 CPU 支持SSE4.2 的机器上工作。如果在旧硬件上运行 Elasticsearch，则必须禁用机器学习（通过设置 xpack.ml.enabled 为 false）。

node.ml

        设置为true（默认）将节点标识为机器学习节点。

        如果在elasticsearch.yml中设置为false，则节点无法运行作业。如果设置为 true但是xpack.ml.enabled设置为false，node.ml则忽略该设置并且节点无法运行作业。如果要运行作业，集群中必须至少有一个机器学习节点。

xpack.ml.inference_model.cache_size

        允许的最大推理缓存大小。推理缓存存在于每个摄取节点上的 JVM 堆中。缓存为inference处理器提供更快的处理时间 。该值可以是静态字节大小的值（即“2gb”）或总分配堆的百分比。默认值为“40%”。

xpack.ml.inference_model.time_to_live

        推理模型缓存中模型的生存时间 (TTL)。TTL 是根据上次访问计算得出的。所述inference处理器尝试从高速缓存模型加载。如果inference处理器在 TTL 期间没有收到任何文档，则引用模型将被标记为从缓存中逐出。如果稍后处理文档，模型将再次加载到缓存中。默认为5m.

xpack.ml.max_inference_processors(动态)

  inference所有摄取管道中允许 的类型处理器总数。一旦达到限制，inference就不允许向管道添加处理器。默认为50.

xpack.ml.max_machine_memory_percent(动态)

        机器学习可用于运行分析过程的机器内存的最大百分比。（这些进程独立于 Elasticsearch JVM。）默认为 30%。该限制基于机器的总内存，而不是当前的可用内存。如果这样做会导致机器学习作业的估计内存使用量超过限制，则不会将作业分配给节点。

xpack.ml.max_model_memory_limit(动态)

  model_memory_limit可以为该节点上的任何作业设置 的最大属性值。如果尝试创建具有大于model_memory_limit此设置值的属性值的作业，则会发生错误。更新此设置时，现有作业不受影响。有关该model_memory_limit属性的更多信息 ，请参阅`analysis_limits`。

xpack.ml.max_open_jobs(动态)

        一个节点上可以同时运行的最大作业数。默认为 20. 在这种情况下，作业包括异常检测作业和数据框分析作业。最大作业数也受内存使用情况的限制。因此，如果作业的估计内存使用量高于允许值，则节点上运行的作业将减少。在 7.1 版之前，此设置是每个节点的非动态设置。它在 7.1 版中成为集群范围的动态设置。因此，只有在集群中的每个节点都运行 7.1 或更高版本后，才会使用节点启动后对其值的更改。最大允许值为512。

xpack.ml.node_concurrent_job_allocations(动态)

  每个节点上可以同时处于opening状态的最大作业数。通常，作业在转移到open状态之前会在此状态下花费少量时间。在打开时恢复大量模型的作业在opening状态中肯定会花费更多时间。默认为2.

xpack.ml.enable_config_migration(动态)

        预留配置。

xpack.ml.max_anomaly_records(动态)

        每个桶输出的最大记录数。默认值为 500。

xpack.ml.max_lazy_ml_nodes(动态)

        懒启动机器学习节点的数量。在第一个机器学习作业打开之前不需要 ML 节点的情况下很有用。它默认为0并且有一个最大可接受的值3。如果 ML 节点的当前数量>=此设置，则假定没有更多可用的惰性节点，因为已经提供了所需数量的节点。当使用此设置打开作业>0并且没有节点可以接受该作业时，该作业将保持该OPENING状态，直到将新的 ML 节点添加到集群并将作业分配为在该节点上运行。

xpack.monitoring.enabled

设置为true（默认）以在节点上为 Elasticsearch 启用 Elasticsearch X-Pack 监控。

NOTE

要启用数据收集，还必须设置xpack.monitoring.collection.enabled 为true。其默认值为false。

xpack.monitoring.collection.enabled(动态)

        [ 6.3.0 ] 设置为true启用监控数据的收集。当此设置为false（默认）时，不会收集 Elasticsearch 监控数据，并忽略来自其他来源（例如 Kibana、Beats 和 Logstash）的所有监控数据。

xpack.monitoring.collection.interval(动态)

        从 7.0.0 开始，不再支持设置为-1以禁用数据收集。 [ 6.3.0 ]

        控制收集数据样本的频率。默认为10s. 如果修改收集间隔，请将kibana.yml中xpack.monitoring.min_interval_seconds 选项设置为相同的值。

xpack.monitoring.elasticsearch.collection.enabled(动态)

        控制是否应收集有关 Elasticsearch 集群的统计信息。默认为true. 这与 xpack.monitoring.collection.enabled 不同，它允许启用或禁用所有监控收集。但是，此设置只是禁用 Elasticsearch 数据的收集，同时仍允许其他数据（例如 Kibana、Logstash、Beats 或 APM 服务器监控数据）通过此集群。

xpack.monitoring.collection.cluster.stats.timeout(动态)

        ( time value ) 收集集群统计信息的超时时间。默认为10s.

xpack.monitoring.collection.node.stats.timeout(动态)

        ( time value ) 收集节点统计信息的超时时间。默认为10s.

xpack.monitoring.collection.indices(动态)

        控制 Monitoring 从哪些索引收集数据。默认为所有索引。将索引名称指定为逗号分隔的列表，例如test1,test2,test3。名称可以包括通配符，例如test*。可以通过添加-来明确排除索引。例如test*,-test3将监视所有以test开头的索引，除了test3。 像 .security* 或 .kibana* 这样的系统索引总是以 .开头，通常应该被监控。考虑添加.*到索引列表中以确保监控系统索引。例如.*,test*,-test3

xpack.monitoring.collection.index.stats.timeout(动态)

        ( time value ) 收集索引统计信息的超时时间。默认为10s.

xpack.monitoring.collection.index.recovery.active_only(动态)

        控制是否收集所有回收。设置为true仅收集活动恢复。默认为false.

xpack.monitoring.collection.index.recovery.timeout(动态)

        ( time value ) 收集恢复信息的超时时间。默认为10s.

xpack.monitoring.history.duration(动态)

        ( time value ) 保留期限，超过此期限，Monitoring 导出器创建的索引将被自动删除。默认为7d（7 天）。

        此设置的最小值为1d（1 天）以确保正在监视某些内容，并且无法禁用它。

重要

此设置目前仅影响local-type 导出器。使用http导出器创建的索引不会自动删除。

type

        本地导出器的值必须始终为local并且是必需的。

use_ingest

        是否为每个批量请求向集群和管道处理器提供占位符管道。默认值为true。如果禁用，则意味着它不会使用管道，这意味着未来的版本无法自动升级批量请求以适应未来的需求。

cluster_alerts.management.enabled

        是否为此集群创建集群警报。默认值为true。要使用此功能，必须启用 Watcher。如果有基本许可证，则不会显示集群警报。

        基于数组的标头发送n次，n是数组的大小。Content-Type 和Content-Length无法设置。监控代理创建的任何header都将覆盖此处定义的任何内容。

index.name.time_format

        默认情况下，用于更改每日监控索引的默认日期后缀的机制。默认值为yyyy.MM.dd，这就是每天创建索引的原因。

use_ingest

        是否为每个批量请求向监控集群和管道处理器提供占位符管道。默认值为true。如果禁用，则意味着它不会使用管道，这意味着未来的版本无法自动升级批量请求以适应未来的需求。

cluster_alerts.management.enabled

        是否为此集群创建集群警报。默认值为true。要使用此功能，必须启用 Watcher。如果有基本许可证，则不会显示集群警报。

cluster_alerts.management.blacklist

        防止创建特定的集群警报。它还删除当前集群中已存在的任何适用监视。

可以将以下任何手表标识符添加到黑名单：

例如：["elasticsearch_version_mismatch","xpack_license_expiration"]。

可以配置以下 TLS/SSL 设置。

• full，它验证提供的证书是否由受信任的机构 (CA) 签名，并验证服务器的主机名（或 IP 地址）是否与证书中标识的名称匹配。
• certificate，它验证提供的证书是否由受信任的机构 (CA) 签名，但不执行任何主机名验证。

• none，不验证服务器的证书。此模式禁用了 SSL/TLS 的许多安全优势，只有在经过非常仔细的考虑后才能使用。它主要用作尝试解决 TLS 错误时的临时诊断机制；强烈建议不要在生产集群上使用它。

  默认值为full。

        以下设置用于指定在通过 SSL/TLS 连接进行通信时应使用的私钥、证书和可信证书。私钥和证书是可选的，如果服务器需要客户端身份验证进行 PKI 身份验证，再使用它们。

使用 PEM 编码文件时，请使用以下设置：