背景 在实际的生产中的大量实践后我们会发现即使Elasticsearch官方宣称filebeat为轻量级采集agent，但是如果一个性能较好的机器上同时部署几十个应用，也就意味着有几十个应用在源源不断的产生大量日志，这种情况下无论filebeat再怎么轻量也会不堪重负，从而成为cpu负载的No.1。 解决 解决起来很简单，只要在主配置filebeat.yml中加入 max_procs: 2即可(这里假定机器是4核的)，由于yaml这种文件格式极易出错引起不适，我就把完整的配置贴出来一下，供大家参阅！
背景 经过在生产环境的大规模使用之后发现如果使用Elasticsearch 6.x的一些默认配置的话，尤其是number_of_shards默认为5，如果索引按照天生成，日积月累到几万后，集群就会频繁GC，最终导致ES的某些REST接口不可用。 最新的ES 7.x已经将number_of_shards默认为1了，所以如果你们的生产环境如果全面升级到了7.x的话则可以忽略本篇博客，但是如果因为各种原因你们的es集群还在使用6.x的话，那么就要做一些优化了。 优化 我们打开Kibana的面板后，来到Management…
背景 我们都知道filebeat在采集的时候可以在主配置里面进行设置后就会采集上主机上的hostname作为一个字段，可是实际生产环境经常会遇到一个集群中的节点的hostname都是一样的，如果恰巧不方便修改hostname或者就想知道具体是哪个ip的机器采集上来的日志该怎么办呢，其实很好办我们只需要在每个应用的filebeat配置中写死一个额外的变量如hostip即可。 添加额外的变量有两种方式，其中一种方式经常会导致elasticsearch采集上来的每个hit里面的字段缺少你要额外加的这个变量，但是又不是每条…
运行环境 Centos7 Docker version 20.10.3, build 48d30b5 闲言少叙 注意全程root用户操作， 安装Docker， 配置docker国内镜像并拉取bitwardenrs镜像， 如果在你的服务器上配置了上述docker镜像后docker pull依然很慢，可以试试下面几个镜像源： 网易 http://hub-mirror.c.163.com ustc https://docker.mirrors.ustc.edu.cn 中国科技大学 https://docker.mirro…
我们的网站经常会因为各种稀奇古怪的原因要闭站一段时间，那如何告诉优雅的谷歌爬虫而不至于影响到SEO呢？ 谷歌的Google 搜索中心博客中的这篇文章告诉了我们答案，其实核心就是要返回一个503的状态码和增加一个叫‘Retry-After’的response header, 这种方式在php中的实现可能如下所示： 那如果你的网站后端用的不是PHP而是像本站用的是Python呢，不过所幸现在大多网站的前端流量由Nginx来承载了，那么下面就展示一下在Nginx中怎么来实现上述的核心。 首先我们先…
最近突然想起我的MacBook Pro买了3年多了，键盘经常不灵敏打字重复，是时候享受一下Apple的键盘更换政策了，但又怕激活日期和我的购买日期不一致，于是萌生了查一下激活日期的想法， 可是不论谷歌还是百度的中文世界给我的回复都是查询保修日期再减去使用时长来推算出激活日期，可正当我如此照做后，却发现了不管怎么弄都会出现下面的蓝色感叹号，一番查找，有说是苹果双休日例行维护，正常现象，也有说是产品过保了， 其实是因为查询方式不对导致的，正确的应该是应该登陆Apple的mysupport页面，如下： 然后…
子舒博客