爱分享

日常nginx的access日志字段解释

Fri, 09 Jan 2026 20:33:47 +0800

在日常工作中，常需要收集nginx的access，便于后续分析稳定性与性能等问题，对此收集哪个nginx的日志的字段就比较重要了，

今天分享一例nginx日志在实际工作中的常用的几个字段，并简要的说明它们的作用，详情如下：

多数情况下使用beat来收集，便于后面切割与识别会对日志的每段进行分隔，本实例则适用 | 来分隔

使用nginx默认日志收集，日志格式定义：

log_format main '$time_local|$remote_addr|$upstream_addr|\

$remote_user|$request_method|$uri|$upstream_response_time|\

$request_time|$status|$body_bytes_sent|$http_referer|\

$http_user_agent|$http_x_forwarded_for|$http_host';

各字段间的 | 符号用于日志收集后使用logstash切割时的分格符

相关字段含义如下：
         $time_local           日志产生的时间
         $remote_addr       客户端或是公网代理IP
         $upstream_addr    反向代理IP
         $remote_user        远程用户信息
         $request_method  GET或POST等请求方式
         $uri                         除域名外的URL部份
         $upstream_response_time  反向代理消耗时间
         $request_time         约等于单次请求耗时
         $status                    http状态
         $body_bytes_sent   单次请求数据包大小
         $http_referer           请求来源
         $http_user_agent     UA
         $http_x_forwarded_for  转发地址
         $http_host';              本次请求的地址，如域名

运维规范与标准

Wed, 07 Jan 2026 20:17:52 +0800

在做运维自动化时标准与规范往往是先行者，因为面对数百上千台设备时，不规范与标准化时，日常的工作一定是非常糟糕的事情，效率一定很难提升，因此建议运维体系时，标准与规范一定是第一步要走的工作，今天给大家节选一部份日常规范的运维相关规范，仅供参考：

约定规范
操作系统
1、操作系统版本约定    Centos 7.9_2009 64位
2、逻辑分区统一使用  LVM ，便于后续磁盘横向扩展使用
3、系统盘   100GB
4、其余分区根据实际情况再定
5、操作系统最小化安装选  base  即可

主机名定义
云主机、虚拟机、物理主机等标识规则一致，主机名作为运维管理对象标识，在其生命周期内不变
命名规则为：项目名（或分公司名）+角色(服务标识)+IP后两
列如：BJ-K8sMaster-1-13
含义：北京-k8s的master节点-IP是172.10.1.13

#修改命令   hostnamectl  set-hostname    <newhostname>

系统目录规划
1、/data/soft      软件安装包，临时文件统一存放目录
2、/data/back/{应用或数据名称目录}/**-日期-tar.gz（或zip）    备份目录与文件名

软件部署
1、编译或非二进制安装目录统一存放  /usr/local/软件名-版本号，rpm默认即可  如 /usr/local/kafka-1.2.2
有特殊目录规划的除外
2、关于数据与日志统一存放  /data/软件名-版本号/{logs,data}     如：/data/kafka-1.2.2/logs   与  /data/kafka-1.2.2/data
      在SAAS环境中若操作系统盘较小，也可将软件安装于/data目录下，目录规范同数据与日志目录规范
有特殊目录规划的除外
3、软件部署一非使用部署帐号进行运行，若有特殊情况需使用root帐号运行，需在部署后统一反馈
4、软件服务启动方式统一使用系统服务，在操作系统重启时可随操作系统启动而自动拉启，如  /usr/lib/systemd/system/kafka.service
5、个别服务无法做成系统服务时，请以脚本或是启动命令的方式统一存放在 /etc/rc.d/rc.local 文件中，
      注意该文件默认没有执行权限，需加  chmod +x  /etc/rc.d/rc.local

时间同步
从2023年开始，所有项目只安装两台ntp为server，其余主机将统一采用NTP定时同步的方式进行时间同步，方法是增加一条定时任务，细节如下：
*/30 * * * * /usr/sbin/ntpdate 172.10.1.26 >/dev/null 2>&1    # NTP的server 以实例项目为准
日志保存规则
1、应用日志，默认时效为 90天，客户有实际需求再根据实际需求修改；
2、APM默认为7天，现配置文件已改为15天，需有特殊需求，请在配置文件中修改。
应用启动
应用启动现仅认同两种方式
1、使用系统服务方式，启动方式   systemctl  start  ***服务
2、若个别服务无法做成系统服务，或是有特殊要求时，请在 /etc/rc.local 下新增一行启动命令        
注意：centos 7默认未给rc.local执行权限，若在该文件增加启动命令时，请切记执行一条命令   chmod +x /etc/rc.local

私有镜像库Harbor部署

Wed, 07 Jan 2026 20:09:07 +0800

Harbor是一个开源的企业级 Docker 镜像仓库管理工具，由 VMware 公司（现为 Broadcom 旗下）创建并开源。它提供了镜像的存储、分发、安全和漏洞扫描等企业级功能，常用于 Kubernetes 和云原生环境中的镜像管理。

今天主要介绍其基本安装，安装过程较为简单，细节如下：

### 下载官方离线包
wget https://github.com/goharbor/harbor/releases/download/v2.1.3/harbor-offline-installer-v2.1.3.tgz
 
### 下载docker-compost
wget https://github.com/docker/compose/releases/download/v2.6.1/docker-compose-linux-x86_64
 
### 解压安装包并将目录放置于指定位置
tar xzvf harbor-offline-installer-v2.1.3.tgz
mv harbor /data
mv docker-compose-linux-x86_64 /usr/local/sbin/docker-compose
chmod +x /usr/local/sbin/docker-compose
### 创建日志与数据目录，修改配置文件
mkdir -p /data/harbor/{data,log}
 
cd /data/harbor
cp harbor.yml.tmpl harbor.yml
### 根据实际情况进行更改，hostname指定域名或IP，修改http port，注释掉https内容，更改harbor管理员及数据库密码，更改数据与日志存储位置。
vim harbor.yml
hostname: 192.168.40.15
http:
  # port for http, default is 80. If https enabled, this port will redirect to https port
  port: 8888
 
#https:
  # https port for harbor, default is 443
#  port: 443
  # The path of cert and key files for nginx
#  certificate: /your/certificate/path
#  private_key: /your/private/key/path
 
harbor_admin_password: harbor管理员密码
 
database:
  # The password for the root user of Harbor DB. Change this before any production use.
  password: 数据库密码
 
data_volume: /data/harbor/data
 
location: /data/harbor/log
 
### 安装harbor，安装完成后通过之前配置的地址及端口可以访问harbor web地址。
./install.sh --with-trivy --with-chartmuseum

安装成功后通过管理员可以登录harbor web进行配置。按上面安装的地址来说，其web访问地址是

192.168.40.15:8888 
  
用户名是admin  密码则是你配置文件中定义的

日常如果harbor异常或是出现假死等情况时，可以使用如下方式进行处理

### harbor是由docker-compose维护，需要进入harbor安装目录执行命令
cd /data/harbor
### 查看harbor组件状态
docker-compose ps
NAME                COMMAND                  SERVICE             STATUS              PORTS
chartmuseum         "./docker-entrypoint…"   chartmuseum         running (healthy)  
harbor-core         "/harbor/entrypoint.…"   core                running (healthy)  
harbor-db           "/docker-entrypoint.…"   postgresql          running (healthy)  
harbor-jobservice   "/harbor/entrypoint.…"   jobservice          running (healthy)  
harbor-log          "/bin/sh -c /usr/loc…"   log                 running (healthy)   127.0.0.1:1514->10514/tcp
harbor-portal       "nginx -g 'daemon of…"   portal              running (healthy)  
nginx               "nginx -g 'daemon of…"   proxy               running (healthy)   0.0.0.0:8888->8080/tcp, :::8888->8080/tcp
redis               "redis-server /etc/r…"   redis               running (healthy)  
registry            "/home/harbor/entryp…"   registry            running (healthy)  
registryctl         "/home/harbor/start.…"   registryctl         running (healthy)  
trivy-adapter       "/home/scanner/entry…"   trivy-adapter       running (healthy)  
 
### 停止harbor
docker-compose stop
 
 
### 启动harbor
docker-compose start
 
### 重启harbor
docker-compose restart

grafana+Promtail +loki轻量化日志系统的部署

Fri, 26 Dec 2025 15:08:50 +0800

很长一段时间内流行的日志收集与管理系统肯定ELK或EFK，因为它可以定义日志的切割与展现方式，存储时效等。它虽然好用，但由于它们对系统资源占用较多，往往被技术人员诟病。为此新的一套日志管系统日志 GPL诞生了，它因轻量，易上手被人们采用，今天就来给大家分享下它的部署与简单使用；

一、部署：

GPL是由grafana、promail、loki组成，在k8s环境中其工作路径如下：

Kubernetes Pods → Promtail (日志收集) → Loki (日志存储) → Grafana (展示/告警)

1、Grafana 安装，其安装较为简单，只需要官网下载 RPM包，进行直接安装即可

下载地址：https://grafana.com/grafana/download 选择自己计划安装的版本即可。

安装则是以centos系统 rpm -ivh grafana***.rpm 安装后一般不需要修改什么信息，默认即可，其默认帐号密码为 admin/admin

2、Promtail 其负责对每个k8s节点上所有pod日志的收集，因此pod类型为 DaemonSet。

其k8s相关的yaml文件见附件；

prom.zip

注意事项一：在国内很难直接下载到promtail的镜像，此时用yaml安装时，需提前下好相关镜像包，否则易安装失败。

注意事项二：monitoring.coreos.com_servicemonitors默认未安装，需要执行如下步骤才可

下载安装文件 wget https://raw.githubusercontent.com/prometheus-operator/prometheus-operator/v0.87.1/example/prometheus-operator-crd/monitoring.coreos.com_servicemonitors.yaml

安装 kubectl apply -f monitoring.coreos.com_servicemonitors.yaml

3、loki安装可选用容器，k8s或非容器化部署等。本次选用容器部署。

有一注意事项，在国内很难直接下载到loki的镜像，也需要提前下好相关镜像包，否则安装失败。

容器启动命令 docker run -d --name=loki -p 3000:3100 -v /data/loki-data:/loki 10.38.80.53:8888/energyot/loki:latest -config.file=/etc/loki/local-config.yaml

二、使用：

首次登陆garafa时，其要求修改默认密码，密码最好是修改复杂一些，防止信息的泄露。使用步骤如下：

1、登陆grafana后，在数据源处，将loki进行绑定

2、在仪表板外点新建仪表版，然后选择数据源时选择loki，该名字是在绑定数据源时定义的。

3、数据查询

我们多数情况下会选择 code方式进行查询，然后选择job进行日志收集时主题 (在promtail的配置文件中定义) 的选择，然后进按需查询

这只是基本的查询，如果想做图与日志的展现，对grafana比较熟悉的人可以自己定义，如果不熟悉也可以到官方去下载现有模板

官网地址是 https://grafana.com/grafana/dashboards/

jenkins配置之新增用户

Tue, 23 Dec 2025 16:53:07 +0800

通过上面两个文章完成了jenkins的安装与配置，已达到可以使用的效果，后续因安全等原因需要对权限进行控制，让不同的人可以发布不同的项目，达到发布相对安全的结果，具体的配置如下：

1.1、用户创建

依次点击，系统管理 → 用户管理 → Cerate User

2、依次输入用户名、账号、全名、邮箱后点击新建用户，完成用户创建

1.2、项目权限配置

默认情况下 Manage and Assign Roles不是jenkins启用的，需要安装插件Role-based Authorization Strategy才能支持；

插件安装完成后在如下路径去启用

管理Jenkins -> 安全 -> 全局安全配置，确认授权策略选择的是 Role-Based Strategy

1、依次点击，系统管理 → Manage and Assign Roles → Cerate User

在 “Item roles” 的“Role to add”，输入权限名称

在“Item roles” 的“Pattern”，输入对应项目名称，.*代表通配符，点击Add

2、勾选需要的权限，如果值需要发版需勾选如下权限

任务的build、Read及Workspace

视图的Read

勾选后，点击SAVE保存

1.3、用户权限分配

1、点击Assign Roies，进行权限分配

2、点击”GlobalRoles”中的“Add User”，输入用户名称后点击确定

3、勾选基础权限“baseRole”

4、点击”item Roles”中的“Add User”，输入用户名称后点击确定

5、勾选需要授予用户的权限，点击SAVE

通过上面的配置已实现一个新增用户及其权限的指定了。

jenkins与k8s结合进行自动化部署

Tue, 23 Dec 2025 15:05:37 +0800

接上文jenkins部署完成后，也进行了代理节点agent的新增，接下来是jenkins与k8s结合进行具体项目的自动化部署配置：

1、在上文中已建了test项目，对此以test为例进行配置，配置分了两个步骤，

步骤一完成镜像的下载与准备

步骤二完成镜像的推送与发版

2、具体过程如下：

新增项目

shell脚本如下

#if [[ $AreYouSure != "湘潭生产发版" ]]
#    then echo "请确认发版环境" && exit 1
#fi
echo "拉取镜像"
docker pull $images

echo "更改镜像TAG" 

images_tag=`echo $images|awk -F/ '{print $NF}'`

images_new="192.168.228.26:8888/energyot/$images_tag"

echo "要更新的镜像地址为$images_new"

docker tag $images $images_new

echo "推送镜像到测试Harbor"

docker push $images_new

echo "推送镜像到测试Harbor成功"

echo "$images_new" > ./images 
scp ./images 192.168.228.18:/data/

第二块是则从第一块获取到的镜像进行推送到远程的服务器

shell脚本如下

images=`cat /data/images`
echo "拉取镜像"
docker pull $images
echo "更改镜像TAG" 
images_tag=`echo $images|awk -F/ '{print $NF}'`
images_new="192.168.116.26:8888/energyot/$images_tag"
echo "要更新的镜像地址为$images_new"
docker tag $images $images_new
echo "推送镜像到测试Harbor"
docker push $images_new
echo "推送镜像到测试Harbor成功"
service_name=`echo $images_tag|awk -F: '{print $1}'`
case $service_name in
"data-platform-web") 
  service_name="fnw-idomsd-arm-web"
;;
"apollo-admin-service")
  service_name="apollo-admin"
;;
"apollo-config-service")
  service_name="apollo-config"
;;
"apollo-portal-service")
  service_name="apollo-portal"
;;
"fn-cloud-visual-configuration")
  service_name="fn-cloud-visual-builder"
;;
"rdfa-timer-console")
  service_name="rdfa-timer"
;;
"uac-admin")
  service_name="uac-admin-config"
;;
"iot-gateway-mqtt")
  service_name="iot-datahub-standard"
;;
"pc-client-web")
  service_name="client-web"
;;
esac

echo "更新k8s服务$service_name"
docker_name=`kubectl get deployment $service_name -o jsonpath="{.spec.template.spec.containers[0].name}" -n $namespace`
echo "更新$service_name中$docker_name的镜像为$images_new"
kubectl set image deploy $service_name $docker_name=$images_new -n $namespace
echo "更新k8s服务成功"

通过上述的配置，就可以实现当用记在第一步执行部署时，第二步在第一步执行完成后会主动的进行远程镜像推送，达到自动发布的效果。

jenkins部署

Tue, 23 Dec 2025 14:33:40 +0800

安装基础环境依赖jdk17

# 1. 下载

wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz

# 2. 解压

sudo tar -xzf jdk-17_linux-x64_bin.tar.gz -C /opt/

# 3. 设置

sudo alternatives --install /usr/bin/java java /opt/jdk-17/bin/java 2

sudo alternatives --config java 如果原主机已安装java，此时需按实际情况选择新jdk的路径

#运行下例命令查jdk的版本是否已是最新的版本

java -version

安装jenkins

# 添加 Jenkins 仓库

sudo wget -O /etc/yum.repos.d/jenkins.repo \

https://pkg.jenkins.io/redhat-stable/jenkins.repo

sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io-2023.key

# 安装 Jenkins（它会自动使用系统已安装的 Java）

mkdir /data/jenkins

sudo yum install -y jenkins

#给目录赋权，让jenkins启动时可以对新目录进行读写

chown -R jenkins /data/jenkins

#修改jenkins文件默认存放目录，在没有找到/etc/sysconfig/jenkins这个文件的前提下使用如下方式进行修改

vim /usr/lib/systemd/system/jenkins.service

# 应用新的启动文件

systemctl daemon-reload

# 启动 Jenkins

sudo systemctl start jenkins

sudo systemctl enable jenkins

# 查看状态

sudo systemctl status jenkins

#初始的管理员密码保存处

cat /var/lib/jenkins/secrets/initialAdminPassword

此时通过IP:8080 端口就可以登陆了，然后登陆后默认选择推荐的安装插件，之前就可以正常进入管理后台。

三、增加子节点

1、登录jenkins，进入系统管理---节点和云管理

2、点击new node

3、输入节点名称，并选择固定节点

4、依次输入后，点击保存

5、点击新建的节点

6、点击如下复制按钮

7、登录agent节点服务器

mkdir /data/jenkins

cd /data/jenkins

执行复制的第一条命令：curl -sO http://192.168.228.26:8080/jnlpJars/agent.jar 下载agent包

8、上传目录jdk-11到/data/下

9、编辑start.sh

[root@monitor jenkins]# cd /data/jenkins && vim start.sh

nohup /data/jdk-11/bin/java -jar /data/jenkins/agent.jar \

-jnlpUrl http://192.168.228.26:8080/computer/thy/jenkins-agent.jnlp \

-secret 8ad2ae2eeade7853ffcb53cbc09da1b21b7f6d7833fe4e65da2bbea09bd880a9 \

-workDir "/data/jenkins" 2>&1 &

10、启动start.sh

bash start.sh

至此已安装完成jenkins与增加代理节点，后续配置另外介绍。

我觉得千问是日常办公相对好用的工具之一

Mon, 15 Dec 2025 20:33:12 +0800

千问（Qwen）作为阿里推出的AI助手平台，凭借其强大的大模型能力和深度集成的办公功能，

在办公室日常工作中提供了显著的提效与减负价值。以下是它对职场人最实用的几大助力：

1. 一键生成专业文档，告别复制粘贴

场景：写周报、项目方案、年终总结、开题报告等。

优势：

直接在对话中输入需求（如“帮我写一份2025年Q4市场推广方案”），千问自动生成结构清晰、语言专业的初稿。

内置论文格式、公文模板、商务合同范本等，自动匹配排版规范，省去手动调格式的繁琐。

支持多轮修改，边聊边改，无需切换Word。

2. PPT制作极速化，10分钟搞定汇报

痛点解决：传统做PPT耗时在找资料、搭框架、调样式。

千问能力：

输入主题（如“具身智能机器人工作原理”），自动生成带逻辑大纲 + 配图建议 + 模板推荐的完整PPT。

可直接在App内编辑内容、更换配色、导出为PPT或PDF。

支持从Word、图片、聊天记录一键转PPT，真正“说一句话就出成品”。

3. 多格式文档智能处理，跨软件无缝协作

支持上传 Word、PDF、Excel、图片等文件，AI自动：

提取核心信息（如从甲方50页需求书中抓重点）；

总结会议纪要；

转换格式（PDF转Word、Excel转表格分析等）；

检查敏感词、错别字、逻辑漏洞。

4. 数据整合与分析，提升决策效率

对于运营、财务、市场岗：

上传多个Excel表，让千问帮你合并数据、生成透视表、可视化图表；

用自然语言提问：“上季度华东区销售额环比增长多少？”——AI直接解析数据并回答。

5. 语音/拍照/视频多模态交互，移动办公更自由

出差路上语音输入需求，AI秒响应；

拍一张纸质文件或药盒，AI识别内容并解释；

视频通话功能可实时讲解复杂问题（适合培训、答疑）。

6. 完全免费 + 无网络限制 + 低门槛

不像某些国外工具需付费（如Copilot每月30美元）或翻墙；

手机App即可完成大部分办公任务，无需开电脑；

界面简洁，说人话就能用，新人零学习成本。

总结：千问如何改变办公室日常？

把“重复劳动”交给AI，把“创造力”留给人。

以前花半天调格式、拼材料、做PPT，现在10分钟出成品；以前加班到深夜，现在准点下班还能摸鱼拿绩效。

尤其适合：

需频繁写文案/报告的市场、运营、行政人员；

要处理大量文档的项目经理、助理；

刚入职还在熟悉流程的职场新人。

正如用户实测所说：“不是聊天，是真正帮你干活。”如果你还没试过，强烈建议下载最新版千问APP（5.0+），

亲身体验“一句话交付工作成果”的高效感。

Flink部署

Fri, 12 Dec 2025 19:23:18 +0800

准备工作

服务	版本	Linux路径
flink	1.13.6	/opt/flink-1.13.6

Master:92.168.40.18 Slave：192.168.40.16，192.168.40.17，192.168.40.18

一、安装flink

/opt/flink-1.13.6
 
#解压缩flink到/opt/目录
tar -zxvf flink-1.13.6-bin-scala_2.12.tgz -C /opt/
 
#使用vim修改conf/flink-conf.yaml参数
####
见下方代码块-参数配置
####
 
#修改conf/masters文件
192.168.40.18:8081
 
#修改conf/workers文件
192.168.40.16
192.168.40.17
192.168.40.18
 
#修改/etc/profile系统环境变量配置文件，添加HADOOP_CONF_DIR目录
export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn/
 
#分发/etc/profile到其他两个节点
scp -r /etc/profile 192.168.40.16:/etc
scp -r /etc/profile 192.168.40.17:/etc
 
#每个节点重新加载环境变量（每个节点执行一次）
source /etc/profile
 
#分发到其他flink节点
scp -r /opt/flink-1.13.6 192.168.40.16:/opt/
scp -r /opt/flink-1.13.6 192.168.40.17:/opt/
scp -r /opt/flink-1.13.6 192.168.40.18:/opt/

/conf/flink-conf.yaml 参数配置

################################################################################
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements. See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership. The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
################################################################################
 
 
#==============================================================================
# Common
#==============================================================================
 
# The external address of the host on which the JobManager runs and can be
# reached by the TaskManagers and any clients which want to connect. This setting
# is only used in Standalone mode and may be overwritten on the JobManager side
# by specifying the --host <hostname> parameter of the bin/jobmanager.sh executable.
# In high availability mode, if you use the bin/start-cluster.sh script and setup
# the conf/masters file, this will be taken care of automatically. Yarn/Mesos
# automatically configure the host name based on the hostname of the node where the
# JobManager runs.
 
jobmanager.rpc.address: 192.168.40.18
 
# The RPC port where the JobManager is reachable.
 
jobmanager.rpc.port: 6123
 
 
# The total process memory size for the JobManager.
#
# Note this accounts for all memory usage within the JobManager process, including JVM metaspace and other overhead.
 
jobmanager.memory.process.size: 1600m
 
 
# The total process memory size for the TaskManager.
#
# Note this accounts for all memory usage within the TaskManager process, including JVM metaspace and other overhead.
 
taskmanager.memory.process.size: 1728m
 
# To exclude JVM metaspace and overhead, please, use total Flink memory size instead of 'taskmanager.memory.process.size'.
# It is not recommended to set both 'taskmanager.memory.process.size' and Flink memory.
#
# taskmanager.memory.flink.size: 1280m
 
# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
 
taskmanager.numberOfTaskSlots: 2
 
# The parallelism used for programs that did not specify and other parallelism.
 
parallelism.default: 1
 
# The default file system scheme and authority.
#
# By default file paths without scheme are interpreted relative to the local
# root file system 'file:///'. Use this to override the default and interpret
# relative paths relative to a different file system,
# for example 'hdfs://mynamenode:12345'
#
# fs.default-scheme
 
#==============================================================================
# High Availability
#==============================================================================
 
# The high-availability mode. Possible options are 'NONE' or 'zookeeper'.
#
high-availability: zookeeper
 
# The path where metadata for master recovery is persisted. While ZooKeeper stores
# the small ground truth for checkpoint and leader election, this location stores
# the larger objects, like persisted dataflow graphs.
#
# Must be a durable file system that is accessible from all nodes
# (like HDFS, S3, Ceph, nfs, ...)
#
high-availability.storageDir: hdfs://192.168.40.18/flink/ha/
 
# The list of ZooKeeper quorum peers that coordinate the high-availability
# setup. This must be a list of the form:
# "host1:clientPort,host2:clientPort,..." (default clientPort: 2181)
#
high-availability.zookeeper.quorum: 192.168.40.16:2181
 
 
# ACL options are based on https://zookeeper.apache.org/doc/r3.1.2/zookeeperProgrammers.html#sc_BuiltinACLSchemes
# It can be either "creator" (ZOO_CREATE_ALL_ACL) or "open" (ZOO_OPEN_ACL_UNSAFE)
# The default value is "open" and it can be changed to "creator" if ZK security is enabled
#
high-availability.zookeeper.client.acl: open
 
#==============================================================================
# Fault tolerance and checkpointing
#==============================================================================
 
# The backend that will be used to store operator state checkpoints if
# checkpointing is enabled.
#
# Supported backends are 'jobmanager', 'filesystem', 'rocksdb', or the
# <class-name-of-factory>.
#
#state.backend: filesystem
 
# Directory for checkpoints filesystem, when using any of the default bundled
# state backends.
#
# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints
 
# Default target directory for savepoints, optional.
#
# state.savepoints.dir: hdfs://namenode-host:port/flink-savepoints
 
# Flag to enable/disable incremental checkpoints for backends that
# support incremental checkpoints (like the RocksDB state backend).
#
# state.backend.incremental: false
 
# The failover strategy, i.e., how the job computation recovers from task failures.
# Only restart tasks that may have been affected by the task failure, which typically includes
# downstream tasks and potentially upstream tasks if their produced data is no longer available for consumption.
 
jobmanager.execution.failover-strategy: region
 
#==============================================================================
# Rest & web frontend
#==============================================================================
 
# The port to which the REST client connects to. If rest.bind-port has
# not been specified, then the server will bind to this port as well.
#
#rest.port: 8081
 
# The address to which the REST client will connect to
#
#rest.address: 0.0.0.0
 
# Port range for the REST and web server to bind to.
#
#rest.bind-port: 8080-8090
 
# The address that the REST & web server binds to
#
#rest.bind-address: 0.0.0.0
 
# Flag to specify whether job submission is enabled from the web-based
# runtime monitor. Uncomment to disable.
 
#web.submit.enable: false
 
#==============================================================================
# Advanced
#==============================================================================
 
# Override the directories for temporary files. If not specified, the
# system-specific Java temporary directory (java.io.tmpdir property) is taken.
#
# For framework setups on Yarn or Mesos, Flink will automatically pick up the
# containers' temp directories without any need for configuration.
#
# Add a delimited list for multiple directories, using the system directory
# delimiter (colon ':' on unix) or a comma, e.g.:
# /data1/tmp:/data2/tmp:/data3/tmp
#
# Note: Each directory entry is read from and written to by a different I/O
# thread. You can include the same directory multiple times in order to create
# multiple I/O threads against that directory. This is for example relevant for
# high-throughput RAIDs.
#
io.tmp.dirs: /tmp
 
# The classloading resolve order. Possible values are 'child-first' (Flink's default)
# and 'parent-first' (Java's default).
#
# Child first classloading allows users to use different dependency/library
# versions in their application than those in the classpath. Switching back
# to 'parent-first' may help with debugging dependency issues.
#
classloader.resolve-order: child-first
 
# The amount of memory going to the network stack. These numbers usually need
# no tuning. Adjusting them may be necessary in case of an "Insufficient number
# of network buffers" error. The default min is 64MB, the default max is 1GB.
#
taskmanager.memory.network.fraction: 0.1
taskmanager.memory.network.min: 64mb
taskmanager.memory.network.max: 1gb
 
#==============================================================================
# Flink Cluster Security Configuration
#==============================================================================
 
# Kerberos authentication for various components - Hadoop, ZooKeeper, and connectors -
# may be enabled in four steps:
# 1. configure the local krb5.conf file
# 2. provide Kerberos credentials (either a keytab or a ticket cache w/ kinit)
# 3. make the credentials available to various JAAS login contexts
# 4. configure the connector to use JAAS/SASL
 
# The below configure how Kerberos credentials are provided. A keytab will be used instead of
# a ticket cache if the keytab path and principal are set.
 
# security.kerberos.login.use-ticket-cache: true
# security.kerberos.login.keytab: /path/to/kerberos/keytab
# security.kerberos.login.principal: flink-user
 
# The configuration below defines which JAAS login contexts
 
# security.kerberos.login.contexts: Client,KafkaClient
 
#==============================================================================
# ZK Security Configuration
#==============================================================================
 
# Below configurations are applicable if ZK ensemble is configured for security
 
# Override below configuration to provide custom ZK service name if configured
zookeeper.sasl.service-name: zookeeper
 
# The configuration below must match one of the values set in "security.kerberos.login.contexts"
zookeeper.sasl.login-context-name: Client
 
#==============================================================================
# HistoryServer
#==============================================================================
 
# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)
 
# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
#jobmanager.archive.fs.dir: hdfs:///completed-jobs/
 
# The address under which the web-based HistoryServer listens.
#historyserver.web.address: 0.0.0.0
 
# The port under which the web-based HistoryServer listens.
#historyserver.web.port: 8082
 
# Comma separated list of directories to monitor for completed jobs.
#historyserver.archive.fs.dir: hdfs:///completed-jobs/
 
# Interval in milliseconds for refreshing the monitored directories.
#historyserver.archive.fs.refresh-interval: 10000

二、启动Flink集群

./bin/start-cluster.sh
 
#启动flink集群 ./bin/start-cluster.sh
#停止flink集群 ./bin/stop-cluster.sh
 
#启动jobmanager ./bin/jobmanager.sh start
#停止jobmanager ./bin/jobmanager.sh stop
 
#启动taskmanager ./bin/taskmanager.sh start
#停止taskmanager ./bin/taskmanager.sh stop

三、浏览Flink Web UI界面

http://192.168.40.18:8081/#/overview

OpenTSDB部署

Fri, 12 Dec 2025 19:18:09 +0800

一、设置JDK

配置java环境到/etc/profile中

1

2

3

4

5

export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_CONF_DIR=/etc/hadoop

二、安装opentsdb

安装GnuPlot
yum install gnuplot
 
验证gnuplot的安装以及png的安装成功
gnuplot
gnuplot> set terminal png
 
安装opentsdb
rpm -ivh /root/tmp/opentsdb/opentsdb-2.4.0.noarch.rpm
 
配置
$ cd /usr/share/opentsdb
$ vim /usr/share/opentsdb/etc/opentsdb/opentsdb.conf
tsd.network.port = 4242
tsd.network.bind = 0.0.0.0
tsd.network.worker_threads = 8
tsd.http.staticroot = build/staticroot
tsd.http.cachedir = /tmp/opentsdb
tsd.core.auto_create_metrics = true
tsd.storage.hbase.zk_quorum = localhost:2181
 
在Hbase中创建表
env COMPRESSION=NONE HBASE_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hbase /usr/share/opentsdb/tools/create_table.sh
 
赋权
chown -R 755 /usr/share/opentsdb
 
ln -s /usr/share/opentsdb/etc/init.d/opentsdb /etc/init.d/
 
# ln -s /usr/share/opentsdb/etc/systemd/system/opentsdb@.service /etc/systemd/system/
 
ln -s /usr/share/opentsdb/etc/opentsdb/* /etc/opentsdb/
 
ln -s /usr/share/opentsdb/bin/tsdb /usr/bin/

三、注册系统服务

opentsdb的服务注册为系统服务，即可以用systemctl status/start/stop/restart opentsdb来查看控制

vi /usr/lib/systemd/system/opentsdb.service
 
[Unit]
 
Description=OpenTSDB Service
 
[Service]
 
Type=forking
 
PrivateTmp=yes
 
ExecStart=/usr/share/opentsdb/etc/init.d/opentsdb start
 
ExecStop=/usr/share/opentsdb/etc/init.d/opentsdb stop
 
Restart=on-abort
ln -s /usr/share/opentsdb/etc/opentsdb/* /etc/opentsdb/

四、启动

1	`systemctl start opentsdb`

五、登录验证

http://192.168.40.16:4242/