1
# 这个变量用于控制 job 要部署到哪些 datacenter。
2
# 默认是 dc1；如果你的 Nomad 环境使用别的 datacenter，可在运行时覆盖。
3
variable "datacenters" {
4
  type    = list(string)
5
  default = ["dc1"]
6
}
7

8
# Beszel Agent system job。
9
# type = system 表示：每个符合约束条件的 Nomad Client 节点都会部署 1 个 allocation。
10
job "beszel-agent-system" {
11
  type        = "system"
12
  datacenters = var.datacenters
13

14
  # 只允许在 Linux 节点上运行。
15
  constraint {
16
    attribute = "${attr.kernel.name}"
17
    value     = "linux"
18
  }
19

20
  # 只允许在启用了 raw_exec 驱动的节点上运行。
21
  # 因为这个任务会直接在宿主机执行 Beszel Agent，而不是通过容器运行。
22
  constraint {
23
    attribute = "${attr.driver.raw_exec}"
24
    value     = "1"
25
  }
26

27
  group "agent" {
28
    network {
29
      mode = "host"
30

31
      # 让 Nomad 为每个节点自动分配一个可用端口，避免固定端口冲突。
32
      port "agent" {
33
      }
34
    }
35

36
    # 当 agent 异常退出时的重启策略。
37
    restart {
38
      attempts = 10
39
      interval = "1h"
40
      delay    = "15s"
41
      mode     = "delay"
42
    }
43

44
    task "beszel-agent" {
45
      # 使用 raw_exec 直接在宿主机运行二进制。
46
      driver = "raw_exec"
47

48
      # 直接注入 Beszel Agent 所需环境变量。
49
      # 这里保留原始写法：Hub / Token / 公钥直接写在 job 中。
50
      env {
51
        BESZEL_VERSION = "0.18.4"
52
        HUB_URL        = "你部署的Hub地址"
53
        TOKEN          = "上一步获取的永久token"
54
        KEY            = "上一步获取的SSH公钥"
55
        DATA_DIR       = "/var/lib/beszel-agent"
56
      }
57

58
      # 先执行 Nomad 模板渲染出来的启动脚本。
59
      config {
60
        command = "/bin/bash"
61
        args    = ["-lc", "exec \"$NOMAD_TASK_DIR/start-beszel-agent.sh\""]
62
      }
63

64
      # 启动脚本：负责选择端口、下载 agent、检测 GPU，并最终启动 Beszel Agent。
65
      template {
66
        destination = "local/start-beszel-agent.sh"
67
        perms       = "0755"
68
        data        = <<-EOF_SCRIPT
69
          #!/usr/bin/env bash
70
          set -euo pipefail
71

72
          log() {
73
            printf '[beszel-nomad] %s\n' "$1"
74
          }
75

76
          if [ -z "$BESZEL_VERSION" ]; then
77
            log "BESZEL_VERSION 未设置，退出"
78
            exit 1
79
          fi
80

81
          OS=$(uname -s | tr '[:upper:]' '[:lower:]')
82
          ARCH=$(uname -m)
83

84
          # 识别宿主机 CPU 架构，并映射到 Beszel Release 的命名。
85
          case "$ARCH" in
86
            x86_64|amd64)
87
              ARCH="amd64"
88
              ;;
89
            aarch64|arm64)
90
              ARCH="arm64"
91
              ;;
92
            armv7l|armv6l|arm)
93
              ARCH="arm"
94
              ;;
95
            ppc64le)
96
              ARCH="ppc64le"
97
              ;;
98
            riscv64)
99
              ARCH="riscv64"
100
              ;;
101
            *)
102
              log "不支持的 CPU 架构: $ARCH"
103
              exit 1
104
              ;;
105
          esac
106

107
          # 优先使用 Nomad 分配的动态端口；如果没有，则回退到 45876。
108
          LISTEN_VALUE=$(printenv NOMAD_PORT_agent 2>/dev/null || true)
109
          if [ -n "$LISTEN_VALUE" ]; then
110
            export LISTEN="$LISTEN_VALUE"
111
          else
112
            export LISTEN="45876"
113
          fi
114
          log "使用监听端口: $LISTEN"
115

116
          STATE_DIR="$DATA_DIR"
117
          CACHE_DIR="$STATE_DIR/nomad-cache"
118

119
          # 优先写入宿主机持久目录；失败时回退到 allocation 目录。
120
          if ! mkdir -p "$STATE_DIR" "$CACHE_DIR" 2>/dev/null; then
121
            STATE_DIR="$NOMAD_ALLOC_DIR/beszel-agent-data"
122
            CACHE_DIR="$NOMAD_ALLOC_DIR/beszel-agent-cache"
123
            mkdir -p "$STATE_DIR" "$CACHE_DIR"
124
            export DATA_DIR="$STATE_DIR"
125
            log "回退到分配目录保存状态: $STATE_DIR"
126
          fi
127

128
          BIN_PATH="$CACHE_DIR/beszel-agent"
129

130
          # 第一次启动时下载 Beszel Agent；后续直接复用缓存的二进制。
131
          if [ ! -x "$BIN_PATH" ]; then
132
            TMP_DIR=$(mktemp -d)
133
            trap 'rm -rf "$TMP_DIR"' EXIT
134
            ARCHIVE_URL="https://github.com/henrygd/beszel/releases/download/v$BESZEL_VERSION/beszel-agent_"$OS"_"$ARCH".tar.gz"
135
            ARCHIVE_PATH="$TMP_DIR/beszel-agent.tar.gz"
136

137
            log "下载 Beszel Agent v$BESZEL_VERSION ($OS/$ARCH)"
138

139
            if command -v curl >/dev/null 2>&1; then
140
              curl -fsSL --retry 5 --connect-timeout 15 "$ARCHIVE_URL" -o "$ARCHIVE_PATH"
141
            elif command -v wget >/dev/null 2>&1; then
142
              wget -qO "$ARCHIVE_PATH" "$ARCHIVE_URL"
143
            else
144
              log "需要 curl 或 wget 来下载 Beszel Agent"
145
              exit 1
146
            fi
147

148
            tar -xzf "$ARCHIVE_PATH" -C "$TMP_DIR"
149
            install -m 0755 "$TMP_DIR/beszel-agent" "$BIN_PATH"
150
          fi
151

152
          # 尽量识别当前节点的 GPU 类型；如果没有 GPU，也正常启动 agent。
153
          nvidia_found=0
154
          amd_found=0
155
          intel_found=0
156

157
          if command -v nvidia-smi >/dev/null 2>&1; then
158
            nvidia_found=1
159
          fi
160

161
          for vendor_file in /sys/class/drm/card*/device/vendor; do
162
            [ -f "$vendor_file" ] || continue
163
            case "$(cat "$vendor_file")" in
164
              0x10de)
165
                nvidia_found=1
166
                ;;
167
              0x1002)
168
                amd_found=1
169
                ;;
170
              0x8086)
171
                intel_found=1
172
                ;;
173
            esac
174
          done
175

176
          # NVIDIA GPU 存在但缺少 nvidia-smi 时给出提示。
177
          if [ "$nvidia_found" -eq 1 ] && ! command -v nvidia-smi >/dev/null 2>&1; then
178
            log "检测到 NVIDIA GPU，但宿主机没有 nvidia-smi；请确认已安装驱动工具"
179
          fi
180

181
          # Intel GPU 存在但缺少常用采集工具时给出提示。
182
          if [ "$intel_found" -eq 1 ] && ! command -v intel_gpu_top >/dev/null 2>&1 && ! command -v nvtop >/dev/null 2>&1; then
183
            log "检测到 Intel GPU，但宿主机没有 intel_gpu_top 或 nvtop；Intel GPU 监控可能不完整"
184
          fi
185

186
          # 没有 GPU 时只上报主机指标；有 GPU 时记录识别结果。
187
          if [ "$nvidia_found" -eq 0 ] && [ "$amd_found" -eq 0 ] && [ "$intel_found" -eq 0 ]; then
188
            log "当前节点未检测到 GPU，Beszel 将仅上报主机指标"
189
          else
190
            summary=""
191
            [ "$nvidia_found" -eq 1 ] && summary="$summary NVIDIA"
192
            [ "$amd_found" -eq 1 ] && summary="$summary AMD"
193
            [ "$intel_found" -eq 1 ] && summary="$summary Intel"
194
            log "检测到 GPU 类型:$summary"
195
          fi
196

197
          # 启动 Beszel Agent 主进程。
198
          exec "$BIN_PATH"
199
        EOF_SCRIPT
200
      }
201

202
      # 这个任务本身占用的 Nomad 资源非常低。
203
      resources {
204
        cpu    = 100
205
        memory = 128
206
      }
207
    }
208
  }
209
}