Có Salt không lo chết đói
Bài viết được sự cho phép của tác giả Nguyễn Việt Hưng
Salt là gì
Salt (/sɔːlt/ /sɒlt/) là một phần mềm mã nguồn mở, một hệ thống thuộc nhóm Configuration Management (CM), viết bằng Python, sử dụng YAML làm ngôn ngữ giao tiếp với người dùng.
Salt làm gì?
Tính năng của Salt chia làm 2 phần chính: remote execution và configuration management dựa trên nền tảng remote execution.
Remote execution
chạy lệnh từ xa. Sau khi cài đặt xong salt-master và các salt-minion, từ salt-master có thể chạy bất kì câu lệnh nào trên máy cài salt-minion.
Tưởng tượng bạn cần xoá 1 file trên 10 hay 100 máy, chỉ cần gõ 1 câu lệnh và tất cả các minion sẽ chạy câu lệnh ấy. Sức mạnh là vô cùng khủng khiếp, giống như nắm một mạng botnet trong tay vậy. Muốn ping 1 server từ 100 máy? gõ lệnh ping -c N victim, và 100 máy sẽ cùng lúc ping đến máy đích.
Configuration management
đảm bảo trạng thái các thành phần của hệ thống. Cần đảm bảo 1 service NGINX chạy với file cấu hình nhất định, forward request đến gunicorn app server trên máy ấy, đã cấu hình để chạy một web application viết bằng Python với phiên bản mới nhất lấy từ 1 git repository? Salt làm được tất cả điều đó, và nó có thể đảm bảo rằng mọi thay đổi bằng tay thực hiện trên những thành phần nói trên sẽ bị thay thế bằng những gì đã định trước.
Theo Chào Muối, em là ai?
Mục tiêu
Bài này cài đặt salt qua pip, và dùng salt-ssh để điều khiển máy khác. Mục tiêu đưa ra một bài hướng dẫn thực hành đơn giản hơn bài hướng dẫn trên trang chủ Salt in 10 minutes và mang lại cảm giác giống đang dùng Ansible.
Kết quả: deploy uds bot – 1 chương trình Python lên máy Ubuntu 18.04, cấu hình systemd chạy vù vù.
3 phút dành cho lý thuyết
- Máy ra lệnh gọi là salt master
- Máy bị điều khiển, chạy các câu lệnh gọi là salt minion, trong bài này có IP
192.168.0.110 - Trong bài này, master sẽ truy cập vào minion qua ssh.
- Máy master không cần quyền gì đặc biệt và đã cài đặt salt trên Python3.6+
- Máy minion chạy
*NIXOS (Ubuntu, Debian, Fedora, .. MacOS), phải có quyền sudo không password hoặc root để toàn quyền điều khiển máy (như cài package qua apt). Salt có hỗ trợ Windows nhưng nằm ngoài phạm vi bài viết này.
Trên máy minion
- Tạo 1 user mới:
sudo adduser saltuser, trả lời các câu hỏi và gõ password - sudo không password: thêm
saltuser ALL=(ALL) NOPASSWD: ALLvào cuối file /etc/sudoers - Có chương trình sshd listen trên port 22, cài bằng lệnh
sudo apt install openssh-server, gõss -nlt | grep 22thấy có kết quả là ok.
Trên máy master
Tạo SSH key nếu chưa có:
ls ~/.ssh/id_rsa || ssh-keygen
Copy ssh public key vào minion:
ssh-copy-id saltuser@192.168.0.110
# rồi gõ password saltuser vừa tạo
Cài đặt
Tạo 1 virtualenv:
python3 -m venv saltenv . saltenv/bin/activate pip install salt==3002 # do bản 3003 mới nhất đang có bug
Cài xong kiểm tra
$ salt-ssh --version
salt-ssh 3002
Cấu hình master
Có 2 file cần tạo: master và roster
Tạo 1 thư mục tên saltlab:
mkdir -p ~/saltlab/states cd ~/saltlab pwd
File master chứa 2 dòng, root_dir giá trị là đường dẫn đầy đủ tới thư muc saltlab, file_roots có states với giá trị là đường dẫn đầy đủ tới thư mục states, thư mục states sẽ chứa các file “saltstate”
root_dir: /home/hvn/saltlab file_roots: base: - /home/hvn/saltlab/states
File roster chứa thông tin về các máy minion:
tv: host: 192.168.0.110 user: saltuser sudo: True trau: host: 103.x.y.z user: root port: 22022
ở đây định nghĩa 2 minion, 1 tên tv và 1 tên trau, minion tv sẽ là đối tượng của bài này.
File này tương tự file inventory (hay có tên là hosts) của Ansible.
Cấu trúc thư mục trông như sau
saltlab/
├── master
├── roster
├── pillars
│ ├── common.sls
│ ├── top.sls
│ └── uds.sls
└── states
├── example.sls
├── htop.sls
├── template.j2
├── uds.sls
└── uds.systemd
Chạy câu lệnh Salt
Từ master, trong venv saltenv, gõ lệnh salt-ssh với đối tượng tv, câu lệnh salt cmd.run, câu lệnh chạy trên tv là uname -a:
(saltenv) $ salt-ssh --config ~/saltlab tv cmd.run 'uname -a' tv: Linux MINIPC-PN50 5.8.0-55-generic #62~20.04.1-Ubuntu SMP Wed Jun 2 08:55:04 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux
Apply Salt state
Saltstate file là file YAML có đuôi .sls, khai báo (declare) trạng thái của hệ thống mong muốn đạt được. File htop.sls
install htop: # ID của "state" pkg.installed: # loại state - tương ứng với 1 python function - name: htop # các tham số - function argument
Cú pháp YAML trên tương ứng với Python dict sau:
{'install htop': {'pkg.installed': [{'name': 'htop'}]}}
Sau khi được apply, state trên sẽ cài package htop lên máy, sử dụng package manager của máy minion, dù là apt trên Ubuntu hay yum/dnf trên Fedora.
Đây là một ưu điểm lớn của Salt, người dùng thậm chí không biết chính xác câu lệnh để cài thế nào, chỉ cần liệt kê ra những gì mình cần, Salt sẽ lo tất. Phần này nghe rất “magic”, thực chất thì bên dưới pkg là 1 Python module còn installed là 1 function chạy đủ loại if/else kiểm tra hệ thống và chọn apt hay yum cho phù hợp. Salt gọi đây là state module pkg.
Gõ trên master:
$ salt-ssh --config ~/saltlab tv state.apply htop
tv:
----------
ID: install htop
Function: pkg.installed
Name: htop
Result: True
Comment: The following packages were installed/updated: htop
Started: 15:09:22.550836
Duration: 10969.17 ms
Changes:
----------
htop:
----------
new:
2.2.0-2build1
old:
Summary for tv
------------
Succeeded: 1 (changed=1)
Failed: 0
------------
Total states run: 1
Xem đầy đủ các option, các function khác của pkg state module tại module-salt.states.pkg
Copy/render file và chạy câu lệnh
File example.sls
render a config file: file.managed: - source: salt://template.j2 - template: jinja - mode: 0400 - name: /tmp/ahihi.yml now run a command: cmd.run: - name: cat /tmp/ahihi.yml | head
cmd.run dùng để chạy 1 câu lệnh trên minion, lệnh tùy ý. Với cmd.run, ta đã có thể làm được mọi thứ, đây là cách đơn giản nhất để thay thế các bash script mặc dù không phải tối ưu nhất. Ví dụ: nếu chạy apt-get install để cài package thay vì pkg.installed sẽ mất đi các lợi ích pkg.installed thực hiện – chạy trên nhiều OS khác nhau, tự động chạy apt update). Người mới tập dùng Salt có thể dùng cmd.run để bắt đầu, nhưng nên tìm state module có sẵn để thu được kết quả tốt hơn.
file.managed có thể tải 1 file từ internet, có thể copy 1 file từ X đến Y, trong ví dụ này nó copy file từ salt://template.j2 tới minion rồi render với Jinja2 template, ghi vào /tmp/ahihi.yml và chmod 0400.
salt:// trong ví dụ này là file_roots trong file cấu hình master, tức thư mục /home/hvn/saltlab/states trên máy master.
Nội dung file template.j2:
{%- for i in ['meo', 'bo', 'ga'] %} - {{ i }} {%- endfor %} myuser: user mypassword: passwd os: {{ grains['osfinger'] }} ips: {{ grains['ipv4'] }}
Jinja2 có for if/else như Python, xem Jinja2 template để tìm hiểu thêm.
5 phút dành cho lý thuyết: grains pillar
1 nhược điểm của Salt là theo mốt thời 2010, đặt tên cho mọi khái niệm, và tên đó không thực sự có nhiều ý nghĩa – đơn giản chỉ là bịa ra (theo mốt của Chef – một đối thủ viết bằng Ruby).
Salt có 2 khái niệm:
- grains: chứa các thông tin về máy minion (OS, version, ip, …)
- pillar: chứa các thông tin truyền từ master (thường là các thông tin bí mật như user/password).
salt grains
Ví dụ trên có truy cập 2 thông tin từ grains là tên hệ điều hành và các IPv4 của máy minion. state.apply
ID: render a config file Function: file.managed Name: /tmp/ahihi.yml Result: True Comment: File /tmp/ahihi.yml is in the correct state Started: 19:33:25.337228 Duration: 34.549 ms Changes: ---------- ID: now run a command Function: cmd.run Name: cat /tmp/ahihi.yml | head Result: True Comment: Command "cat /tmp/ahihi.yml | head" run Started: 19:33:25.372408 Duration: 7.672 ms Changes: ---------- pid: 42905 retcode: 0 stderr: stdout: - meo - bo - ga myuser: user mypassword: passwd os: Ubuntu-20.04 ips: ['127.0.0.1', '192.168.0.110']
Để liệt kê tất cả grains của minion, dùng Salt command grains.items
$ salt-ssh -c ~/saltlab tv grains.items
tv:
----------
biosreleasedate:
08/27/2020
biosversion:
0416
cpu_flags:
...
salt pillar
Pillar chỉ nằm trên master, nó map file nào dành cho minion nào. File top.sls
base:
'*':
- common
'trau':
- uds
* tức mọi minion đều có thể truy cập các pillar item trong file common.sls, chỉ trau mới truy cập được nội dung trong file uds.sls.
Các file pillar là các file .sls theo syntax YAML, biểu diễn các dictionary của Python. Ví dụ: uds.sls:
telegram_token: this_is_token database: username: root password: toor
Để liệt kê tất cả pillar item dành cho minion, dùng Salt command pillar.items (chú ý grains có s, pillar không có).
$ salt-ssh -c ~/saltlab trau pillar.items
trau:
----------
database:
----------
password:
toor
username:
root
telegram_token:
this_is_token
Ví dụ 1 file dùng pillar:
# /lib/systemd/system/uds.service [Unit] Description=UDS telegram bot [Service] User=uds Environment=BOT_TOKEN={{ pillar['telegram_token'] }}
Deploy 1 Python project
Link này viết 1 salt formula (tên của 1 “bộ cài bằng Salt”) để cài bot telegram uds chạy trên Ubuntu 18.04 với systemd. udsbot-salt
Troubleshooting
Khi kêt quả chạy apply không thành công, thêm -ldebug để xem log chi tiết.
Dùng Ansible “xịn hơn” không?
Không, Ansible giống Salt đến bất ngờ, cũng viết bằng Python với các module tương ứng, cũng dùng Jinja2, cũng viết cấu hình bằng file YAML.
Ngày nay, Ansible phổ biến hơn nhờ nó đơn giản hơn để bắt đầu, do ít từ khóa hay khái niệm lạ. Năm 2015, RedHat mua lại Ansible khiến cho nó càng trở nên phổ biến hơn.
Salt thành công trước Ansible (2012 2013), đứng sau là công ty SaltStack, đến năm 2020 cũng được ông lớn VMWare mua lại. Salt có nhiều ưu điểm so với Ansible (đặc biệt là nhanh), cung cấp nhiều tính năng phức tạp – dùng trong môi trường phức tạp.
Dùng Salt chuyển sang Ansible mất nửa ngày để map lại khái niệm.
Học salt là học gì
Đa phần là học các salt module (như pkg.installed) có sẵn để viết các state, dùng chúng như các viên gạch để tự động quá trình cài đặt / cấu hình phần mềm trên hệ thống. Cách thực hành đơn giản nhất là dùng Salt cài các phần mềm trên chính máy tính của mình đang dùng, thay vì gọi salt-ssh, dùng
sudo salt-call --local state.apply FORMULA_NAME -linfo
Hành động của chúng ta
Tạo 1 salt formula để deploy app Flask hello world chạy bằng gunicorn với NGINX server rồi tạo Pull Request vào pymivn/flask-salt để trăm hay đều như tay quen.
Kết luận
Năm COVID-19 thứ 2, 2021, Salt, Ansible, Chef hay Puppet không còn mới mẻ gì, từng là “điểm cộng” trong các vòng tuyển dụng thì giờ là yêu cầu hiển nhiên cho giới “DevOps”, thế giới cũng đã đu theo một trend mới hơn, hot hơn có tên Docker+Kubernetes, nhưng các CM vẫn luôn có đất dùng. Trend lên rồi sẽ xuống, hot rồi sẽ nguội, cái gì hợp lý thì ta dùng.
Đến đây, đã đủ để các Python dev deploy code như 1 DevOps engineer thực thụ, không phải nhọc nhằn code bash.
Life’s too short to remember how to write Bash code. I feel liberated. — @laheadle on Clojurians Slack
References
- salt-ssh
- https://github.com/saltstack/salt/issues/59942
- Chào Muối, em là ai?
- https://docs.saltproject.io/en/latest/contents.html
- Các formula cộng đồng saltstack-formulas
Ủng hộ tác giả
HVN at http://pymi.vn and https://www.familug.org.
Bài viết gốc được đăng tải tại pp.pymi.vn
Có thể bạn quan tâm:
Xem thêm Việc làm IT hấp dẫn trên Station D
Bạn có thể quan tâm
- Tôi không phải là lập trình viên thực sự?(Công Nghệ)
- Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream(Công Nghệ)
- Vừa đủ để đi (go)(Công Nghệ)
