Awk siêu tốc
Bài viết được sự cho phép của tác giả Nguyễn Việt Hưng
Nếu bạn đã biết 1 scripting language như Python hay Perl việc học AWK sẽ có vẻ hơi thừa/ hơi ngần ngại. Nhưng AWK – ngôn ngữ lập trình sinh ra từ những năm 1970 luôn có chỗ dùng, và sức mạnh đáng gờm.
Bài này giới thiệu các khái niệm cơ bản của ngôn ngữ lập trình AWK, một số cách dùng thông dụng, học xong có thể dùng ngay và vô cùng hữu ích với những người xử lý dữ liệu dạng cột/ bảng mà không biết Python.
Các lệnh trong bài này dùng mawk vì nó được biết là nhanh hơn các bản awk khác, nhưng về tính năng cơ bản là giống nhau, người đọc dùng bản nào cũng được, VD gawk
$ whatis awk awk (1) - pattern scanning and processing language
Dùng trong các câu lệnh hàng ngày
AWK rất thích hợp để nhét vào 1 pipe các câu lệnh UNIX, việc mà Python vốn không sinh ra để làm
Ví dụ: đếm số dòng trong file /etc/passwd
$ wc /etc/passwd 57 95 3193 /etc/passwd
Lệnh wc vốn sinh ra để đếm: dòng, số từ, số ký tự. Bạn có thể viết 1 script Python 5-7 dòng làm chuyện này, nhưng 1 dòng? Hãy thử và nếu thành công, hãy comment!
Với AWK, làm việc này không khó khăn gì. Hãy bỏ qua nếu không hiểu gì, phần giải thích sẽ theo sau
$ cat /etc/passwd | mawk '{ words += NF; chars += length($0) + 1;} END { print NR, words, chars}' 57 95 3193
Một pipe (cmd1 | cmd2 | cmd3) thường bắt đầu bằng cat file, mặc dù nó không phải cách làm tốt (tốn thêm 1 câu lệnh cat – khi mà hầu hết các câu lệnh đều hỗ trợ đầu vào là 1 file), nhưng tiện, nên ta cứ bắt đầu với cat, khi nào cần tối ưu ta sẽ bỏ nó đi. Ở đây, mawk có thể nhận file để xử lý, ta viết lại:
$ mawk '{ words += NF; chars += length($0) + 1;} END { print NR, words, chars}' /etc/passwd 57 95 3193
Một ví dụ khác
$ head /etc/passwd root:x:0:0:root:/root:/bin/bash daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin bin:x:2:2:bin:/bin:/usr/sbin/nologin sys:x:3:3:sys:/dev:/usr/sbin/nologin sync:x:4:65534:sync:/bin:/bin/sync games:x:5:60:games:/usr/games:/usr/sbin/nologin man:x:6:12:man:/var/cache/man:/usr/sbin/nologin lp:x:7:7:lp:/var/spool/lpd:/usr/sbin/nologin mail:x:8:8:mail:/var/mail:/usr/sbin/nologin news:x:9:9:news:/var/spool/news:/usr/sbin/nologin
Một yêu cầu quái dị có thể xuất hiện như: hãy tính tổng các số ở cột số 3, với các câu lệnh CLI truyền thống, ta làm như sau
$ echo $(cat /etc/passwd | cut -d: -f3 | xargs printf '%s +') 0 | bc 75624
cut giúp lấy cột thứ 3, phân cách bằng dấu :, dùng printf để nối các số lại bằng dấu +, vì thừa 1 dấu + ở đuôi nên ta echo thêm số 0 để cho hợp lệ rồi đưa vào lệnh bc để tính.
$ mawk -F: '{sum += $3} END { print sum }' /etc/passwd 75624
Tương tự cut, ta dùng -F: để chỉ ra sẽ dùng : để phân cách cột, lấy cột số 3 $3, cộng lần lượt các giá trị vào biến sum – khi ta không khai báo, AWK mặc định đó là số 0 nếu thực hiện phép toán với số. Làm như vậy với mỗi dòng (gọi là record trong AWK):
{ sum += $3 }
Và khi hết các dòng (đánh dấu bằng END), ta print ra kết quả
END { print sum }
Khó có thể đánh bại sự ngắn gọn, sạch sẽ này.
Record và field
AWK đọc text vào, mặc định sẽ cắt tại các dấu xuống dòng, tạo thành các record, sau đó mặc định cắt tại dấu space (khoảng trắng), tạo thành các field. Ta hoàn toàn có thể chỉ định AWK cắt ở ký tự khác.
Cấu tạo một chương trình AWK
Một chương trình AWK cấu tạo bởi các câu lệnh (statements) với cú pháp:
pattern { action statements }
Chỉ có vậy. Khi viết vào file thì viết mỗi câu lệnh 1 dòng, nhưng hoàn toàn có thể viết trên 1 dòng.
partern
Có nhiều partern, nhưng 3 partern phổ biến và hữu ích nhất là:
- BEGIN: theo sau là hành động / câu lệnh khi chương trình bắt đầu
- END: theo sau là câu lệnh được chạy khi chương trình kết thúc
- KHÔNG GHI PATTERN: thực hiện câu lệnh này cho mỗi record
Ví dụ
'{sum += $3} END { print sum }'
Ví dụ sau không có BEGIN, với mỗi record ta sẽ cộng dồn, và khi đọc hết các record, ta print ra tổng. Chú ý: dấu ở cuối dòng là cú pháp trong shell cho phép viết 1 dòng thành nhiều dòng, khi chạy AWK chỉ xem toàn bộ chương trình là 1 dòng.
$ echo 'pyminpythonnfamilug' | mawk ' BEGIN { print "the begin" } { printf "got line: %s has length %dn", $0, length($0) } { print "done process line ", NR } END {print "DONE"}' the begin got line: pymi has length 4 done process line 1 got line: python has length 6 done process line 2 got line: familug has length 7 done process line 3 DONE
parttern tìm kiếm
parttern này giúp tìm kiếm các record có chứa một regular expression (hoặc string cố định) và xử lý record đó.
Đếm số dòng chứa từ print:
$ echo -e "printf print nprintf" printf print printf $ echo -e "printf print nprintf" | grep -c print 2 $ echo -e "printf print nprintf" | mawk '/print/ { count += 1 } END { print count }' 2
print và printf là 2 output statements (câu lệnh xử lý đầu ra), không phải function nên không sử dụng cú pháp gọi function print(thing)
$ mawk 'BEGIN { print "hello" }'
hello
variable và field variable
Mỗi record chứa nhiều field, hãy tưởng tượng như 1 dòng spreadsheet/excel có nhiều ô ứng với các cột. Các variable có sẵn:
$0– toàn bộ 1 record (dòng) – chú ý dấu $ dùng để truy cập giá trị của field$1– field 1 (hay có thể nghĩ là cột số 1)$2– field 2- …
$(NF - 1)– field trước cuối cùng$NF– field cuối cùng- NF – số field
- NR – thứ tự của record, tăng dần sau khi xử lý xong mỗi record (số dòng hiện tại)
Khi truy cập biến, không sử dụng thêm bất cứ ký tự nào (khác với bash, bash phải thêm $varname).
$ echo '1, Le Van Xe, 27, Ha Noi, 0990090090' | mawk -F, '{ print $NF}' 0990090090 $ echo '1, Le Van Xe, 27, Ha Noi, 0990090090' | mawk -F, '{ print $0}' 1, Le Van Xe, 27, Ha Noi, 0990090090 $ echo '1, Le Van Xe, 27, Ha Noi, 0990090090' | mawk -F, '{ print NF }' 5
Chỉ cần nắm rõ tên các variable có sẵn này, ta đã có một tool cực mạnh để xử lý dữ liệu dạng bảng như Excel/CSV/SQL.
Các kiểu dữ liệu
AWK có string, số (chia làm float và integer), và array. Ta không bàn tới array ở đây, vì nếu cần lập trình gì phức tạp hơn một câu lệnh AWK đơn giản, ta có thể sử dụng Python cho sạch sẽ, gọn gàng, tiện lợi.
Control flow
Là ngôn ngữ lập trình đầy đủ, AWK có if/else/for/while như các ngôn ngữ lập trình “giống C” khác. Ví dụ đếm số chẵn và số lẻ
$ echo -e '1n2n3n4n20n30' | mawk ' { if ($1 % 2 == 0) { chan += 1 } else { le += 1 } } END { print chan, le }' 5 1
Function
AWK có sẵn các funtion xử lý string, số thì đủ các phép toán, các function sin cos …, người dùng cũng có thể định nghĩa function của họ. Xem thêm ở đây.
Bonus – giải bài projecteuler 1
Tính tổng các số nhỏ hơn 1000 chia hết cho 3 hoặc 5
$ seq 1 999 | mawk '{ if ($1 % 3 == 0 || $i % 5 == 0) sum += $1 } END { print sum }' 233168
Tham khảo
Hết
Bài viết gốc được đăng tải tại pp.pymi.vn
Có thể bạn quan tâm:
- Kinh Nghiệm Học Coding Dành Cho Dân Trái Ngành
- Tìm kiếm siêu nhanh sử dụng Algolia
- 9 công cụ siêu tiện lợi cho cả Developer và Designer
Xem thêm Việc làm Developer hấp dẫn trên Station D
Bạn có thể quan tâm
- Tôi không phải là lập trình viên thực sự?(Công Nghệ)
- Applicant Tracking System là gì? ATS hoạt động ra sao(Cẩm Nang Tuyển Dụng)
- Xây dựng hệ thống referral trong Laravel(Công Nghệ)
