Lộ trình từng bước trở thành Machine Learning Engineer

Lập Trình
Lộ trình từng bước trở thành Machine Learning Engineer

Anh em đang trông chờ, háo hức từng bước từng bước một trở thành Machine Learning Engineer?. Nếu đúng, bài viết này đích thị là dành cho anh em.

Trong bài mình sẽ liệt kê đầy đủ, tuần tự 6 bước (cũng có thể xem là 6 kỹ năng) để anh em trở thành Machine Learning Engineer đích thực. Lưu ý là 6 bước là ý kiến tổng hợp và có thể khác đi tuỳ vào trình độ, lộ trình và khả năng tiếp cận của từng anh em nhá.

Trước khi bắt đầu phân tích từng thành phần, để tui liệt kê ra trước cho anh em 6 kỹ năng cần có cho Deep Learning:

1. Kỹ năng toán – Maths Skills.

2. Kỹ năng lập trình – Programming Skills.

3. Kỹ năng xử lý dữ liệu – Data Engineering Skills.

4. Hiểu biết về học máy – Machine Learning Knowledge.

5. Hiểu biết về deep learning – Knowledge of DL Algorithms.

6. Hiểu biết về các deep learning framework – Knowledge of DL Frameworks.

Tại sao lại là Deep Learning?, rồi anh em vào mục 1 sẽ thấy ngay.

1. Deep learning, Machine Learning và Artificial Inte

Đầu tiên, sự khác nhau giữa 3 thanh niên này tóm gọn như sau:

Machine learning and deep learning are both types of AI. In short, machine learning is AI that can automatically adapt with minimal human interference. Deep learning is a subset of machine learning that uses artificial neural networks to mimic the learning process of the human brain.

Machine learning và deep learning đều là một loại của AI (trí tuệ nhân tạo). Nói ngắn gọn, machine learning là trí tuệ nhân tạo có thể tự động thích ứng với sự can thiệp tối thiểu từ con người (chủ yếu là máy làm). Còn deep learning là một tập hợp con của machine learning sử dụng mạng trí tuệ nhân tạo để huấn luyện cho máy học như con người.

Vậy từ đó ta hiểu ra, deep learning và thành phần con, nằm trong cái khái niệm rộng hơn là machine learning (học máy)

Machine Learning EngineerMachine Learning Engineer

Chính vì Deep learning là cái cốt lõi, nên lộ trình trở thành Machine Learning Engineer chính xác hơn phải bắt đầu từ Deep Learning skill.

2. Kỹ năng toán – Math skills

Không ngoa mà cũng giống như các meme thường có trên mạng. Machine Learning Engineer thì bước đầu tiên và phải có là kỹ năng toán học. Toán học giúp ta có thể hiểu được các thuật toán deep learning và machine learning hoạt động như thế nào?. Bao gồm 3 thành phần nhỏ:

Cùng điểm qua các hạng mục này yêu cầu gì nhé.

2.1 Xác suất và thống kê – Probability & Statistics

Cơ bản của xác suất có định lý Bayes. Định lý này sử dụng trong thuật toán Naive Bayes để phân loại dữ liệu, kế tiếp là Probability Distribution, thường được sử dụng để xác định tần suất một sự kiện có thể xảy ra. Cũng cần tìm hiểu thêm về lấy mẫu (Sampling) và kiểm tra giả thuyết (hypothesis testing)

2.2 Đại số tuyến tính – Linear Algebra

Trong đại số tuyến tính thì có hai khái niệm chính thường được sử dụng là deep learning (học sâu) và machine learning (học máy). Matrices (ma trận) và các vector được sử dụng để nhận dạng hình ảnh. Những hình ảnh mà ta muốn nhận dạng được hiểu ở dạng ma trận.

2.3 Giải tích – Calculus

Giải tích, môn học thần thánh ám ảnh từ hồi cấp 3 sẽ quay trở lại nếu như anh em dấn thân vào con đường Machine Learning Engineer.

Trong giải tích, anh em có hai cái là phép tính vi phân và phép tính tích phân. Hai ông thần này giúp ta xác định xác suất của các sự kiện. Ví dụ, trong việc tìm xác suất trong thuật toán Naive Bayes.

Trên đây chỉ là 3 subject cơ bản khuyến nghị cho anh em, còn lại anh em có thể tìm hiểu thêm các subject khác. Nói chung là càng giỏi về toán càng tốt, tiến về ML càng nhanh, chả mất vào đâu cả.

Machine Learning EngineerMachine Learning Engineer Chốt kèo anh em bình tĩnh, không toán là không làm được đâu

3. Kỹ năng lập trình – Programming language

Bản thân Machine Learning Engineer có từ Engineer (kỹ sư). Nếu anh em đi theo hướng nghiên cứu thì khỏi bàn đi ha. Còn theo hướng ML thì kỹ năng lập trình (programming language) là yếu tố bắt buộc để anh em có thể trở thành expert.

Có rất nhiều rất nhiều ngôn ngữ lập trình ngoài kia anh em có thể học. Trong phạm vi bài viết này xin phép được giới thiệu 4 ngôn ngữ sau:

  • Python.
  • R.
  • C.
  • Java.

Trong 4 ngôn ngữ này, Python và R là hai ngôn ngữ phù hợp nhất cho deep learning và machine learning. Mình suggest cho anh em go với Python và R. Nếu là beginner thì start với Python có vẻ là dễ thở nhất, dễ học nhất.

4. Kỹ năng xử lý dữ liệu – Data Engineering Skills

Có kiến thức về Deep learning, giỏi toán, thành thạo ngôn ngữ lập trình. Mỗi kỹ năng như một phát mài cho cây kiếm sắc bén của anh em. Nhưng giờ chém vào đâu?. Chả lẽ chém vào không khí, không, chém vào dữ liệu. Đối với anh em Machine Learning thì có dữ liệu là có tất cả. Vậy kỹ năng tiếp theo để trở thành Machine Learning Engineer là Data Engineering Skills

Kỹ năng cụ thể ở đây cần có là Data Wrangling (bóc tách dữ liệu), dịch nếu có hơi không sát tí mong anh em thông cảm, nghĩa thì như nhau. Bóc tách là biến dữ liệu thô đầu vào thành dữ liệu tinh tuý đầu ra.

4.1 Xử lý tiền dữ liệu

Machine Learning cần một lượng lớn dữ liệu để học, bước đầu tiên và tiền xử lý dữ liệu, trong Data Wrangling bao gồm các thành phần sau:

  • Cleaning – làm sạch
  • Parsing – chuyển đổi
  • Correcting – làm đúng
  • Consolidating – hợp nhất

Machine Learning EngineerMachine Learning Engineer Các thành phần của Data Wrangling

4.2 ETL (Extraction, Transformation, Load) – Khai thác, chuyển đổi, tải

Khai thác ở đây được hiểu là kỹ năng trích xuất dữ liệu từ các máy chủ. Chuyển đổi ở đây là chuyển đổi sang định dạng phù hợp cho bạn sử dụng. Tải ở đây được hiểu là tải các dữ liệu đã được xử lý để sử dụng trong nghiên cứu của mình.

Cuối cùng là hiểu biết về cơ sở dữ liệu

4.3 Hiểu biết về hệ cơ sở dữ liệu

Deep learning liên quan tới dữ liệu, mà dữ liệu thì không thể bảo là chỉ lưu một cục hổ lốn trong csv hay excel. Nên hiểu biết về hệ cơ sở dữ liệu cũng là điều bắt buộc anh em cần có.

Bảo là hiểu hết như ông DBA thì không cần, nhưng anh em cần có hiểu biết nhất định về SQL, NoSQL, một số hệ quản trị phổ biến như là MySQL và Oracle.

5. Hiểu biết về deep learning – các khái niệm chính

Sau khi đã nắm trong tay, có hiểu biết về từng bước để trở thành Machine Learning Engineer thì bước tiếp theo đây, không kém phần quan trọng là concepts của ML.

Một số thuật toán anh em cần thiết phải nắm cơ bản:

  • Naive Bayes.
  • Support Vector Machine.
  • K nearest Neighbour.
  • Linear Regression.
  • Logistic Regression.
  • Decision Tree.
  • Random Forest.
  • K means Clustering.
  • Hierarchical Clustering.
  • Apriori.

Các thuật toán trên đây chủ yếu chia thành 2 loại (Classification Category – phân loại) và (Clustering Category – phân nhóm). Trong phân nhóm lại chia thành hai loại nữa là phân nhóm và hồi quy (regression).

Hồi quy sử dụng để đưa ra dự đoán cho dữ liệu, trong khi phân loại chia dữ liệu thành các loại khác nhau.

6. Hiểu biết về thuật toán deep learning

Sau khi đã nắm rõ và hiểu về cách phân loại, khái niệm liên quan tới deep learning thì giờ là lúc cho thuật toán algorithm (a lờ go ri thầm). Những thứ phổ biến và thông dụng thường được sử dụng của thuật toán Deep learning là:

  • Artificial Neural Network.
  • Convolutional Neural Network.
  • Recurrent Neural Network.
  • Generative Adversarial Network.
  • Deep Belief Network.
  • Long Short Term Memory Network.

Machine Learning EngineerMachine Learning Engineer

Do bài viết nhắm tới việc làm rõ từng bước từng bước để trở thành Machine Learning Engineer nên mình sẽ không đi sâu vào từng thuật toán. Vả lại từng thuật toán để làm rõ được chắc phải cần ít nhất 3 bài =)).

7. Có kinh nghiệm với deep learning framework

Sau khi đã đi theo 4 bước:

  1. Hiểu vấn đề
  2. Lựa chọn thuật toán có thể giải quyết được vấn đề
  3. Tạo ra model với một hoặc nhiều thuật toán
  4. Tối ưu model để có độ chính xác tốt nhất

Để tự giải quyết cho mình các vấn đề bằng Machine Learning, giờ là lúc anh em cần tới sức mạnh của Framework. Bản thân các ML framework cũng như framework trong các lĩnh vực khác, bản thân nó hỗ trợ rất nhiều công cụ, thư viện để làm việc nhanh chóng, thuận tiện và an toàn hơn.

Dưới đây là một số ML frameworks tiêu biểu anh em có thể tìm hiểu (má líu lưỡi)

  • TensorFlow.
  • Theano.
  • scikit learn.
  • PyTorch.
  • Keras.
  • DL4J.
  • Caffe.
  • Microsoft Cognitive Toolkit.

Cùng lướt qua một số frameworks tiêu biểu để xem có gì hút hàng nha:

7.1 Tensorflow

Tensorflow là framework tiêu biểu được sử dụng rộng rãi cho ML và DL. Tensor là open source, thường dùng để tính toán số liệu bằng biểu đồ luông dữ liệu (data flow).

Machine Learning EngineerMachine Learning Engineer TensorFlow, vị thần trong các vị thần

7.2 Theano

Theano giúp anh em xác định, tối ưu hóa và đánh giá các phép toán. Một số thư viện nổi tiếng của nó bao gồm LASAGNE, BLOCKS và KERAS. Hẳn là anh em nếu sử dụng framework này chắc đã một lần dùng qua

Anh em có thể tham khảo tin tuyển dụng kỹ sư Machine Learning tại đây nha. Biết đâu có thể bắt đầu hoặc chuyển đổi bước ngoặt mới cho sự nghiệp của mình.

Cảm ơn anh em đã đọc bài, thank you for your time – Happy coding!

Tác giả: Kiên Nguyễn

Xem thêm:

Việc làm IT lương cao, đãi ngộ hấp dẫn có trên Station D. Ứng tuyển ngay!

Bài viết liên quan

Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Lĩnh vực EdTech (ứng dụng công nghệ vào các sản phẩm giáo dục) trên toàn cầu hiện nay đã tương đối phong phú với nhiều tên tuổi lớn phân phối đều trên các hạng mục như Broad Online Learning Platforms (nền tảng cung cấp khóa học online đại chúng – tiêu biểu như Coursera, Udemy, KhanAcademy,…) Learning Management Systems (hệ thống quản lý lớp học – tiêu biểu như Schoology, Edmodo, ClassDojo,…) Next-Gen Study Tools (công cụ hỗ trợ học tập – tiểu biểu như Kahoot!, Lumosity, Curriculet,…) Tech Learning (đào tạo công nghệ – tiêu biểu như Udacity, Codecademy, PluralSight,…), Enterprise Learning (đào tạo trong doanh nghiệp – tiêu biểu như Edcast, ExecOnline, Grovo,..),… Hiện nay thị trường EdTech tại Việt Nam đã đón nhận khoảng đầu tư khoảng 55 triệu đô cho lĩnh vực này nhiều đơn vị nước ngoài đang quan tâm mạnh đến thị trường này ngày càng nhiều hơn. Là một trong những xu hướng phát triển tốt, và có doanh nghiệp đã hoạt động khá lâu trong ngành nêu tại infographic như Topica, nhưng EdTech vẫn chỉ đang trong giai đoạn sơ khai tại Việt Nam. Tại Việt Nam, hệ sinh thái EdTech trong nước vẫn còn rất non trẻ và thiếu vắng nhiều tên tuổi trong các hạng mục như Enterprise Learning (mới chỉ có MANA), School Administration (hệ thống quản lý trường học) hay Search (tìm kiếm, so sánh trường và khóa học),… Với chỉ dưới 5% số dân công sở có sử dụng một trong các dịch vụ giáo dục online, EdTech cho thấy vẫn còn một thị trường rộng lớn đang chờ được khai phá. *** Vừa qua Station D đã công bố Báo cáo Vietnam IT Landscape 2019 đem đến cái nhìn toàn cảnh về các ứng dụng công...

By stationd
Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bài viết được sự cho phép của tác giả Chung Nguyễn Hôm nay, nhóm Laravel đã phát hành một phiên bản chính mới của “ laravel/installer ” bao gồm hỗ trợ khởi động nhanh các dự án Jetstream. Với phiên bản mới này khi bạn chạy laravel new project-name , bạn sẽ nhận được các tùy chọn Jetstream. Ví dụ: API Authentication trong Laravel-Vue SPA sử dụng Jwt-auth Cách sử dụng Laravel với Socket.IO laravel new foo --jet --dev Sau đó, nó sẽ hỏi bạn thích stack Jetstream nào hơn: Which Jetstream stack do you prefer? [0] Livewire [1] inertia > livewire Will your application use teams? (yes/no) [no]: ... Nếu bạn đã cài bộ Laravel Installer, để nâng cấp lên phiên bản mới bạn chạy lệnh: composer global update Một số trường hợp cập nhật bị thất bại, bạn hãy thử, gỡ đi và cài đặt lại nha composer global remove laravel/installer composer global require laravel/installer Bài viết gốc được đăng tải tại chungnguyen.xyz Có thể bạn quan tâm: Cài đặt Laravel Làm thế nào để chạy Sql Server Installation Center sau khi đã cài đặt xong Sql Server? Quản lý các Laravel route gọn hơn và dễ dàng hơn Xem thêm Tuyển dụng lập trình Laravel hấp dẫn trên Station D

By stationd
Principle thiết kế của các sản phẩm nổi tiếng

Principle thiết kế của các sản phẩm nổi tiếng

Tác giả: Lưu Bình An Phù hợp cho các bạn thiết kế nào ko muốn làm code dạo, design dạo nữa, bạn muốn cái gì đó cao hơn ở tầng khái niệm Nếu lập trình chúng ta có các nguyên tắc chung khi viết code như KISS , DRY , thì trong thiết kế cũng có những nguyên tắc chính khi làm việc. Những nguyên tắc này sẽ là kim chỉ nam, nếu có tranh cãi giữa các member trong team, thì cứ đè nguyên tắc này ra mà giải quyết (nghe hơi có mùi cứng nhắc, mình thì thích tùy cơ ứng biến hơn) Tìm các vị trí tuyển dụng designer lương cao cho bạn Nguyên tắc thiết kế của GOV.UK Đây là danh sách của trang GOV.UK Bắt đầu với thứ user cần Làm ít hơn Thiết kế với dữ liệu Làm mọi thứ thật dễ dàng Lặp. Rồi lặp lại lần nữa Dành cho tất cả mọi người Hiểu ngữ cảnh hiện tại Làm dịch vụ digital, không phải làm website Nhất quán, nhưng không hòa tan (phải có chất riêng với thằng khác) Cởi mở, mọi thứ tốt hơn Bao trừu tượng luôn các bạn, trang Gov.uk này cũng có câu tổng quát rất hay Thiết kế tốt là thiết kế có thể sử dụng. Phục vụ cho nhiều đối tượng sử dụng, dễ đọc nhất nhất có thể. Nếu phải từ bỏ đẹp tinh tế – thì cứ bỏ luôn . Chúng ta tạo sản phẩm cho nhu cầu sử dụng, không phải cho người hâm mộ . Chúng ta thiết kế để cả nước sử dụng, không phải những người đã từng sử dụng web. Những người cần dịch vụ của chúng ta nhất là những người đang cảm thấy khó sử dụng dịch...

By stationd
Applicant Tracking System là gì? ATS hoạt động ra sao

Applicant Tracking System là gì? ATS hoạt động ra sao

Công nghệ phát triển hướng đến giải quyết và cải tiến cho mỗi quy trình, hoạt động của doanh nghiệp cũng như đời sống. Đối với lĩnh vực tuyển dụng, sự xuất hiện của phần mềm ATS (Applicant Tracking System) mang đến nhiều thay đổi đáng kể, cả đối với nhà tuyển dụng và ứng viên. Vậy phần mềm ATS là gì? Chúng được sử dụng ra sao? Những thắc mắc về phần mềm ATS trong tuyển dụng sẽ được Station D giải đáp tại bài viết dưới đây. Hệ thống sàng lọc ứng viên ATS (Applicant Tracking System) Applicant Tracking System là gì? Applicant Tracking System (ATS) hay còn gọi là Hệ thống quản lý hồ sơ ứng viên là phần mềm quản lý quy trình tuyển dụng từ đầu đến cuối một cách tự động hóa. ATS được thiết kế để giúp nhà tuyển dụng tiết kiệm thời gian và chi phí trong việc thu thập, sắp xếp và sàng lọc hồ sơ các ứng viên. Các tính năng nổi bật của Applicant Tracking System Các tính năng nổi bật của Applicant Tracking System Applicant Tracking System (ATS) là một công cụ quan trọng giúp các công ty quản lý quy trình tuyển dụng hiệu quả hơn. Cùng chúng tôi điểm qua các tính năng nổi bật của ATS: Sàng lọc và quản lý hồ sơ ứng viên Khả năng tìm kiếm và sàng lọc ứng viên là một trong các tính năng nổi bật nhất của ATS. Với việc sử dụng từ khóa và tiêu chí cụ thể, hệ thống có thể nhanh chóng tìm kiếm và sàng lọc các hồ sơ phù hợp, tự động loại bỏ những ứng viên không đạt yêu cầu. Điều này giúp nhà tuyển dụng tập trung vào những ứng viên...

By stationd
Hiểu về trình duyệt – How browsers work

Hiểu về trình duyệt – How browsers work

Bài viết được sự cho phép của vntesters.com Khi nhìn từ bên ngoài, trình duyệt web giống như một ứng dụng hiển thị những thông tin và tài nguyên từ server lên màn hình người sử dụng, nhưng để làm được công việc hiển thị đó đòi hỏi trình duyệt phải xử lý rất nhiều thông tin và nhiều tầng phía bên dưới. Việc chúng ta (Developers, Testers) tìm hiểu càng sâu tầng bên dưới để nắm được nguyên tắc hoạt động và xử lý của trình duyệt sẽ rất hữu ích trong công việc viết code, sử dụng các tài nguyên cũng như kiểm thử ứng dụng của mình. Cách để npm packages chạy trong browser Câu hỏi phỏng vấn mẹo về React: Component hay element được render trong browser? Khi hiểu được cách thức hoạt động của trình duyệt chúng ta có thể trả lời được rất nhiều câu hỏi như: Tại sao cùng một trang web lại hiển thị khác nhau trên hai trình duyệt? Tại sao chức năng này đang chạy tốt trên trình duyệt Firefox nhưng qua trình duyệt khác lại bị lỗi? Làm sao để trang web hiển thị nội dung nhanh và tối ưu hơn một chút?… Hy vọng sau bài này sẽ giúp các bạn có một cái nhìn rõ hơn cũng như giúp ích được trong công việc hiện tại. 1. Cấu trúc của một trình duyệt Trước tiên chúng ta đi qua cấu trúc, thành phần chung và cơ bản nhất của một trình duyệt web hiện đại, nó sẽ gồm các thành phần (tầng) như sau: Thành phần nằm phía trên là những thành phần gần với tương tác của người dùng, càng phía dưới thì càng sâu và nặng về xử lý dữ liệu hơn tương tác. Nhiệm...

By stationd
Tối ưu tỉ lệ chuyển đổi với Google Optimize và Google Analytics

Tối ưu tỉ lệ chuyển đổi với Google Optimize và Google Analytics

Tối ưu tỷ lệ chuyển đổi là một trong những yếu tố quan trọng mà một Growth Marketer không thể bỏ qua. Google Analytics là công cụ hữu hiệu và phổ biến nhất giúp chúng ta theo dõi, đo lường và tối ưu tỷ lệ chuyển đổi. Số liệu từ Google Analytics giúp chúng ta nhìn ra điểm cần thay đổi để tăng tỷ lệ chuyển đổi. Theo dõi chuyển đổi là quá trình thiết yếu nhưng cũng rất “khó nhằn”. Ngày nay, mọi người đang sử dụng điện thoại di động nhiều hơn và thường xuyên hơn khi mua hàng trực tuyến. Việc tối ưu hóa website phiên bản di động rất quan trọng. Traffic đến từ mobile khá lớn và làm ảnh hưởng nhiều tới tỷ lệ chuyển đổi. Để xem website của bạn có hoạt động tốt trên mobile hay không như thế nào? Làm gì khi tỷ lệ chuyển đổi giảm? Website phiên bản di động của bạn có nội dung hấp dẫn không? Không có những nút điều hướng hành động? Trang bị lỗi …, những điều này có thể ảnh hưởng tới tỉ lệ chuyển đổi Google Analytics, hiểu được điều này, bạn sẽ có cơ sở để khắc phục và hoàn thiện website của mình. Hãy cùng đến với chủ đề “DÙNG GOOGLE ANALYTICS TỐI ƯU TỈ LỆ CHUYỂN ĐỔI TRÊN MOBILE” với sự chia sẻ của diễn giả Nguyễn Minh Đức, CEO IM GROUP tại Vietnam Mobile Day 2018 nhé

By stationd