Tuyển tập câu hỏi phỏng vấn Data Engineer mới nhất

Kỹ Năng Mềm
Tuyển tập câu hỏi phỏng vấn Data Engineer mới nhất
Thời kỳ công nghiệp 4.0 với sự phát triển của BigData , AI , Machine Learning ,… tất cả các công nghệ mới hiện nay có một đặc điểm chung là cần phải xử lý dữ liệu ở một tổ chức và quy mô lớn. Cũng vì đó mà ngành kỹ sư dữ liệu trở nên hot hơn bao giờ hết. Data Engineer được rất nhiều công ty tuyển dụng với mức đãi ngộ cao cũng như định hướng tốt trong tương lai. Để chuẩn bị cho buổi phỏng vấn vị trí này, chúng ta cùng nhau tìm hiểu về những câu hỏi phỏng vấn Data Engineer thường gặp nhé. Vai trò của một Data Engineer Data Engineer / Kỹ sư dữ liệu là có nhiệm vụ chính là thu thập, chuẩn bị các dữ liệu và cùng những nhà khoa học, phân tích dữ liệu sử dụng. 3 vai trò của một Data Engineer bao gồm: Generalist – Đảm nhận các công việc tổng quát: thu thập, tải lên, nhập, đồng thời xử lý dữ liệu đầu cuối. Đây là công việc cơ bản của một Data Engineer. Pipeline-centric – Phụ trách mảng Data Pipeline: Data Pipeline hay đường ống dữ liệu là một chuỗi các bước thực hiện theo một trình tự cụ thể để xử lý dữ liệu và chuyển dữ liệu từ hệ thống này sang hệ thống khác. Vai trò này đòi hỏi các kỹ sư dữ liệu cần biết chuyên sâu về hệ thống khoa học máy tính và phân tán. Database-centric – Chuyên về cơ sở dữ liệu: vai trò thiết lập, triển khai, đồng thời duy trì và đưa cơ sở dữ liệu đã phân tích vào hệ thống. Thông thường các hệ thống nơi dữ liệu được phân bố rộng tại...

Thời kỳ công nghiệp 4.0 với sự phát triển của BigData, AI, Machine Learning,… tất cả các công nghệ mới hiện nay có một đặc điểm chung là cần phải xử lý dữ liệu ở một tổ chức và quy mô lớn. Cũng vì đó mà ngành kỹ sư dữ liệu trở nên hot hơn bao giờ hết. Data Engineer được rất nhiều công ty tuyển dụng với mức đãi ngộ cao cũng như định hướng tốt trong tương lai. Để chuẩn bị cho buổi phỏng vấn vị trí này, chúng ta cùng nhau tìm hiểu về những câu hỏi phỏng vấn Data Engineer thường gặp nhé.

Vai trò của một Data Engineer

Data Engineer / Kỹ sư dữ liệu là có nhiệm vụ chính là thu thập, chuẩn bị các dữ liệu và cùng những nhà khoa học, phân tích dữ liệu sử dụng. 3 vai trò của một Data Engineer bao gồm:

  • Generalist – Đảm nhận các công việc tổng quát: thu thập, tải lên, nhập, đồng thời xử lý dữ liệu đầu cuối. Đây là công việc cơ bản của một Data Engineer.
  • Pipeline-centric – Phụ trách mảng Data Pipeline: Data Pipeline hay đường ống dữ liệu là một chuỗi các bước thực hiện theo một trình tự cụ thể để xử lý dữ liệu và chuyển dữ liệu từ hệ thống này sang hệ thống khác. Vai trò này đòi hỏi các kỹ sư dữ liệu cần biết chuyên sâu về hệ thống khoa học máy tính và phân tán.
  • Database-centric – Chuyên về cơ sở dữ liệu: vai trò thiết lập, triển khai, đồng thời duy trì và đưa cơ sở dữ liệu đã phân tích vào hệ thống. Thông thường các hệ thống nơi dữ liệu được phân bố rộng tại nhiều kho Database thì vai trò này phải được đảm nhiệm bởi một kỹ sư, chuyên gia dữ liệu có kinh nghiệm.
Data EngineerData Engineer
Kỹ năng của Data Engineer

Ngôn ngữ lập trình thường sử dụng để xử lý dữ liệu

Data Engineer làm việc với các loại dữ liệu khác nhau thu thập từ nhiều nguồn khác nhau. Điều kiện tiên quyết để trở thành một kỹ sư dữ liệu là biết cách làm việc, thao tác, truy vấn hay quản lý các hệ thống cơ sở dữ liệu. SQL hay ngôn ngữ truy vấn có cấu trúc (Structured Query Language) phục vụ cho công việc này.

Để phục vụ cho quá trình xử lý dữ liệu, cụ thể là viết các ETL scripts trích xuất, chuyển đổi và tải dữ liệu từ hệ thống này sang hệ thống khác, ngôn ngữ lập trình thường được sử dụng là Python. Ưu điểm của Python là khả năng tối ưu hóa các script hỗ trợ thao tác dữ liệu, vì thế rất được ưa chuộng trong ngành xử lý dữ liệu nói riêng và BigData, AI nói chung.

Một ngôn ngữ lập trình thường được sử dụng trong việc phân tích thống kê và trực quan hóa dữ liệu là R, ưu điểm của ngôn ngữ lập trình này là thư viện có sẵn các thuật toán học máy, hồi quy tuyến tính, chuỗi thời gian, suy luận thống kê,… giúp lập trình viên xử lý dữ liệu tối ưu hóa xử lý của mình. 

So sánh SQL và NoSQL

SQL vs NoSQL SQL vs NoSQL

SQL và NoSQL là 2 loại hình cơ sở dữ liệu phổ biến nhất hiện nay. SQL (Structured Query Language) là ngôn ngữ truy vấn có cấu trúc. Nó được dùng để xử lý cơ sở dữ liệu quan hệ như MySQL, Oracle, MS SQL,… NoSQL (Non-Relational SQL) có mục đích sử dụng như SQL nhưng được dành cho các cơ sở dữ liệu không quan hệ, không yêu cầu một lược đồ cố định và có thể dễ dàng mở rộng. NoSQL thường được sử dụng cho các kho dữ liệu phân tán với nhu cầu lưu trữ dữ liệu khổng lồ vì vậy nó thích hợp với các ứng dụng Web thời gian thực hay BigData.

Về loại hình, SQL databases có cấu trúc dựa trên các bảng, các bảng có quan hệ với nhau. NoSQL thì dựa trên cặp tài liệu, cặp khóa giá trị hay cơ sở dữ liệu biểu đồ. NoSQL không có ngôn ngữ Query như cái tên của nó, NoSQL databases cũng dễ dàng mở rộng theo chiều ngang và phù hợp với những bài toán mà dữ liệu ban đầu chưa xác định rõ.

So sánh về hiệu suất thì NoSQL thường được cho là nhanh hơn SQL do không mất nhiều chi phí join hay các đoạn câu lệnh SQL phức tạp cần tối ưu. Ngược lại, SQL sẽ hỗ trợ ràng buộc tốt hơn cho những thao tác update nhiều records trong cùng một transaction, NoSQL có options tương tự nhưng bạn sẽ cần xử lý thủ công hơn trong khi viết code.

Tham khảo việc làm Data Engineer hấp dẫn trên Station D

Sự khác biệt giữa DataLake và DataWarehouse?

DataLake và DataWarehouse đều là những kho lưu trữ dữ liệu dành cho các doanh nghiệp. Điểm khác nhau cơ bản giữa 2 loại kho dữ liệu trên là trong khi DataLake chủ yếu chứa các dữ liệu thô, nguyên gốc; còn dữ liệu trong DataWarehouse cần trải qua bước biến đổi và phân loại dữ liệu từ các nguồn khác nhau trước khi nhập vào kho lưu trữ.

Dữ liệu trong DataLake được giữ nguyên gốc đầu vào vì thế doanh nghiệp cũng tiết kiệm chi phí cho việc biến đổi, phân loại dữ liệu. Ngược lại dữ liệu trong DataWarehouse sẽ trải qua quy trình ETL: Extract – Transform – Load trước khi được nhập kho, sau đó những dữ liệu này được các Data Analyst, Business Analyst hoặc Data Scientist,… sử dụng trực tiếp để báo cáo, phân tích và khai thác dữ liệu; vì vậy doanh nghiệp sử dụng DataWarehouse sẽ cần tốn chi phí cho công việc trên.

Giải thích về kỹ thuật ETL / ELT trong xử lý dữ liệu

ETL viết tắt của Extract, Transform và Load, là một kỹ thuật trích xuất dữ liệu từ các hệ thống nguồn khác nhau sau đó chuyển đổi dữ liệu áp dụng các logic tính toán để tải chúng vào hệ thống kho dữ liệu DataWarehouse.

Flow của ETL có 3 bước:

  1. Extract – trích xuất: thu thập dữ liệu từ các nguồn
  2. Transform  – biến đổi: dựa vào các quy tắc, bảng tra cứu,… kết hợp các dữ liệu khác nhau để biểu dữ liệu thu được từ bước Extract về một dạng biểu mẫu phù hợp vơi cơ sở dữ liệu xây dựng sẵn
  3. Load – tải: quá trình ghi dữ liệu vào đích

ELT là một kỹ thuật khác về luồng xử lý so với ETL. Vẫn giữ 3 bước như trên nhưng bước Load sẽ được thực hiện ngay sau khi trích xuất dữ liệu. Dữ liệu sẽ được sao chép và chuyển đến đích ngay, xong sau đó mới thực hiện bước biến đổi (Transform). Để thực hiện việc này thì ETL chỉ phù hợp với các database NoSQL, với những dữ liệu lớn và việc lưu trữ không yêu cầu phải đúng theo template sẵn có.

Ưu điểm của ELT chính là việc không phụ thuộc tốc độ xử lý dữ liệu ở bước Transform (thường chiếm nhiều thời gian nhất trong phương thức ETL), dữ liệu sau khi được tải có thể được xử lý sau đó mà không lo việc mất mát hay bị ngừng lại trong quá trình biến đổi. Mặc dù vậy nhược điểm của nó chính là độ phức tạp đòi hỏi kiến thức chuyên sâu về các tools sử dụng cũng như kỹ năng chuyên môn.

Có những giai đoạn nào trong quá trình phân tích dữ liệu

4 giai đoạn chính trong quá trình phân tích dữ liệu4 giai đoạn chính trong quá trình phân tích dữ liệu
Nguồn: https://www.enablerspace.com/digitalmarketingtips/understanding-the-different-types-of-data-analysis/

Có 4 giai đoạn chính trong quá trình phân tích dữ liệu:

  • Phân tích mô tả (Descriptive Analytics)

Giai đoạn đầu tiên này giúp tìm hiểu thông tin về quá khứ, hiện tại và xu hướng của dữ liệu. Một số phương pháp phân tích áp dụng trong giai đoạn này gồm: Định lượng hóa dữ liệu, Phân tích biểu đồ và bảng biểu, Tóm tắt thống kê, Đồ thị thời gian và phân tích nhân tố.

  • Phân tích chẩn đoán (Diagnostic Analytics)

Giai đoạn này sử dụng các phương pháp phân tích để giải thích các nguyên nhân hoặc đặc điểm của các hiện tượng hoặc sự kiện trong dữ liệu. Phương pháp phân tích chẩn đoán bao gồm phân tích tương quan, phân tích đa biến, phân tích thành phần chính và phân tích nhân tố.

  • Phân tích tiên đoán (Predictive Analytics)

Phân tích tiên đoán là việc sử dụng các mô hình dữ liệu để dự đoán các sự kiện hoặc xu hướng trong tương lai. Phương pháp sử dụng bao gồm mô hình hồi quy, mô hình chuỗi thời gian, mạng nơ ron và máy học.

  • Phân tích chỉ đạo (Prescriptive Analytics)

Là giai đoạn cuối cùng của phân tích dữ liệu, sử dụng kết quả từ phân tích tiên đoán để đưa ra các quyết định chỉ đạo và lập kế hoạch. Phương pháp sử dụng là tối ưu hóa và mô phỏng.

Nêu một số công cụ biểu diễn trực quan hóa dữ liệu

Kỹ sư dữ liệu cần biết đến các công cụ phân tích và trực quan hóa dữ liệu Bussiness Intelligence nhằm phục vụ việc thiết lập kết nối giữa các DataWarehouse, DataLake cùng với các nguồn dữ liệu đầu vào hay đầu ra khác. Ngoài ra còn để phục vụ cho việc lập báo cáo, lên kế hoạch; một số công cụ biểu diễn trực quan hóa dữ liệu dành cho Data Engineer:

  • Microsoft Power BI
  • Microsoft Excel
  • SAP Business Objects
  • Datapine
  • Oracle BI
  • SAS Business Intelligence
  • MicroStrategy

Kết bài

Trên đây là list những câu hỏi mà bạn sẽ có thể gặp trong buổi phỏng vấn của mình ở vị trí kỹ sư dữ liệu Data Engineer. Hy vọng bài viết hữu ích dành cho các bạn đang muốn tìm một công việc tốt trong ngành này. Hẹn gặp lại các bạn trong các bài viết tiếp theo của mình.

Tác giả: Phạm Minh Khoa

Có thể bạn quan tâm:

Xem thêm Top Việc làm IT trên Station D

Bài viết liên quan

Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Lĩnh vực EdTech (ứng dụng công nghệ vào các sản phẩm giáo dục) trên toàn cầu hiện nay đã tương đối phong phú với nhiều tên tuổi lớn phân phối đều trên các hạng mục như Broad Online Learning Platforms (nền tảng cung cấp khóa học online đại chúng – tiêu biểu như Coursera, Udemy, KhanAcademy,…) Learning Management Systems (hệ thống quản lý lớp học – tiêu biểu như Schoology, Edmodo, ClassDojo,…) Next-Gen Study Tools (công cụ hỗ trợ học tập – tiểu biểu như Kahoot!, Lumosity, Curriculet,…) Tech Learning (đào tạo công nghệ – tiêu biểu như Udacity, Codecademy, PluralSight,…), Enterprise Learning (đào tạo trong doanh nghiệp – tiêu biểu như Edcast, ExecOnline, Grovo,..),… Hiện nay thị trường EdTech tại Việt Nam đã đón nhận khoảng đầu tư khoảng 55 triệu đô cho lĩnh vực này nhiều đơn vị nước ngoài đang quan tâm mạnh đến thị trường này ngày càng nhiều hơn. Là một trong những xu hướng phát triển tốt, và có doanh nghiệp đã hoạt động khá lâu trong ngành nêu tại infographic như Topica, nhưng EdTech vẫn chỉ đang trong giai đoạn sơ khai tại Việt Nam. Tại Việt Nam, hệ sinh thái EdTech trong nước vẫn còn rất non trẻ và thiếu vắng nhiều tên tuổi trong các hạng mục như Enterprise Learning (mới chỉ có MANA), School Administration (hệ thống quản lý trường học) hay Search (tìm kiếm, so sánh trường và khóa học),… Với chỉ dưới 5% số dân công sở có sử dụng một trong các dịch vụ giáo dục online, EdTech cho thấy vẫn còn một thị trường rộng lớn đang chờ được khai phá. *** Vừa qua Station D đã công bố Báo cáo Vietnam IT Landscape 2019 đem đến cái nhìn toàn cảnh về các ứng dụng công...

By stationd
Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bài viết được sự cho phép của tác giả Chung Nguyễn Hôm nay, nhóm Laravel đã phát hành một phiên bản chính mới của “ laravel/installer ” bao gồm hỗ trợ khởi động nhanh các dự án Jetstream. Với phiên bản mới này khi bạn chạy laravel new project-name , bạn sẽ nhận được các tùy chọn Jetstream. Ví dụ: API Authentication trong Laravel-Vue SPA sử dụng Jwt-auth Cách sử dụng Laravel với Socket.IO laravel new foo --jet --dev Sau đó, nó sẽ hỏi bạn thích stack Jetstream nào hơn: Which Jetstream stack do you prefer? [0] Livewire [1] inertia > livewire Will your application use teams? (yes/no) [no]: ... Nếu bạn đã cài bộ Laravel Installer, để nâng cấp lên phiên bản mới bạn chạy lệnh: composer global update Một số trường hợp cập nhật bị thất bại, bạn hãy thử, gỡ đi và cài đặt lại nha composer global remove laravel/installer composer global require laravel/installer Bài viết gốc được đăng tải tại chungnguyen.xyz Có thể bạn quan tâm: Cài đặt Laravel Làm thế nào để chạy Sql Server Installation Center sau khi đã cài đặt xong Sql Server? Quản lý các Laravel route gọn hơn và dễ dàng hơn Xem thêm Tuyển dụng lập trình Laravel hấp dẫn trên Station D

By stationd
Principle thiết kế của các sản phẩm nổi tiếng

Principle thiết kế của các sản phẩm nổi tiếng

Tác giả: Lưu Bình An Phù hợp cho các bạn thiết kế nào ko muốn làm code dạo, design dạo nữa, bạn muốn cái gì đó cao hơn ở tầng khái niệm Nếu lập trình chúng ta có các nguyên tắc chung khi viết code như KISS , DRY , thì trong thiết kế cũng có những nguyên tắc chính khi làm việc. Những nguyên tắc này sẽ là kim chỉ nam, nếu có tranh cãi giữa các member trong team, thì cứ đè nguyên tắc này ra mà giải quyết (nghe hơi có mùi cứng nhắc, mình thì thích tùy cơ ứng biến hơn) Tìm các vị trí tuyển dụng designer lương cao cho bạn Nguyên tắc thiết kế của GOV.UK Đây là danh sách của trang GOV.UK Bắt đầu với thứ user cần Làm ít hơn Thiết kế với dữ liệu Làm mọi thứ thật dễ dàng Lặp. Rồi lặp lại lần nữa Dành cho tất cả mọi người Hiểu ngữ cảnh hiện tại Làm dịch vụ digital, không phải làm website Nhất quán, nhưng không hòa tan (phải có chất riêng với thằng khác) Cởi mở, mọi thứ tốt hơn Bao trừu tượng luôn các bạn, trang Gov.uk này cũng có câu tổng quát rất hay Thiết kế tốt là thiết kế có thể sử dụng. Phục vụ cho nhiều đối tượng sử dụng, dễ đọc nhất nhất có thể. Nếu phải từ bỏ đẹp tinh tế – thì cứ bỏ luôn . Chúng ta tạo sản phẩm cho nhu cầu sử dụng, không phải cho người hâm mộ . Chúng ta thiết kế để cả nước sử dụng, không phải những người đã từng sử dụng web. Những người cần dịch vụ của chúng ta nhất là những người đang cảm thấy khó sử dụng dịch...

By stationd
Applicant Tracking System là gì? ATS hoạt động ra sao

Applicant Tracking System là gì? ATS hoạt động ra sao

Công nghệ phát triển hướng đến giải quyết và cải tiến cho mỗi quy trình, hoạt động của doanh nghiệp cũng như đời sống. Đối với lĩnh vực tuyển dụng, sự xuất hiện của phần mềm ATS (Applicant Tracking System) mang đến nhiều thay đổi đáng kể, cả đối với nhà tuyển dụng và ứng viên. Vậy phần mềm ATS là gì? Chúng được sử dụng ra sao? Những thắc mắc về phần mềm ATS trong tuyển dụng sẽ được Station D giải đáp tại bài viết dưới đây. Hệ thống sàng lọc ứng viên ATS (Applicant Tracking System) Applicant Tracking System là gì? Applicant Tracking System (ATS) hay còn gọi là Hệ thống quản lý hồ sơ ứng viên là phần mềm quản lý quy trình tuyển dụng từ đầu đến cuối một cách tự động hóa. ATS được thiết kế để giúp nhà tuyển dụng tiết kiệm thời gian và chi phí trong việc thu thập, sắp xếp và sàng lọc hồ sơ các ứng viên. Các tính năng nổi bật của Applicant Tracking System Các tính năng nổi bật của Applicant Tracking System Applicant Tracking System (ATS) là một công cụ quan trọng giúp các công ty quản lý quy trình tuyển dụng hiệu quả hơn. Cùng chúng tôi điểm qua các tính năng nổi bật của ATS: Sàng lọc và quản lý hồ sơ ứng viên Khả năng tìm kiếm và sàng lọc ứng viên là một trong các tính năng nổi bật nhất của ATS. Với việc sử dụng từ khóa và tiêu chí cụ thể, hệ thống có thể nhanh chóng tìm kiếm và sàng lọc các hồ sơ phù hợp, tự động loại bỏ những ứng viên không đạt yêu cầu. Điều này giúp nhà tuyển dụng tập trung vào những ứng viên...

By stationd
Hiểu về trình duyệt – How browsers work

Hiểu về trình duyệt – How browsers work

Bài viết được sự cho phép của vntesters.com Khi nhìn từ bên ngoài, trình duyệt web giống như một ứng dụng hiển thị những thông tin và tài nguyên từ server lên màn hình người sử dụng, nhưng để làm được công việc hiển thị đó đòi hỏi trình duyệt phải xử lý rất nhiều thông tin và nhiều tầng phía bên dưới. Việc chúng ta (Developers, Testers) tìm hiểu càng sâu tầng bên dưới để nắm được nguyên tắc hoạt động và xử lý của trình duyệt sẽ rất hữu ích trong công việc viết code, sử dụng các tài nguyên cũng như kiểm thử ứng dụng của mình. Cách để npm packages chạy trong browser Câu hỏi phỏng vấn mẹo về React: Component hay element được render trong browser? Khi hiểu được cách thức hoạt động của trình duyệt chúng ta có thể trả lời được rất nhiều câu hỏi như: Tại sao cùng một trang web lại hiển thị khác nhau trên hai trình duyệt? Tại sao chức năng này đang chạy tốt trên trình duyệt Firefox nhưng qua trình duyệt khác lại bị lỗi? Làm sao để trang web hiển thị nội dung nhanh và tối ưu hơn một chút?… Hy vọng sau bài này sẽ giúp các bạn có một cái nhìn rõ hơn cũng như giúp ích được trong công việc hiện tại. 1. Cấu trúc của một trình duyệt Trước tiên chúng ta đi qua cấu trúc, thành phần chung và cơ bản nhất của một trình duyệt web hiện đại, nó sẽ gồm các thành phần (tầng) như sau: Thành phần nằm phía trên là những thành phần gần với tương tác của người dùng, càng phía dưới thì càng sâu và nặng về xử lý dữ liệu hơn tương tác. Nhiệm...

By stationd
Tối ưu tỉ lệ chuyển đổi với Google Optimize và Google Analytics

Tối ưu tỉ lệ chuyển đổi với Google Optimize và Google Analytics

Tối ưu tỷ lệ chuyển đổi là một trong những yếu tố quan trọng mà một Growth Marketer không thể bỏ qua. Google Analytics là công cụ hữu hiệu và phổ biến nhất giúp chúng ta theo dõi, đo lường và tối ưu tỷ lệ chuyển đổi. Số liệu từ Google Analytics giúp chúng ta nhìn ra điểm cần thay đổi để tăng tỷ lệ chuyển đổi. Theo dõi chuyển đổi là quá trình thiết yếu nhưng cũng rất “khó nhằn”. Ngày nay, mọi người đang sử dụng điện thoại di động nhiều hơn và thường xuyên hơn khi mua hàng trực tuyến. Việc tối ưu hóa website phiên bản di động rất quan trọng. Traffic đến từ mobile khá lớn và làm ảnh hưởng nhiều tới tỷ lệ chuyển đổi. Để xem website của bạn có hoạt động tốt trên mobile hay không như thế nào? Làm gì khi tỷ lệ chuyển đổi giảm? Website phiên bản di động của bạn có nội dung hấp dẫn không? Không có những nút điều hướng hành động? Trang bị lỗi …, những điều này có thể ảnh hưởng tới tỉ lệ chuyển đổi Google Analytics, hiểu được điều này, bạn sẽ có cơ sở để khắc phục và hoàn thiện website của mình. Hãy cùng đến với chủ đề “DÙNG GOOGLE ANALYTICS TỐI ƯU TỈ LỆ CHUYỂN ĐỔI TRÊN MOBILE” với sự chia sẻ của diễn giả Nguyễn Minh Đức, CEO IM GROUP tại Vietnam Mobile Day 2018 nhé

By stationd