Parsing HTML sử dụng volley và jsoup

Công Nghệ
Parsing HTML sử dụng volley và jsoup
Bài viết được sự cho phép của tác giả Trần Thị Thu Hà Hôm nay là ngày thứ 7, cuối tuần, tôi mới có thời gian thoải mái đắm chìm trong một vài bài nhạc Trịnh du dương,ngọt ngào cùng nhấm nháp thứ chất lỏng đen sì , chát đắng sặc mùi hóa chất mà người ta vẫn hay kháo nhau bằng cái tên rất mĩ miều “cafe” .Chết lảm nhảm rồi!!! 5 bước tìm hiểu sơ lược thành phần một web HTML động Cách để tạo một Switch trên iPhone bằng HTML và CSS Đây là một bài chia sẻ. Chuẩn đấy! Mặc dù nó được tôi viết (chính xác là đánh máy), nhưng nó chỉ là một bài chia sẻ . Chắc chắn không phải là một giáo án hay đại loại thế, đừng nhầm! Giáo án thuộc một phạm trù gì đó dành cho nhà giáo đáng kính , hay các expert cao quý .Còn tôi, đơn thuần là một anh chàng đang trong tuổi ăn , tuổi học loay hoay tập code kể lại mấy hoạt động testing với cái gọi là parsing HTML . Thế nên, xin nhắc lại lần nữa: Đây, là một bài chia sẻ :)) .Ấy lại lảm nhảm rồi Nhưng bắt đầu từ đâu đây? Html , jsoup … Thực ra thì cái nào cũng quan trọng với bài này, khi bạn click vào link này thì chắc là bạn có lướt qua một trong những khái niệm trên rồi nhỉ .Nếu không thì các bạn vào từng cái để tìm hiểu đã nhé Thôi , có vẻ hơi lan man . Chúng ta vào phần chính, à mà quên. nhược điểm của việc bóc tách theo dạng này là rất tốn băng thông nhé vì phải download cả file html,...

Bài viết được sự cho phép của tác giả Trần Thị Thu Hà

Hôm nay là ngày thứ 7, cuối tuần, tôi mới có thời gian thoải mái đắm chìm trong một vài bài nhạc Trịnh du dương,ngọt ngào  cùng nhấm nháp thứ chất lỏng đen sì , chát đắng  sặc mùi hóa chất mà người ta vẫn hay kháo nhau bằng cái tên rất mĩ miều “cafe” .Chết lảm nhảm rồi!!!

Đây là một bài chia sẻ. Chuẩn đấy! Mặc dù nó được tôi viết (chính xác là đánh máy), nhưng nó chỉ là một bài chia sẻ . Chắc chắn không phải là một giáo án hay đại loại thế, đừng nhầm! Giáo án thuộc một phạm trù gì đó dành cho nhà giáo đáng kính , hay các expert cao quý .Còn tôi, đơn thuần là một anh chàng đang trong tuổi ăn , tuổi học loay hoay tập code kể lại mấy hoạt động  testing với cái gọi là parsing HTML. Thế nên, xin nhắc lại lần nữa: Đây, là một bài chia sẻ :)) .Ấy lại lảm nhảm rồi

Nhưng bắt đầu từ đâu đây? Htmljsoup

Thực ra thì cái nào cũng quan trọng với bài này, khi bạn click vào link này thì chắc là bạn có lướt qua một trong những khái niệm trên rồi nhỉ .Nếu không thì các bạn vào từng cái để tìm hiểu đã nhé

Thôi , có vẻ hơi lan man . Chúng ta vào phần chính, à mà quên. nhược điểm của việc bóc tách theo dạng này là rất tốn băng thông nhé vì phải download cả file html, và app rất dễ tèo (app phụ thuộc hoàn toàn vào web theo một cách hoàn toàn bị động)

Thôi zô nào

Cấu trúc của project :

1   Interfaces

2  IHTMLParser

3  IAsyncCallback

Tiếp theo là thư viện sử dụng , các bạn nhớ add đầy đủ nhé

Chúng ta sẽ xử lý Networking thông qua thư viện volley.Nói về volley thì các bạn cũng biết ưu điểm của nó là gì rồi,Các bạn vào đây tìm hiểu thêm

Màn khởi động thế là ổn rồi :).Chúng ta đến với class đầu tiên

BaseApplication

ở đây tôi sử dụng Singleton Pattern mục đích là đảm bảo tại mỗi thời điểm nó được gọi thì chỉ có mỗi nó được tạo ra

public class BaseApplication extends Application {

private static BaseApplication sInstance;
private RequestQueue mRequestQueue;

public synchronized static BaseApplication getInstance() {
return sInstance;
}

public RequestQueue getRequestQueue() {
return mRequestQueue;
}

@Override
public void onCreate() {
super.onCreate();
sInstance = this;
mRequestQueue = Volley.newRequestQueue(this);
}
}

Tiếp theo là 2 Interface IHTMLParser và IAsyncCallback 

package vn.com.vdc.myapplication.webrequesthandler;

public interface IAsyncCallback {
     void onComplete(WebResponse responseContent);
     void onError(String errorData);
}
package vn.com.vdc.myapplication.webrequesthandler;

import vn.com.vdc.myapplication.entities.BaseObject;

public interface IHTMLParser {
BaseObject parseHTML(String htmlToParse);
}

Chúng ta đến với class BaseHttpRequest

ở class này tôi xử lí các response.Các bạn chú ý đoạn xử lý dữ liệu này với AsyncTask nhé

HTMLParseAsyncTask task = new HTMLParseAsyncTask();
                task.setCurrentRequest(BaseHttpRequest.this);
                task.executeOnExecutor(AsyncTask.THREAD_POOL_EXECUTOR, response);

toàn bộ code class BaseHttpRequest

package vn.com.vdc.myapplication.webrequesthandler;

import android.app.Activity;
import android.app.ProgressDialog;
import android.content.Context;
import android.os.AsyncTask;

import com.android.volley.Request;
import com.android.volley.RequestQueue;
import com.android.volley.Response;
import com.android.volley.VolleyError;
import com.android.volley.toolbox.StringRequest;

import java.io.PrintWriter;
import java.io.StringWriter;

public class BaseHttpRequest {

ProgressDialog progressDialog;
int responseCode;
IAsyncCallback callback;
Response.Listener stringResponseListener;
private IHTMLParser htmlParser;
private String url;

//Nếu giá trị trả về lỗi
Response.ErrorListener errorListener = new Response.ErrorListener() {
@Override
public void onErrorResponse(VolleyError error) {
StringWriter errors = new StringWriter();
error.printStackTrace(new PrintWriter(errors));
dismissProgressDialog();
callback.onError(error.toString());
}
};
private Context context;

public BaseHttpRequest(Activity localActivity,
String url) {

context = localActivity;
this.url = url;
setListeners();
}
public IHTMLParser getHtmlParser() {
return htmlParser;
}

public void setHtmlParser(IHTMLParser htmlParser) {
this.htmlParser = htmlParser;
}

public IAsyncCallback getCallback() {
return callback;
}

public Context getContext() {
return context;
}

private void setListeners() {
stringResponseListener = new Response.Listener() {
@Override
public void onResponse(String response) {
HTMLParseAsyncTask task = new HTMLParseAsyncTask();
task.setCurrentRequest(BaseHttpRequest.this);
task.executeOnExecutor(AsyncTask.THREAD_POOL_EXECUTOR, response);
}
};
}

public void dismissProgressDialog() {
if (progressDialog != null && progressDialog.isShowing()) {
progressDialog.dismiss();
}
}

public void execute(IAsyncCallback callback, RequestQueue requestQueue) {
this.callback = callback;
progressDialog = new ProgressDialog(getContext());
progressDialog.setCancelable(false);
progressDialog.setMessage("Please wait...");
dismissProgressDialog();
progressDialog.show();
addToRequestQueue(requestQueue, getStringRequest());
}

public  void addToRequestQueue(RequestQueue requestQueue, Request req) {
requestQueue.add(req);
}

Request getStringRequest() {
return new StringRequest(Request.Method.GET, url, stringResponseListener, errorListener);
}
}

Ok, Tiếp theo là class HTMLParseAsyncTask 

Xử lý đa luồng , tôi dùng AsyncTask ,gọn gàng và sạch sẽ :))

Nó sẽ thực hiện parsing dữ liệu thông qua param truyền vào

baseObject = getCurrentRequest().getHtmlParser().parseHTML(params[0]);

Toàn bộ class HTMLParseAsyncTask 

package vn.com.vdc.myapplication.webrequesthandler;

import android.os.AsyncTask;

import vn.com.vdc.myapplication.entities.BaseObject;

public class HTMLParseAsyncTask extends AsyncTask<String, Void, Void> {

private BaseObject baseObject;
private BaseHttpRequest currentRequest;

public BaseHttpRequest getCurrentRequest() {
return currentRequest;
}

public void setCurrentRequest(BaseHttpRequest currentRequest) {
this.currentRequest = currentRequest;
}

@Override
protected void onPreExecute() {
super.onPreExecute();
}

@Override
protected Void doInBackground(String... params) {
if (getCurrentRequest().getHtmlParser() != null) {
baseObject = getCurrentRequest().getHtmlParser().parseHTML(params[0]);
}
return null;
}

@Override
protected void onPostExecute(Void result) {
getCurrentRequest().dismissProgressDialog();
try {
WebResponse webResponse = new WebResponse(baseObject);
getCurrentRequest().getCallback().onComplete(webResponse);

} catch (Exception exception) {
exception.printStackTrace();
}
}
}

Với class  SmartjobParser

ở class này chúng ta thao tác trực tiếp với Jsoup .Các bạn chú ý hàm này

doc.getElementsByTag("title");

Nó sẽ trả về một chuỗi có tag name là “tittle”,ngoài ra các bạn có thể thay đổi các hàm khác để test

Tiếp theo thì tôi đưa text vừa get về được vào array và add url vào cho phần tử đó

for (Element anchor : anchors) {
post = new Smartjop();
post.setURL(anchor.attr("href"));
post.setText(anchor.text());
response.getPosts().add(post);
}

Toàn bộ class SmartjobParser 

package vn.com.vdc.myapplication.parsers;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.util.ArrayList;

import vn.com.vdc.myapplication.entities.Smartjop;
import vn.com.vdc.myapplication.webrequesthandler.IHTMLParser;

public class SmartjobParser implements IHTMLParser {
@Override
public BaseObject parseHTML(String htmlToParse) {
BlogResponse response = new BlogResponse();
try {
Document doc = Jsoup.parse(htmlToParse);
response.setPosts(new ArrayList());
Smartjop post;
Elements anchors = doc.getElementsByTag("title");
for (Element anchor : anchors) {
post = new Smartjop();
post.setURL(anchor.attr("href"));
post.setText(anchor.text());
response.getPosts().add(post);
}
} catch (Exception exception) {
exception.printStackTrace();
}
return response;
}
}

Cuối cùng là MainActivity

ở đây tôi sử dụng listview để show dữ liệu .Các bạn chưa rõ về listview ,adapter có thể vào đây ,một bài viết khá đầy đủ của một dev nữ rất xinh gái :)) để tham khảo nhé

Tôi sử dụng url để parsing “http://bigidol.vn/su-kien/57f74bd1a56da1e02756a9f2.html”

package vn.com.vdc.myapplication;

import android.app.Activity;
import android.content.Intent;
import android.net.Uri;
import android.os.Bundle;
import android.support.v4.app.FragmentActivity;
import android.view.LayoutInflater;
import android.view.View;
import android.view.ViewGroup;
import android.widget.AdapterView;
import android.widget.BaseAdapter;
import android.widget.Button;
import android.widget.ListView;
import android.widget.TextView;
import android.widget.Toast;

import java.util.ArrayList;

import vn.com.vdc.myapplication.common.BaseApplication;
import vn.com.vdc.myapplication.entities.BlogResponse;
import vn.com.vdc.myapplication.entities.Smartjop;
import vn.com.vdc.myapplication.parsers.SmartjobParser;
import vn.com.vdc.myapplication.webrequesthandler.BaseHttpRequest;
import vn.com.vdc.myapplication.webrequesthandler.IAsyncCallback;
import vn.com.vdc.myapplication.webrequesthandler.WebResponse;

public class MainActivity extends FragmentActivity {

Button button;
ListView listView;
BlogResponse blogPosts;

@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
button = (Button) findViewById(R.id.button);
listView = (ListView) findViewById(R.id.listView);

button.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
try {
BaseHttpRequest request = new BaseHttpRequest(MainActivity.this, "http://bigidol.vn/su-kien/57f74bd1a56da1e02756a9f2.html");
request.setHtmlParser(new SmartjobParser());
IAsyncCallback callback = new IAsyncCallback() {
@Override
public void onComplete(WebResponse responseContent) {
blogPosts = (BlogResponse) responseContent.getTypedObject();
listView.setAdapter(new SmartjobAdapter(MainActivity.this));
}

@Override
public void onError(String errorData) {
Toast.makeText(MainActivity.this, errorData, Toast.LENGTH_SHORT).show();
}
};
request.execute(callback, BaseApplication.getInstance().getRequestQueue());
} catch (Exception e) {
Toast.makeText(MainActivity.this, "Some error occurred.", Toast.LENGTH_SHORT).show();
e.printStackTrace();
}
}
});

listView.setOnItemClickListener(new AdapterView.OnItemClickListener() {
@Override
public void onItemClick(AdapterView<?> adapterView, View view, int i, long l) {
try {
MainActivity.this.startActivity(new Intent(Intent.ACTION_VIEW, Uri
.parse(blogPosts.getPosts().get(i).getURL())));
} catch (Exception exception) {
exception.printStackTrace();
}
}
});
}

static class ViewHolder {
TextView post;
}

public class SmartjobAdapter extends BaseAdapter {
Activity context;
ArrayList arrayList;
LayoutInflater inflater;

public SmartjobAdapter(Activity context) {
super();
this.context = context;
this.arrayList = blogPosts.getPosts();
inflater = context.getLayoutInflater();
}

public int getCount() {
return arrayList.size();
}

public Smartjop getItem(int position) {
return arrayList.get(position);
}

public long getItemId(int position) {
return 0;
}

public View getView(int position, View convertView, ViewGroup parent) {
ViewHolder holder;
Smartjop metaData = getItem(position);
if (convertView == null) {
convertView = inflater.inflate(R.layout.r_blogpost, parent, false);
holder = new ViewHolder();

holder.post = (TextView) convertView
.findViewById(R.id.post);
convertView.setTag(holder);
} else {
holder = (ViewHolder) convertView.getTag();
}

holder.post.setText(metaData.getText());
return convertView;
}

}
}

Kết quả hoàn thành

Toàn bộ source code, các bạn có thể download ở đây

Phần body chủ yếu code hơi ít chữ  , các bạn thông cảm nhé.Bài tiếp theo chúng ta cùng thảo luận về Fragment và Activity. Sử dụng sao cho hợp lý :))

Cảm ơn các bạn quan tâm

Bài viết gốc được đăng tải tại smartjob.vn

Có thể bạn quan tâm:

Xem thêm IT Jobs Developer hấp dẫn trên Station D

Bài viết liên quan

Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bộ cài đặt Laravel Installer đã hỗ trợ tích hợp Jetstream

Bài viết được sự cho phép của tác giả Chung Nguyễn Hôm nay, nhóm Laravel đã phát hành một phiên bản chính mới của “ laravel/installer ” bao gồm hỗ trợ khởi động nhanh các dự án Jetstream. Với phiên bản mới này khi bạn chạy laravel new project-name , bạn sẽ nhận được các tùy chọn Jetstream. Ví dụ: API Authentication trong Laravel-Vue SPA sử dụng Jwt-auth Cách sử dụng Laravel với Socket.IO laravel new foo --jet --dev Sau đó, nó sẽ hỏi bạn thích stack Jetstream nào hơn: Which Jetstream stack do you prefer? [0] Livewire [1] inertia > livewire Will your application use teams? (yes/no) [no]: ... Nếu bạn đã cài bộ Laravel Installer, để nâng cấp lên phiên bản mới bạn chạy lệnh: composer global update Một số trường hợp cập nhật bị thất bại, bạn hãy thử, gỡ đi và cài đặt lại nha composer global remove laravel/installer composer global require laravel/installer Bài viết gốc được đăng tải tại chungnguyen.xyz Có thể bạn quan tâm: Cài đặt Laravel Làm thế nào để chạy Sql Server Installation Center sau khi đã cài đặt xong Sql Server? Quản lý các Laravel route gọn hơn và dễ dàng hơn Xem thêm Tuyển dụng lập trình Laravel hấp dẫn trên Station D

By stationd
Principle thiết kế của các sản phẩm nổi tiếng

Principle thiết kế của các sản phẩm nổi tiếng

Tác giả: Lưu Bình An Phù hợp cho các bạn thiết kế nào ko muốn làm code dạo, design dạo nữa, bạn muốn cái gì đó cao hơn ở tầng khái niệm Nếu lập trình chúng ta có các nguyên tắc chung khi viết code như KISS , DRY , thì trong thiết kế cũng có những nguyên tắc chính khi làm việc. Những nguyên tắc này sẽ là kim chỉ nam, nếu có tranh cãi giữa các member trong team, thì cứ đè nguyên tắc này ra mà giải quyết (nghe hơi có mùi cứng nhắc, mình thì thích tùy cơ ứng biến hơn) Tìm các vị trí tuyển dụng designer lương cao cho bạn Nguyên tắc thiết kế của GOV.UK Đây là danh sách của trang GOV.UK Bắt đầu với thứ user cần Làm ít hơn Thiết kế với dữ liệu Làm mọi thứ thật dễ dàng Lặp. Rồi lặp lại lần nữa Dành cho tất cả mọi người Hiểu ngữ cảnh hiện tại Làm dịch vụ digital, không phải làm website Nhất quán, nhưng không hòa tan (phải có chất riêng với thằng khác) Cởi mở, mọi thứ tốt hơn Bao trừu tượng luôn các bạn, trang Gov.uk này cũng có câu tổng quát rất hay Thiết kế tốt là thiết kế có thể sử dụng. Phục vụ cho nhiều đối tượng sử dụng, dễ đọc nhất nhất có thể. Nếu phải từ bỏ đẹp tinh tế – thì cứ bỏ luôn . Chúng ta tạo sản phẩm cho nhu cầu sử dụng, không phải cho người hâm mộ . Chúng ta thiết kế để cả nước sử dụng, không phải những người đã từng sử dụng web. Những người cần dịch vụ của chúng ta nhất là những người đang cảm thấy khó sử dụng dịch...

By stationd
Hiểu về trình duyệt – How browsers work

Hiểu về trình duyệt – How browsers work

Bài viết được sự cho phép của vntesters.com Khi nhìn từ bên ngoài, trình duyệt web giống như một ứng dụng hiển thị những thông tin và tài nguyên từ server lên màn hình người sử dụng, nhưng để làm được công việc hiển thị đó đòi hỏi trình duyệt phải xử lý rất nhiều thông tin và nhiều tầng phía bên dưới. Việc chúng ta (Developers, Testers) tìm hiểu càng sâu tầng bên dưới để nắm được nguyên tắc hoạt động và xử lý của trình duyệt sẽ rất hữu ích trong công việc viết code, sử dụng các tài nguyên cũng như kiểm thử ứng dụng của mình. Cách để npm packages chạy trong browser Câu hỏi phỏng vấn mẹo về React: Component hay element được render trong browser? Khi hiểu được cách thức hoạt động của trình duyệt chúng ta có thể trả lời được rất nhiều câu hỏi như: Tại sao cùng một trang web lại hiển thị khác nhau trên hai trình duyệt? Tại sao chức năng này đang chạy tốt trên trình duyệt Firefox nhưng qua trình duyệt khác lại bị lỗi? Làm sao để trang web hiển thị nội dung nhanh và tối ưu hơn một chút?… Hy vọng sau bài này sẽ giúp các bạn có một cái nhìn rõ hơn cũng như giúp ích được trong công việc hiện tại. 1. Cấu trúc của một trình duyệt Trước tiên chúng ta đi qua cấu trúc, thành phần chung và cơ bản nhất của một trình duyệt web hiện đại, nó sẽ gồm các thành phần (tầng) như sau: Thành phần nằm phía trên là những thành phần gần với tương tác của người dùng, càng phía dưới thì càng sâu và nặng về xử lý dữ liệu hơn tương tác. Nhiệm...

By stationd
Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Thị trường EdTech Vietnam- Nhiều tiềm năng nhưng còn bị bỏ ngỏ tại Việt Nam

Lĩnh vực EdTech (ứng dụng công nghệ vào các sản phẩm giáo dục) trên toàn cầu hiện nay đã tương đối phong phú với nhiều tên tuổi lớn phân phối đều trên các hạng mục như Broad Online Learning Platforms (nền tảng cung cấp khóa học online đại chúng – tiêu biểu như Coursera, Udemy, KhanAcademy,…) Learning Management Systems (hệ thống quản lý lớp học – tiêu biểu như Schoology, Edmodo, ClassDojo,…) Next-Gen Study Tools (công cụ hỗ trợ học tập – tiểu biểu như Kahoot!, Lumosity, Curriculet,…) Tech Learning (đào tạo công nghệ – tiêu biểu như Udacity, Codecademy, PluralSight,…), Enterprise Learning (đào tạo trong doanh nghiệp – tiêu biểu như Edcast, ExecOnline, Grovo,..),… Hiện nay thị trường EdTech tại Việt Nam đã đón nhận khoảng đầu tư khoảng 55 triệu đô cho lĩnh vực này nhiều đơn vị nước ngoài đang quan tâm mạnh đến thị trường này ngày càng nhiều hơn. Là một trong những xu hướng phát triển tốt, và có doanh nghiệp đã hoạt động khá lâu trong ngành nêu tại infographic như Topica, nhưng EdTech vẫn chỉ đang trong giai đoạn sơ khai tại Việt Nam. Tại Việt Nam, hệ sinh thái EdTech trong nước vẫn còn rất non trẻ và thiếu vắng nhiều tên tuổi trong các hạng mục như Enterprise Learning (mới chỉ có MANA), School Administration (hệ thống quản lý trường học) hay Search (tìm kiếm, so sánh trường và khóa học),… Với chỉ dưới 5% số dân công sở có sử dụng một trong các dịch vụ giáo dục online, EdTech cho thấy vẫn còn một thị trường rộng lớn đang chờ được khai phá. *** Vừa qua Station D đã công bố Báo cáo Vietnam IT Landscape 2019 đem đến cái nhìn toàn cảnh về các ứng dụng công...

By stationd