android使用Jsoup 抓取页面的数据

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

Jsoup的官方中文地址：http://www.open-open.com/jsoup/parse-document-from-string.htm
在这个网站上你可以找到一些说明，.jar文件的下载，doc文档的说明等等　

jsoup的主要功能如下：

从一个URL，文件或字符串中解析HTML；
使用DOM或CSS选择器来查找、取出数据；
可操作HTML元素、属性、文本；

jsoup是基于MIT协议发布的，可放心使用于商业项目。

Jsoup类下面的方法都是静态可直接调用。几个方法的说明

Connect()方法，获得一个Connection，然后调用Connection对象get()方法获得document对象。然后再解析document对象 Connection提供了一些设置方法timeout(),url()等等

这里贴一下我用到的 Java工程的测试代码　

package com.javen.Jsoup;

import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {
  static String url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
  
  public static void main(String[] args) throws Exception {
    
    // TODO Auto-generated method stub
    BolgBody();
    //test();
    //Blog();
    // 使用 POST 方法访问 URL

    
  }

  
  private static void BolgBody() throws IOException {
    // 直接从字符串中输入 HTML 文档
    String html = " 开源中国社区 "
 + " 这里是 jsoup 项目的相关文章 ";
    document doc = Jsoup.parse(html);
    System.out.println(doc.body());
    
    
    // 从 URL 直接加载 HTML 文档
    document doc2 = Jsoup.connect(url).get();
    String title = doc2.body().toString();
    System.out.println(title);
  }

  
  public static void article() {
    document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      Elements ListDiv = doc.getElementsByAttributevalue("class","postTitle");
      for (Element element :ListDiv) {
 Elements links = element.getElementsByTag("a");
 for (Element link : links) {
   String linkHref = link.attr("href");
   String linkText = link.text().trim();
   System.out.println(linkHref);
   System.out.println(linkText);
 }
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }

  }
  
  public static void Blog() {
    document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
      Elements ListDiv = doc.getElementsByAttributevalue("class","postBody");
      for (Element element :ListDiv) {
 System.out.println(element.html());
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
    
  }

}

下面来介绍android中使用Jsoup异步解析网页的数据请注意：这里很容易遇到一个乱码的问题

配置文件：AndroidManifest.xml中加权限

layout的布局文件

主要异步加载数据的代码

package com.javen.aaa;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URL;

import org.jsoup.Jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import android.app.Activity;
import android.app.Dialog;
import android.app.ProgressDialog;
import android.os.AsyncTask;
import android.os.Bundle;
import android.util.Log;
import android.webkit.WebView;
import android.widget.TextView;

public class MainActivity extends Activity {
  private WebView webView;
  private TextView textView;
  private static final int DIALOG_KEY = 0;
  @Override
  protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.main);
    webView = (WebView) findViewById(R.id.webView);
    textView=(TextView) findViewById(R.id.textView);
    try {
      ProgressAsyncTask asyncTask=new ProgressAsyncTask(webView,textView);
      asyncTask.execute(10000);
    } catch (Exception e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
  }
  
  public String test() {
    StringBuffer buffer=new StringBuffer();
    document doc;
    try {
      doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      Elements ListDiv = doc.getElementsByAttributevalue("class","postTitle");
      for (Element element :ListDiv) {
 Elements links = element.getElementsByTag("a");
 for (Element link : links) {
   String linkHref = link.attr("href");
   String linkText = link.text().trim();
   buffer.append("linkHref=="+linkHref);
   buffer.append("linkText=="+linkText);
   
   System.out.println(linkHref);
   System.out.println(linkText);
 }
      }
    } catch (IOException e) {
      // TODO Auto-generated catch block
      e.printStackTrace();
    }
    return buffer.toString();

  }

    // 弹出"查看"对话框
    @Override
    protected Dialog onCreateDialog(int id) {
      switch (id) {
      case DIALOG_KEY: {
 ProgressDialog dialog = new ProgressDialog(this);
 dialog.setMessage("获取数据中 请稍候...");
 dialog.setIndeterminate(true);
 dialog.setCancelable(true);
 return dialog;
      }
      }
      return null;
    }
    
    public static String readHtml(String myurl) {
      StringBuffer sb = new StringBuffer("");
      URL url;
      try {
 url = new URL(myurl);
 BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream(), "gbk"));
 String s = "";
 while ((s = br.readLine()) != null) {
   sb.append(s + "rn");
 }
      } catch (Exception e) {
 e.printStackTrace();
      }
      return sb.toString();
    }
  
  class ProgressAsyncTask extends AsyncTask {

    private WebView webView;
    private TextView textView;
    public ProgressAsyncTask(WebView webView,TextView textView) {
      super();
      this.webView=webView;
      this.textView=textView;
    }

    
    @Override
    protected String doInBackground(Integer... params) {
      String str =null;
      document doc = null;
      try {
// String url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
// 
// doc= Jsoup.parse(new URL(url).openStream(),"utf-8", url);
// //doc = Jsoup.parse(readHtml(url));
// //doc=Jsoup.connect(url).get();
// str=doc.body().toString();
 doc = Jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
 Elements ListDiv = doc.getElementsByAttributevalue("class","postBody");
 for (Element element :ListDiv) {
   str=element.html();
   System.out.println(element.html());
 }
 Log.d("doInBackground", str.toString());
 System.out.println(str);
 //你可以试试GBK或UTF-8
      } catch (Exception e) {
 // TODO Auto-generated catch block
 e.printStackTrace();
      }
      return str.toString() ;
      //return test();
    }

    
    @Override
    protected void onPostExecute(String result) {
      webView.loadData(result, "text/html;charset=utf-8", null);
      textView.setText(result);
      removeDialog(DIALOG_KEY);
    }

    // 该方法运行在UI线程当中,并且运行在UI线程当中 可以对UI空间进行设置
    @Override
    protected void onPreExecute() {
      showDialog(DIALOG_KEY);
    }

    
    @Override
    protected void onProgressUpdate(Integer... values) {
      
    }
  }

}

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持考高分网。

android使用Jsoup 抓取页面的数据

Android相关栏目本月热门文章