java 获取网站所有的链接

展开全部

由于题目是放在【编程语言】栏目下的，但没有指定希望使32313133353236313431303231363533e4b893e5b19e31333363376437用哪种编程语言，我选择使用java语言来实现。

在Java中，使用HttpURLConnection即可连接URL，随后可以使用InputStreamReader获取网页内容文本。然后，使用正则表达式解析网页内容文本，找到所有的标签即实现需求。

以下是详细代码：import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

import java.util.ArrayList;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

public class HtmlParser {

String htmlUrl;

ArrayList hrefList = new ArrayList();

String charSet;

public HtmlParser(String htmlUrl) {

// TODO 自动生成的构造函数存根

this.htmlUrl = htmlUrl;

}

public ArrayList getHrefList() throws IOException {

parser();

return hrefList;

}

private void parser() throws IOException {

URL url = new URL(htmlUrl);

HttpURLConnection connection = (HttpURLConnection) url.openConnection();

connection.setDoOutput(true);

String contenttype = connection.getContentType();

charSet = getCharset(contenttype);

InputStreamReader isr = new InputStreamReader(

connection.getInputStream(), charSet);

BufferedReader br = new BufferedReader(isr);

String str = null, rs = null;

while ((str = br.readLine()) != null) {

rs = getHref(str);

if (rs != null)

hrefList.add(rs);

}

}

private String getCharset(String str) {

Pattern pattern = Pattern.compile("charset=.*");

Matcher matcher = pattern.matcher(str);

if (matcher.find())

return matcher.group(0).split("charset=")[1];

return null;

}

private String getHref(String str) {

Pattern pattern = Pattern.compile("");

Matcher matcher = pattern.matcher(str);

if (matcher.find())

return matcher.group(0);

return null;

}

public static void main(String[] arg) throws IOException {

HtmlParser a = new HtmlParser("http://news.163.com/");

ArrayList hrefList = a.getHrefList();

for (int i = 0; i 

System.out.println(hrefList.get(i));

}

}