您當前位置: 南順網絡>> 官方資訊>> 建站知識

使用正則表達式實現網頁爬蟲的思路詳解

1.為模擬網頁爬蟲,我們可以現在我們的tomcat服務器端部署一個1.html網頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個1.html。使用notepad++進行編輯,編輯內容為:

在這里插入圖片描述

2.使用URL與網頁建立聯系
3.獲取輸入流,用于讀取網頁中的內容
4.建立正則規則,因為這里我們是爬去網頁中的郵箱信息,所以建立匹配 郵箱的正則表達式:String regex="\w+@\w+(\.\w+)+";
5.將提取到的數據放到集合中。

代碼:

?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 網頁爬蟲:就是一個程序用于在互聯網中獲取指定規則的數據
 *
 *
 */
public class RegexDemo {
 public static void main(String[] args) throws Exception {
  
 List<String> list=getMailByWeb();
 for(String str:list){
 System.out.println(str);
 }
  
 }
 private static List<String> getMailByWeb() throws Exception {
  
 //1.與網頁建立聯系。使用URL
 String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉義
 URL url=new URL(path);
 //2.獲取輸入流
 InputStream is=url.openStream();
 //加緩沖
 BufferedReader br=new BufferedReader(new InputStreamReader(is));
 //3.提取符合郵箱的數據
 String regex="\\w+@\\w+(\\.\\w+)+";
 //進行匹配
 //將正則規則封裝成對象
 Pattern p=Pattern.compile(regex);
 //將提取到的數據放到一個集合中
 List<String> list=new ArrayList<String>();
  
 String line=null;
 while((line=br.readLine())!=null){
 //匹配器
 Matcher m=p.matcher(line);
 while(m.find()){
 //3.將符合規則的數據存儲到集合中
 list.add(m.group());
 }
 }
  
 return list;
 }
}

注意:在執行前需要先開啟tomcat服務器

運行結果:

在這里插入圖片描述


編輯:--ns868