网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。这篇文章主要介绍了使用正则表达式实现网页爬虫的思路详解,需要的朋友可以参考下

网页爬虫:就是一个程序用于在互联网中获取指定规则的数据。

思路:

1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:

2.使用URL与网页建立联系
3.获取输入流,用于读取网页中的内容
4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\[email protected]\w+(\.\w+)+";
5.将提取到的数据放到集合中。

代码:

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/*
 * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据
 * 
 * 
 */
public class RegexDemo {
 public static void main(String[] args) throws Exception {
 
 List<String> list=getMailByWeb();
 for(String str:list){
 System.out.println(str);
 }
 
 }
 private static List<String> getMailByWeb() throws Exception {
 
 //1.与网页建立联系。使用URL
 String path="http://localhost:8080//1.html";//后面写双斜杠是用于转义
 URL url=new URL(path);
 //2.获取输入流
 InputStream is=url.openStream();
 //加缓冲
 BufferedReader br=new BufferedReader(new InputStreamReader(is));
 //3.提取符合邮箱的数据
 String regex="\\[email protected]\\w+(\\.\\w+)+";
 //进行匹配
 //将正则规则封装成对象
 Pattern p=Pattern.compile(regex);
 //将提取到的数据放到一个集合中
 List<String> list=new ArrayList<String>();
 
 String line=null;
 while((line=br.readLine())!=null){
 //匹配器
 Matcher m=p.matcher(line);
 while(m.find()){
 //3.将符合规则的数据存储到集合中
 list.add(m.group());
 }
 }
 
 return list;
 }
}

注意:在执行前需要先开启tomcat服务器

运行结果:

总结

以上所述是小编给大家介绍的使用正则表达式实现网页爬虫的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对爱安网网站的支持!

最新资讯
直击|联想刘军:收购摩托罗拉手机后 终于盈利了

直击|联想刘军:收购摩

联想集团今日举行新品发布会。联想集团执行副总裁兼中
吴晓波:罗永浩犯了两个错误 第一梦太大第二入错行

吴晓波:罗永浩犯了两个

新浪商课连续三天直播“吴晓波解读大败局”。本次直播
左晖:房地产由增量转向存量 贝壳要成月活过亿平台

左晖:房地产由增量转向

“今天中国整个不动产的发展的确到了新阶段,过去20年行
三星确认将收回Galaxy Fold折叠屏手机:还要改进

三星确认将收回Galaxy

4月23日,三星电子中国方面向北京青年报记者确认,将收回G
中国移动第一季度营收1850亿元 应占利润同比降8.3%

中国移动第一季度营收

集团营运收入为人民币1850亿元,比上年同期下降0.3%;其中
Twitter盘前直线拉升涨逾8%

Twitter盘前直线拉升

Twitter盘前直线拉升涨逾8%,财报显示一季度月活、营收
最新文章
Python正则表达式的7个使用典范(推荐)

Python正则表达式的7

这篇文章主要介绍了Python正则表达式的7个使用典范,非
使用正则表达式实现网页爬虫的思路详解

使用正则表达式实现网

网页爬虫:就是一个程序用于在互联网中获取指定规则的数
13道关于JavaScript正则表达式的面试题

13道关于JavaScript正

本文是小编给大家收藏整理的13道关于JavaScript正则表
藏在正则表达式里的陷阱(推荐)

藏在正则表达式里的陷

本文是小编给大家收藏整理的关于藏在正则表达式里的陷
JS 正则表达式从地址中提取省市县

JS 正则表达式从地址

这篇文章主要介绍了JS 正则表达式从地址中提取省市县
正则表达式re.sub替换不完整的问题及完整解决方案

正则表达式re.sub替换

re.sub是个正则表达式方面的函数,用来实现通过正则表达