• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号
您的位置:首页 > 程序设计 >正则表达式 > Java用正则表达式如何读取网页内容

Java用正则表达式如何读取网页内容

作者: 字体:[增加 减小] 来源:互联网 时间:2017-05-11

通过本文主要向大家介绍了java正则表达式教程,java正则表达式语法,java正则表达式,java正则表达式实例,java正则表达式大全等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

学习java的正则表达式,抓取网页并解析HTML部分内容  

package com.xiaofeng.picup;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/** *//**
*
* @抓取页面文章标题及内容(测试) 手动输入网址抓取,可进一步自动抓取整个页面的全部内容
*
*/
public class WebContent ...{
  /** *//**
   * 读取一个网页全部内容
   */
  public String getOneHtml(String htmlurl) throws IOException...{
    URL url;
    String temp;
    StringBuffer sb = new StringBuffer();
    try ...{
      url = new URL(htmlurl);
      BufferedReader in = new BufferedReader(new InputStreamReader(url
          .openStream(), "utf-8"));// 读取网页全部内容
      while ((temp = in.readLine()) != null) ...{
        sb.append(temp);
      }
      in.close();
    }catch(MalformedURLException me)...{
      System.out.println("你输入的URL格式有问题!请仔细输入");
      me.getMessage();
      throw me;
    }catch (IOException e) ...{
      e.printStackTrace();
      throw e;
    }
    return sb.toString();
  }
  /** *//**
   *
   * @param s
   * @return 获得网页标题
   */
  public String getTitle(String s) ...{
    String regex;
    String title = "";
    List<String> list = new ArrayList<String>();
    regex = "<title>.*?</title>";
    Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
    Matcher ma = pa.matcher(s);
    while (ma.find()) ...{
      list.add(ma.group());
    }
    for (int i = 0; i < list.size(); i++) ...{
      title = title + list.get(i);
    }
    return outTag(title);
  }
  /** *//**
   *
   * @param s
   * @return 获得链接
   */
  public List<String> getLink(String s) ...{
    String regex;
    List<String> list = new ArrayList<String>();
    regex = "<a[^>]*href=("([^"]*)"|'([^']*)'|([^s>]*))[^>]*>(.*?)</a>";
    Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
    Matcher ma = pa.matcher(s);
    while (ma.find()) ...{
      list.add(ma.group());
    }
    return list;
  }
  /** *//**
   *
   * @param s
   * @return 获得脚本代码
   */
  public List<String> getScript(String s) ...{
    String regex;
    List<String> list = new ArrayList<String>();
    regex = "<script.*?</script>";
    Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
    Matcher ma = pa.matcher(s);
    while (ma.find()) ...{
      list.add(ma.group());
    }
    return list;
  }
  /** *//**
   *
   * @param s
   * @return 获得CSS
   */
  public List<String> getCSS(String s) ...{
    String regex;
    List<String> list = new ArrayList<String>();
    regex = "<style.*?</style>";
    Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
    Matcher ma = pa.matcher(s);
    while (ma.find()) ...{
      list.add(ma.group());
    }
    return list;
  }
  /** *//**
   *
   * @param s
   * @return 去掉标记
   */
  public String outTag(String s) ...{
    return s.replaceAll("<.*?>", "");
  }
</div>

</div>
分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 浅析正则表达式中的lastIndex以及预查
  • 正则表达式简介及在C++11中的简单使用教程
  • 正则表达式教程之位置匹配详解
  • 正则表达式教程之重复匹配详解
  • Java 正则表达式匹配模式(贪婪型、勉强型、占有型)
  • 读懂正则表达式就这么简单
  • 利用正则表达式判断一个给定的字符是否是回文
  • Java使用正则表达式对注册页面进行验证功能实现
  • java正则表达式四种常用的处理方式(匹配、分割、替代、获取)
  • 浅析正则表达式-替换原则(.NET) 图文

相关文章

  • 2017-05-11正则表达式(regex) 贪婪模式、懒惰模式使用方法
  • 2017-05-11正则表达式检测用户输入的email地址是否合法
  • 2017-05-11Java使用正则表达式对注册页面进行验证功能实现
  • 2017-05-11常用的正则表达式集锦
  • 2017-05-11java 正则表达式基础,实例学习资料收集大全 原创
  • 2017-05-11得到连接和图片的地址 正则
  • 2017-05-11js正则解析URL参数示例代码
  • 2017-05-11日常收集整理正则表达式验证大全
  • 2017-05-11正则表达式限制 账号 密码 邮箱 身份证 手机号的相关代码
  • 2017-05-11详解正则表达式表单验证实例

文章分类

  • JavaScript
  • ASP.NET
  • PHP
  • 正则表达式
  • AJAX
  • JSP
  • ASP
  • Flex
  • XML
  • 编程技巧
  • Android
  • swift
  • C#教程
  • vb
  • vb.net
  • C语言
  • Java
  • Delphi
  • 易语言
  • vc/mfc
  • 嵌入式开发
  • 游戏开发
  • ios
  • 编程问答
  • 汇编语言
  • 微信小程序
  • 数据结构
  • OpenGL
  • 架构设计
  • qt
  • 微信公众号

最近更新的内容

    • UBB代码在论坛中的应用
    • JavaScript正则表达式之后向引用实例代码
    • 正则表达式口诀_学习正则的朋友值得一看
    • js:日期正则表达式及检测
    • 简单的Html转换UBB的程序
    • PHP 正则表达式效率 贪婪、非贪婪与回溯分析(推荐)
    • 用JS让文章内容指定的关键字加亮
    • 一个正则表达式的看法(?:)
    • vbs:把一段文字中指定字符颜色变成红色的正则
    • 正则表达式话题

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有