当前位置：文档之家 › Java网页数据采集器实例教程：数据存储

Java网页数据采集器实例教程：数据存储

  • 格式：docx
  • 大小：266.32 KB
  • 文档页数：10

Java网页数据采集器实例教程：数据存储 2012-01-04 11:09 SoFlash SoFlash的博客 我要评论(1) 字号：T | T

为了方便我们今后来调用收集到的数据,如何做数据存储(MySql数据库)是必须要了解的。所以下文我们针对数据存储做了详解的教程。 AD：

简介： 作为全球运用最广泛的语言,Java 凭借它的高效性,可移植性(跨平台),代码的健壮性以及可强大的可扩展性,深受广大应用程序开发者的喜爱. 作为一门强大的开发语言,正则表达式在其中的应用当然是必不可少的,而且正则表达式的掌握能力也是那些高级程序员的开发功底之体现,做一名合格的网站开发的程序员(尤其是做前端开发),正则表达式是必备的。

最近，由于一些需要，用到了java和正则,做了个的足球网站的数据采集程序，由于是第一次做关于java的html页面数据采集，必然在网上查找了很多资料，但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少，都是简单的谈了下java正则的概念，没有真正用在实际网页html采集，所以实例教程更是寥寥无几(虽然java有它自己的Html Parser，而且十分强大)，但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.

本期概述： 上期我们讲到了html页面的数据采集,为了方便我们今后来调用收集到的数据,这期我们要讲讲如何做数据存储(MySql数据库).

数据采集页面 2011-2012赛季英超球队战绩 关于Java操作MySql 在使用java 操作MySql数据库之前 我们需要在项目文件中导入 一个jar包(mysql-connector-java-5.1.18-bin)

可以在MySql官网下载 Connector/J 5.1.18 第一次使用MySql? 请看java连接MYSQL 如何在java项目中导入jar包? 请看这个Eclipse下如何导入jar包 关于MySql数据库 如果是初学者 想使用MySql数据库的话 可以去这里XAMPP中文官网 下载 XAMPP 套装 XAMPP（Apache+MySQL+PHP+PERL）是一个功能强大的建 XAMPP 软件站集成软件包，而且一键式安装，无需修改配置文件，非常好用。

好了 需要准备的事宜都完成了 我们开始写代码 打开MySql数据库 创建数据库 和表 (拷贝如下代码 到mysql里直接执行即可) 1. //创建数据库 htmldatacollection 2. CREATE DATABASE htmldatacollection; 3. //在创建表之前 我们需要使用数据库htmldatacollection 4. use htmldatacollection; 5. //在数据库里 创建一个表 Premiership 用于存储我们收集到的数据 6. //这里为了方便 所有字段 全部是字符串格式 7. CREATE TABLE Premiership(Date varchar(15), 8. HomeTeam varchar(20), 9. AwayTeam varchar(20), 10. Result varchar(20) 11. )

创建好后 我们来看看数据库结构 数据库弄好了 我们开始实施java代码 这里简单介绍下各个类以及类所包含的方法 DataStorage类 以及包含的 dataStore()方法 用于数据收集和存储 1. import java.io.BufferedReader; 2. import java.io.IOException; 3. import java.io.InputStreamReader; 4. import java.net.URL; 5. public class DataStorage { 6. public void dataStore() { 7. // 首先用一个字符串 来装载网页链接 8. String strUrl= "http://www.footballresults.org/league.php?all=1&league=EngPrem"; 9. String sqlLeagues = ""; 10. try { 11. // 创建一个url对象来指向 该网站链接 括号里()装载的是该网站链接的路径 12. // 更多可以看看 http://wenku.baidu.com/view/8186caf4f61fb7360b4c6547.html 13. URL url = new URL(strUrl); 14. // InputStreamReader 是一个输入流读取器 用于将读取的字节转换成字符 15. // 更多可以看看 http://blog.sina.com.cn/s/blog_44a05959010004il.html 16. InputStreamReader isr = new InputStreamReader(url.openStream(), 17. "utf-8"); // 统一使用utf-8 编码模式 18. // 使用 BufferedReader 来读取 InputStreamReader 转换成的字符 19. BufferedReader br = new BufferedReader(isr); 20. String strRead = ""; // new 一个字符串来装载 BufferedReader 读取到的内容 21. // 定义3个正则 用于获取我们需要的数据 22. String regularDate = "(\\d{1,2}\\.\\d{1,2}\\.\\d{4})"; 23. String regularTwoTeam = ">[^<>]*"; 24. String regularResult = ">(\\d{1,2}-\\d{1,2})"; 25. //创建 GroupMethod类的对象 gMethod 方便后期调用其类里的 regularGroup方法 26. GroupMethod gMethod = new GroupMethod(); 27. //创建DataStructure数据结构 类的对象 用于数据下面的数据存储 28. DataStructure ds = new DataStructure(); 29. //创建MySql类的对象 用于执行MySql语句 30. MySql ms = new MySql(); 31. int i = 0; // 定义一个i来记录循环次数 即收集到的球队比赛结果数 32. int index = 0; // 定义一个索引 用于获取分离 2个球队的数据 因为2个球队正则是相同的 33. // 开始读取数据 如果读到的数据不为空 则往里面读 34. while ((strRead = br.readLine()) != null) { 35. /** 36. * 用于捕获日期数据 37. */ 38. String strGet = gMethod.regularGroup(regularDate, strRead); 39. // 如果捕获到了符合条件的 日期数据 则打印出来 40. if (!strGet.equals("")) { 41. //System.out.println("Date:" + strGet); 42. //将收集到的日期存在数据结构里 43. ds.date = strGet; 44. // 这里索引+1 是用于获取后期的球队数据 45. ++index; // 因为在html页面里 源代码里 球队数据是在刚好在日期之后 46. } 47. /** 48. * 用于获取2个球队的数据 49. */ 50. strGet = gMethod.regularGroup(regularTwoTeam, strRead); 51. if (!strGet.equals("") && index == 1) { // 索引为1的是主队数据 52. // 通过subtring方法 分离出 主队数据 53. strGet = strGet.substring(1, strGet.indexOf("")); 54. //System.out.println("HomeTeam:" + strGet); // 打印出主队 55. //将收集到的主队名称 存到 数据结构里 56. ds.homeTeam = strGet; 57. index++; // 索引+1之后 为2了 58. // 通过subtring方法 分离出 客队 59. } else if (!strGet.equals("") && index == 2) { // 这里索引为2的是客队数据 60. strGet = strGet.substring(1, strGet.indexOf("")); 61. //System.out.println("AwayTeam:" + strGet); // 打印出客队 62. //将收集到的客队名称 存到数据结构里 63. ds.awayTeam = strGet;

合集下载

《采集Web数据实例》PPT课件

《采集Web数据实例》PPT课件


如何编写网络爬虫呢？
7.2 网络爬虫
第七章 采集Web数据实例
01
安装Python
1）下载Python程序安装包
打开Python官方网站https://www.
，找到
Downloads区，单击进行下载。
2）执行Python安装包
注意，在安装Python过程中，集成开发环境IDLE是同Python一
文本节点、属性等。如图7-1所示，为DOM树模型的结构。 （3）访问DOM树结构
属性是节点（HTML元素）的值，可通过JavaScript（以及其他编程语言）对 HTML DOM进行访问。
访问HTML元素等同于访问节点，用户可以以不同的方式来访问 HTML元素，表 7-1为访问HTML元素的不同方法。
起安装，不过需要确保安装时选中了Tcl/Tk组件。
3）测试Python安装是否成功
测试Python安装是否成功，可用cmd打开命令行输入
“python”命令。
7.2 网络爬虫
第七章 采集Web数据实例02构造get请求爬取搜狗首页
步骤1：打开Python编辑器IDLE。
步骤2：导入要使用的库
组成。 选择：用圆括号将所有选择项括起来，相邻的选择项之间用“|”分隔。但用圆括号
会有一个副作用，相关的匹配会被缓存，此时可用“?:”放在第一个选项前来消除这 种副作用。 反向引用：需要匹配两个或多个连续的相同的字符的时候，就需要使用反向引用。
7.1 网页结构
第七章 采集Web数据实例
1.1.2 正则表达式
扩展标记语言的标准编程接口（API）。DOM将整个页面映射为一个由层次节点组 成的文件，而HTML的标记也具有一定的嵌套结构。通过HTML解析器（parse）可 以将HTML页面转化为一棵DOM树。如图所示，为网页DOM结构。
大数据分析师如何进行数据采集和数据存储

大数据分析师如何进行数据采集和数据存储

大数据分析师如何进行数据采集和数据存储在当今数字化时代，大数据逐渐成为企业决策和创新的基石。

大数据分析师作为数据驱动决策的专家，需要掌握一系列的数据采集和数据存储的技巧。

本文将介绍大数据分析师在数据采集和数据存储方面的工作方法和技术。

一、数据采集数据采集是大数据分析的第一步，它决定了分析师所获得的数据是否准确、全面和可靠。

以下是大数据分析师进行数据采集的一般步骤：1.明确需求：在进行数据采集之前，分析师需要与业务部门或决策者沟通，明确他们的数据需求和分析目标。

只有明确需求，才能有针对性地进行数据采集。

2.确定数据源：根据需求的不同，数据源可能包括数据库、网站、API接口、传感器等。

大数据分析师需要了解业务领域的数据来源，并选择最合适的数据源。

3.制定采集计划：根据数据源的特点和采集需求，分析师需要制定详细的采集计划。

计划应包括采集频率、采集时间段、采集的字段等。

4.编写采集脚本：对于规模较大或需要频繁采集的数据，分析师可以使用编程语言编写采集脚本。

脚本可以自动化采集过程，提高效率。

5.数据校验和清洗：采集到的数据可能存在错误、缺失或冗余。

在进行后续分析之前，分析师需要对数据进行校验和清洗，确保数据的准确性和一致性。

二、数据存储数据存储是大数据分析师在获取数据后的下一步工作。

合理的数据存储方案可以提高数据的可用性和处理效率。

以下是一些常见的数据存储方式：1.数据库存储：数据库是最常见的数据存储方式，它可以结构化地存储数据，并提供高效的数据检索和查询功能。

常用的数据库包括MySQL、Oracle和MongoDB等。

2.数据仓库：数据仓库是一种面向分析的数据存储系统，它将来自不同数据源的数据集成起来，方便分析师进行复杂的数据查询和分析。

常见的数据仓库包括Hadoop和Spark等。

3.云存储：随着云计算技术的发展，越来越多的企业选择将数据存储在云平台上。

云存储提供可扩展的存储空间和高可靠性，同时也降低了数据存储的成本。

JavaScript的数据存储

JavaScript的数据存储

JavaScript的数据存储JavaScript是一种广泛应用于网页开发的编程语言，它具有操作网页中数据的能力。

数据存储是JavaScript的一个重要功能，它可以帮助开发者在网页中存储和操作数据，实现更加灵活和交互性的功能。

本文将介绍JavaScript的数据存储方式以及它们的应用场景。

一、Cookies存储Cookies是一种小型文本文件，它可以在用户的计算机上存储数据。

在JavaScript中，可以使用document.cookie来设置和读取Cookies。

例如，我们可以使用如下代码设置一个名为username的cookie：document.cookie = "username=John Doe";然后，我们可以使用以下代码来读取该cookie：let username = document.cookie;需要注意的是，Cookies的存储容量有限，一般为4KB，且每个域名下的Cookies数量也是有限的。

因此，Cookies适合用于存储少量的简单数据，例如登录状态、用户偏好等。

二、Web存储Web存储是HTML5中引入的一种数据存储方式，它提供了两个API：localStorage和sessionStorage。

这两种存储方式都可以存储大量的数据，并且在浏览器关闭后仍然可以保留。

1. localStoragelocalStorage用于存储长期保存的数据，它的存储容量通常较大，可以达到几十兆字节。

使用localStorage的示例代码如下：localStorage.setItem("username", "John Doe");通过以上代码，我们可以将一个名为username的数据项存储到localStorage中。

要读取这个数据项，可以使用以下代码：let username = localStorage.getItem("username");2. sessionStoragesessionStorage用于存储临时会话数据，它的存储容量通常较小，一般为几兆字节。

java数据爬取项目源代码 -回复

java数据爬取项目源代码 -回复

java数据爬取项目源代码-回复JAVA数据爬取项目源代码是一种常用的技术手段，可以帮助我们从互联网上获取所需的数据。

在本文中，我们将深入探讨JAVA数据爬取项目源代码的实现细节，并逐步回答与该技术相关的问题。

1. 什么是数据爬取技术？数据爬取技术是一种通过自动化程序从互联网上获取所需的数据的技术手段。

通过模拟人工访问网页，分析网页结构，提取有用信息并将其保存至本地，我们可以实现数据的自动收集和处理。

2. 为什么要使用JAVA进行数据爬取？JAVA作为一种常用的编程语言，拥有强大的网络编程和数据处理能力。

它提供了丰富的类库和框架，能够方便地实现数据爬取功能。

此外，JAVA 的多线程和并发能力也可以提高数据爬取的效率。

3. 数据爬取的基本原理是什么？数据爬取的基本原理可以概括为以下几个步骤：- 发起HTTP请求：使用JAVA的网络编程库，我们可以模拟浏览器发送HTTP请求，获取网页内容。

- 解析HTML：获取到网页内容后，我们需要解析HTML，提取出我们所需的字段和数据。

JAVA提供了多种HTML解析库，如Jsoup和HtmlUnit 等。

- 数据处理：解析完HTML后，我们可以对获取到的数据进行处理，如清洗、过滤、格式化等。

- 数据存储：将处理后的数据保存至本地或数据库，供后续使用。

4. 如何实现数据爬取？下面是一段基本的JAVA数据爬取代码，用于获取一个网页的内容并输出到控制台：javaimport java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import .URL;import .URLConnection;public class WebCrawler {public static void main(String[] args) {String urlStr = "try {URL url = new URL(urlStr);URLConnection conn = url.openConnection();BufferedReader reader = new BufferedReader(newInputStreamReader(conn.getInputStream()));String line;while ((line = reader.readLine()) != null) {System.out.println(line);}reader.close();} catch (IOException e) {e.printStackTrace();}}}在上述代码中，我们首先指定一个网页的URL，然后通过URL类和URLConnection类建立与该URL的连接。