import java.io.*;
import https://www.doczj.com/doc/4f2719023.html,.URL;
import https://www.doczj.com/doc/4f2719023.html,.URLConnection;
public class TestURL {
public static void main(String[] args) throws IOException {
test4();
test3();
test2();
test();
}
/**
* 获取URL指定的资源。
*
* @throws IOException
*/
public static void test4() throws IOException {
URL url = new
URL("https://www.doczj.com/doc/4f2719023.html,/attachment/200811/200811271227767778082.jpg");
//获得此URL 的内容。
Object obj = url.getContent();
System.out.println(obj.getClass().getName());
}
/**
* 获取URL指定的资源
*
* @throws IOException
*/
public static void test3() throws IOException {
URL url = new URL("https://www.doczj.com/doc/4f2719023.html,/down/soft/45.htm");
//返回一个URLConnection 对象，它表示到URL 所引用的远程对象的连接。
URLConnection uc = url.openConnection();
//打开的连接读取的输入流。
InputStream in = uc.getInputStream();
int c;
while ((c = in.read()) != -1)
System.out.print(c);
in.close();
}
/**
* 读取URL指定的网页内容
*
* @throws IOException
*/
public static void test2() throws IOException {
URL url = new URL("https://www.doczj.com/doc/4f2719023.html,/down/soft/45.htm");
//打开到此URL 的连接并返回一个用于从该连接读入的InputStream。
Reader reader = new InputStreamReader(new BufferedInputStream(url.openStream()));
int c;
while ((c = reader.read()) != -1) {
System.out.print((char) c);
}
reader.close();
}
/**
* 获取URL的输入流，并输出
*
* @throws IOException
*/
public static void test() throws IOException {
URL url = new URL("https://www.doczj.com/doc/4f2719023.html,/62575/120430");
//打开到此URL 的连接并返回一个用于从该连接读入的InputStream。
InputStream in = url.openStream();
int c;
while ((c = in.read()) != -1)
System.out.print(c);
in.close();
}
}
魔域私服https://www.doczj.com/doc/4f2719023.html,/t6NqB0FRx5YZ
遥感影像各参数提取和运算 一．实验目的 1.1 熟悉使用ENVI软件的一些常用功能； 1.2 学会利用ENVI软件对遥感影像的NDVI和NDWI进行计算，对典型地物的参数信息进行提取和分析。 二．实验内容 2.1 计算可见光至短波红外波段的7个波段的TOA反射率数据和热红外的2个波段的亮度温度值； 2.2 计算NDVI和NDWI； 2.3 选择水体、土壤、植被和人工建筑等典型地物，每种典型地物至少选择50个样点，提取各个样点的7个TOA反射率值、2个亮温值和2个光谱指数值； 2.4 针对各个典型地物的遥感参数进行统计分析，至少计算各个参数的Minimum, Maximum, Range and Standard Deviation，利用图表的形式对其进行专业分析。三．实验数据与实验平台 数据：LANDSAT 7 ETM+影像、p125r053_7t20001106.met 平台：ENVI 4.7软件 四．实验过程与结果分析 4.1. 计算可见光至短波红外波段的7个波段的TOA反射率数据和热红外的1个波段的亮度温度值。 实验步骤： （1）计算可见光至短波红外波段的7个波段的TOA反射率： Main menu →Basic Tools →Preprocessing →Calibration Utilities →Landsat Calibration→选择波段数为6的，点击 OK →Reflectance →Edit Calibration Parameters→输出文件名
图4.1.1 反射率参数设置 图4.1.2反射率转换结果图与原图对比 （7,4,3波段，左图为结果图，右图为原图） （2）转换成亮度温度值步骤： Main menu →Basic Tools →Preprocessing →Calibration Utilities →Landsat Calibration →选择波段数为2的，点击OK →Radiance →Edit Calibration Parameters→输出文件名
jsoup 简介 Java 程序在解析 HTML 文档时，相信大家都接触过 htmlparser 这个开源项目，我曾经在 IBM DW 上发表过两篇关于 htmlparser 的文章，分别是：从 HTML 中攫取你所需的信息和扩展 HTMLParser 对自定义标签的处理能力。但现在我已经不再使用 htmlparser 了，原因是 htmlparser 很少更新，但最重要的是有了jsoup 。 jsoup 是一款 Java 的 HTML 解析器，可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 jsoup 的主要功能如下： 1. 从一个 URL，文件或字符串中解析 HTML； 2. 使用 DOM 或 CSS 选择器来查找、取出数据； 3. 可操作 HTML 元素、属性、文本； jsoup 是基于 MIT 协议发布的，可放心使用于商业项目。 jsoup 的主要类层次结构如图 1 所示： 图 1. jsoup 的类层次结构 接下来我们专门针对几种常见的应用场景举例说明 jsoup 是如何优雅的进行HTML 文档处理的。 回页首
文档输入 jsoup 可以从包括字符串、URL 地址以及本地文件来加载 HTML 文档，并生成Document 对象实例。 下面是相关代码： 清单1 // 直接从字符串中输入 HTML 文档 String html = "
对GDSII database进行gate-level寄生参数抽取 VIMICRO 祝侃 1.Abstract 伴随着SOC技术的发展，自动布局布线规模不断扩大，同时产品的上市周期 由于市场竞争的加剧压力也愈来愈大。因此，如何提高自动布局布线设计中寄生 参数验证的效率成为众多IC设计者必须要考虑的重要课题。 通过引入calibre DRC/LVS/XRC，vimicro已经发展了一套提高自动布局布 线设计验证效率的方法，这些方法包括GDSII文件的直接处理，使用gate-level 寄生参数抽取来满足数字电路的时序分析验证，以及修改相应的文件来加速寄生 参数的抽取等。 2. Introduction 首先，在自动布局布线结束后，我们通常会进行DRC/LVS检查，然后在 layout editor (如Virtuoso)里修改错误，最后得到DRC/LVS clean的GDSII 文件。这个时候前端设计人员发现功能有问题进行了修改，要求自动布局布线作 ECO。这样原先的DRC/LVS检查都要重新做一遍。 对DRC/LVS clean的GDSII 文件抽取寄生参数，然后拿这个含有寄生参数 的网表作 STA，如果时序可以满足要求的话，就不需要做那些重复的工作了。 Calibre xRC可以对GDSII 数据进行gate level 的寄生参数抽取. 这样的设计流程是针对于简单的ECO改动，例如IO位置的调整，或者对为 数不多的逻辑门连接关系的修改。对于复杂的改动，还必须应用自动布局布线的 ECO流程. 3. Flow Description
1).Run hierarchical LVS (PHDB Generation) 执行hierarchical LVS是为了对layout做器件和连接关系的抽取，并且建立版图和网表的cross-reference. 2).抽取寄生参数 (PDB Generation) Calibre XRC 抽取gate level的寄生参数. 3).写出网表 (FMT) Calibre xRC 从第二步抽取的寄生参数数据中写出DSPF 或 SPEF 网表. 4).静态时序分析 (STA) PrimeTime 读入DSPF 或 SPEF 网表,还有原来的verilog 网表 和cell library,产生SDF文件. 1).LVS-H 首先要Run hierarchical LVS,就需要设定hcell list.Calibre xRC 叫做xcell.这个xcell list跟普通的LVS使用的hcell list差不多，只是比LVS要更严格一些，需要Calibre识别出所有的standard cells and micro blocks.这样在第二步抽取寄生参数的时候Calibre才知道那些出现在hcell list里的
1、抓取网页数据通过指定的URL，获得页面信息，进而对页面用DOM进行 NODE分析， 处理得到原始HTML数据，这样做的优势在于，处理某段数据的灵活性高，难点在节算法 需要优化，在页面HTML信息大时，算法不好，会影响处理效率。 2、htmlparser框架，对html页面处理的数据结构，HtmlParser采用了经典的Composite 模式，通过RemarkNode、TextNode、TagNode、AbstractNode和Tag来描述HTML页面 各元素。Htmlparser基本上能够满足垂直搜索引擎页面处理分析的需求，映射HTML标签，可方便获取标签内的HTML CODE。 Htmlparser官方介绍: htmlparser是一个纯的java写的html解析的库，它不依赖于其它的java库文件，主要用于改造或提取html。它能超高速解析html，而且不会出错。现在htmlparser最新版本为2.0。毫不夸张地说，htmlparser就是目前最好的html解析和分析 的工具。 3、nekohtml框架，nekohtml在容错性、性能等方面的口碑上比htmlparser好（包括htmlunit也用的是nekohtml），nokehtml类似XML解析原理，把html标签确析为dom, 对它们对应于DOM树中相应的元素进行处理。 NekoHTML官方介绍：NekoHTML是一个Java语言的HTML扫描器和标签补全器(tag balancer) ,使得程序能解析HTML文档并用标准的XML接口来访问其中的信息。这个解析 器能够扫描HTML文件并“修正”许多作者（人或机器）在编写HTML文档过程中常犯的错误。 NekoHTML能增补缺失的父元素、自动用结束标签关闭相应的元素，以及不匹配的内嵌元 素标签。NekoHTML的开发使用了Xerces Native Interface (XNI)，后者是Xerces2的实现基础。由https://www.doczj.com/doc/4f2719023.html,/整理
语音信号特征参数提取方法 阮雄飞微电子学与固体电子学 摘要：在语音技术的发展过程中使用了大量的语音信号特征参数, 好的语音信号特征参数能对语音识别起至关重要的作用。本文对语音信号特征参数提取方法以及国内外研究现状进行了介绍,最后介绍了Hilbert-Huang 这一新兴理论成果以及在特征提取中的应用。 关键词：语音技术特征提取HHT 1 引言 语音信号是一种短时平稳信号，即时变的，十分复杂，携带很多有用的信息，这些信息包括语义、个人特征等，其特征参数的准确性和唯一性将直接影响语音识别率的高低，并且这也是语音识别的基础[1]。特征参数应该能够比较准确地表达语音信号的特征具有一定的唯一性。 上世纪40年代，potter等人提出了“visiblespeech”的概念，指出语谱图对语音信号有很强的描述能力，并且试着用语谱信息进行语音识别，这就形成了最早的语音特征，直到现在仍有很多的人用语谱特征来进行语音识别[2]。后来，人们发现利用语音信号的时域特征可以从语音波形中提取某些反映语音特性的参数，比如：幅度、短时帧平均能量、短时帧过零率、短时自相关系数、平均幅度差函数等。这些参数不但能减小模板数目运算量及存储量而且还可以滤除语音信号中无用的冗余信息。语音信号特征参数是分帧提取的, 每帧特征参数一般构成一个矢量, 所以语音信号特征是一个矢量序列。我们将语音信号切成一帧一帧, 每帧大小大约是20-30ms。帧太大就不能得到语音信号随时间变化的特性, 帧太小就不能提取出语音信号的特征, 每帧语音信号中包含数个语音信号的基本周期。有时希望相邻帧之间的变化不是太大, 帧之间就要有重叠, 帧叠往往是帧长的1/2或1/3。帧叠大, 相应的计算量也大[3]。随着语音识别技术的不断发展时域特征参数的种种不足逐渐暴露出来，如这些特征参数缺乏较好稳定性且区分能力不好。于是频域参数开始作为语音信号的特征比如频谱共振峰等。经典的特征提取方法主要有LPCC（线性预测倒谱系数）、MFCC（美尔频率倒谱系数）、HMM（隐马尔科夫模型）、DTW（动态时间规整）等。 2 语音信号特征参数提取方法
—102 — 基于内容相似度的网页正文提取 王 利1，刘宗田1，王燕华2，廖 涛1 (1. 上海大学计算机科学与工程学院，上海 200072；2. 上海海洋大学信息学院，上海 201306) 摘 要：提出一种将复杂的网页脚本进行简化并映射成一棵易于操作的树型结构的方法。该方法不依赖于DOM 树，无须用HTMLparser 包进行解析，而是利用文本相似度计算方法，通过计算树节点中文本内容与各级标题的相似度判定小块文本信息的有用性，由此进行网页清洗与正文抽取，获得网页文本信息，实验结果表明，该方法对正文抽取具有较高的通用性与准确率。 关键词：网页正文抽取；网页映射；网页清洗；文本相似度 Web Page Main Text Extraction Based on Content Similarity WANG Li 1, LIU Zong-tian 1, WANG Yan-hua 2, LIAO Tao 1 (1. School of Computer Science and Engineering, Shanghai University, Shanghai 200072; 2. School of Information Technology, Shanghai Fisheries University, Shanghai 201306) 【Abstract 】This paper proposes a method of simplifying complex Web page script and mapping it into tree structure easy to operate. It does not depend on DOM tree, and does not need utilize htmlparser bag to parse. By calculating text similarity, it calculates the similarity between the content of tree node and headings of different levels to determine the usefulness of the text information, cleans the Web page and extracts the content information. Experimental results show that the method has better universal property and accuracy rate in main text extraction. 【Key words 】Web page main text extraction; Web page mapping; Web page cleaning; text similarity 计 算 机 工 程 Computer Engineering 第36卷 第6期 Vol.36 No.6 2010年3月 March 2010 ·软件技术与数据库· 文章编号：1000—3428(2010)06—0102—03 文献标识码：A 中图分类号：TP393 1 概述 随着Internet 的飞速发展，网络上的信息呈爆炸式增长。 网页己经成为Internet 上最重要的信息资源。各种网页为人们提供了大量可供借鉴或参考的信息，成为人们日常工作和生活必不可少的一部分。然而，网页上的信息经常包含大量的噪声，如广告链接、导航条、版权信息等非网页主题信息的内容，页面所要表达的主要信息经常被隐藏在无关的内容和结构中，限制了Web 信息的可利用性。本文主要对网页上的这些噪声进行滤除，并抽取网页正文信息，即网页清洗。它是Web 文本分类、聚类、文本摘要等文本信息处理的基础，网页正文抽取的效果直接影响到文本信息处理的效果。 本文的方法首先抽取出HTML 页面中的title 及各级标题，再对网页进行标准化预处理，然后建立一种新的树型结构，HTML 中的所有正文信息都包含在这棵树的节点中。利用这种树型结构可以方便地清洗网页中的噪声、抽取出网页中的正文信息。在抽取网页正文信息时，较大的文本块根据文本的长度极易抽取出，而对于只有小文本块的节点，由于页面中的title 及各级标题高度概括了该网页的主要内容，因此可以根据各节点内容与title 、各级标题的相似度来判定该节点的信息文本是否为有用文本，只要该小块文本与title 或某个子标题的相似度大于设定阈值，就判定其为有用信息。 2 相关工作 虽然网页正文提取是Web 文本挖掘中的一个重要问题， 但相关研究并不多。目前对网页进行噪声过滤与信息自动抽取的方法主要有两大类：(1)针对单一页面进行处理。根据所处理页面的内容特征、可视信息等应用一些启发性规则去除页面的噪音，抽取出页面内容。这类方法对每一个待处理的网页进行同样的处理，对于抽取通过模板产生的网页集效率较低。(2)针对同一站点中页面的一般模式进行处理。这种方法是基于一个或多个网站中的页面集进行模板检测的，但局限于由同一个模板生成的网页集，直接影响清洗的自适应性。 文献[1]的研究仅限于某些特定站点，在这些站点中根据合并不同页面生成的DOM 树来标记页面中哪些是有用信息哪些是噪声，并通过这些标记达到页面清洗的目的。文献[2]根据HTML 标签生成树，通过分析同一网站下网页之间模板的相似性来识别数据区域。文献[3]基于DOM 规范，提出了基于语义信息的STU-DOM 树模型，将HTML 文档转换为STU-DOM 树，并对其进行基于结构的过滤和基于语义的剪枝，完成了对网页主题信息的抽取。文献[4]采用基于标记窗的方法并利用Levenshtein Distance 公式计算标记窗中字符串与标题词之间的距离，从而判断该字符串是否为正文信息，该方法容易导致很多噪声无法滤除。 通过分析可知，现有的网页清洗方法大多基于DOM 树并用HTMLparser 程序包[5]对其进行解析，这种方法效率不高，而且依赖于第三方包。对此本文提出了一种简单的树型结构，在这棵树中保存了正文信息，同时消除了一些无用信息，并对各节点进行了简化，带来了操作上极大的便利。另外，在这棵树中可以通过深度搜索子节点来消除传统方法中不能处理网页正文部分被存放在多个td 中的情况以及不能处 基金项目：国家自然科学基金资助项目(60575035, 60975033)；上海市重点学科建设基金资助项目(J50103)；上海大学研究生创新基金资助项目(SHUCX092162) 作者简介：王 利(1984－)，男，硕士研究生，主研方向：文本挖掘，事件本体；刘宗田，教授、博士生导师；王燕华，硕士研究生；廖 涛，博士研究生 收稿日期：2009-08-10 E-mail ：wonglee07@https://www.doczj.com/doc/4f2719023.html,
https://www.doczj.com/doc/4f2719023.html, python抓取网页数据的常见方法 很多时候爬虫去抓取数据，其实更多是模拟的人操作，只不过面向网页，我们看到的是html在CSS样式辅助下呈现的样子，但爬虫面对的是带着各类标签的html。下面介绍python抓取网页数据的常见方法。 一、Urllib抓取网页数据 Urllib是python内置的HTTP请求库 包括以下模块：urllib.request 请求模块、urllib.error 异常处理模块、urllib.parse url解析模块、urllib.robotparser robots.txt解析模块urlopen 关于urllib.request.urlopen参数的介绍： urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) url参数的使用 先写一个简单的例子：
https://www.doczj.com/doc/4f2719023.html, import urllib.request response = urllib.request.urlopen(' print(response.read().decode('utf-8')) urlopen一般常用的有三个参数，它的参数如下： urllib.requeset.urlopen(url,data,timeout) response.read()可以获取到网页的内容，如果没有read()，将返回如下内容 data参数的使用 上述的例子是通过请求百度的get请求获得百度，下面使用urllib的post请求 这里通过https://www.doczj.com/doc/4f2719023.html,/post网站演示（该网站可以作为练习使用urllib的一个站点使用，可以 模拟各种请求操作）。 import urllib.parse import urllib.request data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8')
语音特征参数MFCC的提取及识别 耳蜗实质上相当于一个滤波器组，耳蜗的滤波作用是在对数频率尺度上进行的，在1000HZ下，人耳的感知能力与频率成线性关系；而在1000HZ以上，人耳的感知能力与频率不构成线性关系，而更偏向于对数关系，这就使得人耳对低频信号比高频信号更敏感。Mel频率的提出是为了方便人耳对不同频率语音的感知特性的研究。频率与Mel频率的转换公式为： MFCC在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的研究成果，采用这种技术语音识别系统的性能有一定提高。 MFCC参数的提取1、 预加重处理 预加重处理其实是一个高通滤波器，该高通滤波顺的传递函数为：
其中的取值为0.97，该高通滤波器作用是滤去低频，使语音信号的高频特性更加突现。 2、 分帧及加窗处理 由于语音信号只在较短的时间内呈现平稳性（一般认为 10-30ms），因此将语音信号划分为一个一个的短时段即一帧。同时为避免丢失语音信号的动态信息，相邻帧之间要有一段重叠区域，重叠区域一段为帧长的1/2或1/3。然后再将每帧乘上窗函数，以增加每帧左端和右端的连续性。 3、 各帧信号的FFT变换 对分帧加窗后的各帧信号进行FFT变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。
4、 三角滤波器系数的求取 定义若干个带通三角滤波器(k)，0<=m<=M，M为滤波器个数，其中心频率为f(m),每个带通三角滤波器的频率响应为 且满足Mel(f(m))-Mel(f(m-1))=Mel(f(m+1))-Mel(f(m)) 求得滤波系数为m(i),i=1,…,p，p为滤波器阶数 5、 三角滤波并进行离散余弦变换DCT
图像常见xx方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点： 颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。 一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。 由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的xx与匹配方法 （1）颜色直方图 其优点在于： 它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于： 它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间： RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：
直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。 在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于： 图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是： 将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 （5）颜色相关图 二纹理特征 （一）特点： 纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行
三，二相编码雷达脉冲信号 载波频率f0=10e6Hz;采样频率fs=100e6Hz;子码宽度t=0.5e-6s;七位巴克码进行相位调频m=[-1 -1 -1 1 1 -1 1];占空比为D=0.5 图形如下图（1）所示 05001000150020002500 -4 -3 -2 -1 1 2 3 4 5 6 （1） 参数提取： 一，脉冲信号检测 计算瞬时功率()n E 瞬时功率()n E 的图形如下图（2）所示 0500100015002000250030003500 010 20 30 40 50 60 70 80 （2） 总功率P
P =6.5963e+04 平均功率P1 P1 =20.6135 设置自适应检测门限T P Pt =10.3068 根据信噪比公式?? ? ??=PN PS SNR lg 10可以计算出所产生信号的信噪比SNR=5. 各脉冲到达时间Nis 和结束时间Nie(单位是点数) Nis = 2 702 1402 2102 Nie = 351 1051 1751 2851 二，脉冲包络分析 计算各脉宽TOAi 和平均脉宽tao(单位是点数) TOAi =350 350 350 350 tao = 350 上升时间Nrsi 和下降时间Ndoi(单位是点数) Nrsi = 396 396 396 396 Ndoi =0
顶部峰值Pti 和谷值Pli Pti =61.2718 61.2718 61.2718 61.2718 Pli =37.0954 37.0954 37.0954 37.0954 最大峰谷比Rt =1.6517 最小峰谷比Rl =1.6517 平均峰谷比Rtl = 1.6517 三，脉冲频谱分析 对二相编码雷达脉冲信号进行FFT 变换得到图形如下图（3）所示，对FFT 变换后的函数做最大值检测，得到最大值在34点数处，换算成频率为9.885e6Hz 。存在一定的误差 -50-40-30-20-100 1020304050010 20 30 40 50 60 70 80 90 100 f in MHz （3）
python爬虫实战,多线程爬取京东jd html页面：无需登录的网 站的爬虫实战 2014-12-02 20:04:31 标签：网站爬虫python import 版权声明：原创作品，如需转载，请与作者联系。否则将追究法律责任。 【前言】 【需求说明】 以京东为示例，爬取页面的，获取页面中得数据：记录到data.txt；获取页面中得图片，保存下来。 1、list的url如下 2、商品详情页的url如下： 【技术说明】
【代码逻辑说明】 1、run（获取最终要的结果） 2、parseListpageurl：返回list的总共的页面数量 3、judgelist：判断该list是否已经爬取完毕了，第一个list中的所有url、最后list 的所有url都爬取完毕了，那么久说明list的所有page爬取完毕了（实际上是一种弱校验） 4、getfinalurl_content：如果list没爬取完毕，每个list爬取，解析list中得每个html （判断html是否爬取过），获得内容和img 【坑说明】 1、需要设置超时时间，和重试，否则爬取一个url卡住的时候，整个线程都悲剧了。 2、有编码的坑，如果页面是gb2312的编码，需要转换为utf-8的编码： httprestmp.decode('gbk').encode('utf-8') 3、parser.feed的内容，如果存在一些特殊字符，可能需要替换，否则解析出来会莫名不对
4、图片保存，根据url获取前面两个数字，保存。以免一个目录下保存了过多的图片。【执行结果】 1、console输出 2、data.txt存储解析出来的内容 3、judegurl.txt（保存已经爬取过的url） 4、图片（下载的图片） 【代码详情】
标准单元库参数提取 参数提取是通过HSPICE对修改供电电压之后的标准单元重新进行时序和功耗的仿真。由于需要对input transition time和output net capacitance的每一对组合点作HSPICE仿真，仿真工作量很大。因此我们考虑写一个批处理程序调用HSPICE进行仿真。这里我们采用微电子所开发的LPE工具进行参数提取仿真。它是一个可以在UNIX环境运行的可执行文件（由于其C++源代码有问题，不能在LINUX环境下重新进行编译）。 使用LPE提取电路参数的流程如下： ①LPE工具底层调用Hspice进行运算，因此，需要终端能够运行Hspice，并在.cshrc文件中配置好Hspice的运行环境。 ②配置LPE的SPICE器件模型文件lpespicemodel.txt、模拟环境文件lpeenv.txt 以及环境条件文件lpedefault.ctr。 lpespicemodel.txt：首钢NEC提供了最好（Fast）、最坏（Slow）和典型（Typical）三种情况的spice模型。lpespicemodel.txt将三种模型整合在一起，并分别注明最好、最坏和典型情况，文件格式如下： !BEGIN TYPE .MODEL PMOS .MODEL NMOS !END TYPE 其中，TYPE分别对应FAST-FAST（最好）、SLOW-SLOW（最坏）和TYPICAL （典型） lpeenv.txt：定义模型的类型（FF,SS,TYPICAL）、Spice模拟器（Hspice）和
参数单位（如时间、电容、电压单位等），除模型类型根据用户需要制定外，一般采用缺省定义 lpedefault.txt：定义环境条件，如电压、温度等，采用缺省定义即可 ③配置LPE的输入文件（以an02d0为例）：an02d0.def（单元功能文件）、an02d0.spi（单元网表文件）和an02d0.condition（任务描述文件）。 单元功能文件an02d0.def：说明单元的输入、输出端口以及单元的功能函数，文件如下： type:com; input:A1,A2; output:Z=A1*A2; 单元网表文件an02d0.spi：对Cadence导出的原始网表文件an02d0.cir进行修改（注释掉EQUIV、PARAM、＋vss!，将PM、NM、vdd！、vss！分别改为P、N、vdd、vss）后保存。an02d0.spi调用修改后的an02d0.cir，具体文件如下：.include’an02d0.cir’ .global vdd vss x1 A1 A2 Z an02d0 *Z Z *A1 A1 *A2 A2 .end 任务描述文件an02d0.condition：可以在文件中定义某一种参数的提取任务，也可以定义所有参数的提取任务，每种任务的描述格式基本相同，以提取A1到Z的上升沿延时为例，文件如下： #Begin #Table deley Rise Cell DRTemp2 #FromTo A1 Z InputNetTransition 5 0.01 0.84 1.40 1.80 3.33 TotalOutputNetCapacitance 5 0.01 0.11 0.52 1.56 2.08 #End
SUNvts的安装和使用1.概述 1.1什么是SUNvts Sunvts是sun Validation Test Suite的缩写。它是sun的一个全面的硬件测试工具，SUNvts通过校验sun平台上的设备和硬件控制器的连通性和功能性来检测硬件是否正常。 1.2SUNvts支持的测试※CD DVD Test(cddvdtest)※CPU Test(cputest)※Disk and Floppy Drives Test(disktest)※Data Translation Look-aside Buffer(dtlbtest)※Floating Point Unit Test(fputest)※Network Hardware Test(nettest)※Ethernet Loopback Test(netlbtest)※Physical Memory Test(pmemtest)※Serial Port Test(serialtest)※System Test(systest)※Universal Serial Board Test(usbtest)※Virtual Memory Test(vmemtest)注：SUNvts提供了GUI和tty两种模式来进行状态配置和环境的监测，具体会在后面的介绍中进行详细的描述。 2.安装SUNvts及补丁2.1安装SUNvts SUNvts包及相关文档的下载地址：[url]https://www.doczj.com/doc/4f2719023.html,/oem/products/vts/index.html[/url]。将下载的包ftp到主机中。本例中将SUNvts传到了/opt/sun下。（本例是以5.1版为例）root@nz86#cd/opt root@nz86#cd sun root@nz86#ls SUNVTS bin root@nz86#cd SUNVTS root@nz86#ls 5.1 root@nz86#cd 5.1 root@nz86#ls README SUNVTS_5.TGZ root@nz86#gunzip*.TGZ root@nz86#ls README SUNVTS_5.tar root@nz86#tar xf*.tar root@nz86#ls README SUNVTS_5.tar SunVTS-5.1 root@nz86#cd SunVTS* root@nz86#ls 8SUNWvts SUNWvtsmn SUNWvtsx sunvts5.1_new.html root@nz86#cd8
使用jsoup对HTML文档进行解析和操作 刘柄成,站长,开源中国社区 简介 jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。本文主要介绍如何使用jsoup来进行常用的HTML解析。 jsoup的主要功能如下： 从一个URL，文件或字符串中解析HTML； 使用DOM或CSS选择器来查找、取出数据； 可操作HTML元素、属性、文本； jsoup是基于MIT协议发布的，可放心使用于商业项目。 jsoup的主要类层次结构如图1所示： 图 1.jsoup的类层次结构 接下来我们专门针对几种常见的应用场景举例说明jsoup是如何优雅的进行HTML文档处理的。 文档输入 jsoup可以从包括字符串、URL地址以及本地文件来加载HTML文档，并生成Document 对象实例。 下面是相关代码： 清单1 //直接从字符串中输入HTML文档 String html="
Document doc=Jsoup.parse(html); //从URL直接加载HTML文档 Document doc=Jsoup.connect("https://www.doczj.com/doc/4f2719023.html,/").get(); String title=doc.title(); Document doc=Jsoup.connect("https://www.doczj.com/doc/4f2719023.html,/") .data("query","Java")//请求参数 .userAgent("I’m jsoup")//设置User-Agent .cookie("auth","token")//设置cookie .timeout(3000)//设置连接超时时间 .post();//使用POST方法访问URL //从文件中加载HTML文档 File input=new File("D:/test.html"); Document doc=Jsoup.parse(input,"UTF-8","https://www.doczj.com/doc/4f2719023.html,/"); 请大家注意最后一种HTML文档输入方式中的parse的第三个参数，为什么需要在这里指定一个网址呢（虽然可以不指定，如第一种方法）？因为HTML文档中会有很多例如链接、图片以及所引用的外部脚本、css文件等，而第三个名为baseURL的参数的意思就是当HTML文档使用相对路径方式引用外部文件时，jsoup会自动为这些URL加上一个前缀，也就是这个baseURL。 例如开源软件会被转换成开源软件。 解析并提取HTML元素 这部分涉及一个HTML解析器最基本的功能，但jsoup使用一种有别于其他开源项目的方式——选择器，我们将在最后一部分详细介绍jsoup选择器，本节中你将看到jsoup是如何用最简单的代码实现。 不过jsoup也提供了传统的DOM方式的元素解析，看看下面的代码： 清单 2. File input=new File("D:/test.html"); Document doc=Jsoup.parse(input,"UTF-8","https://www.doczj.com/doc/4f2719023.html,/"); Element content=doc.getElementById("content"); Elements links=content.getElementsByTag("a"); for(Element link:links){ String linkHref=link.attr("href");
图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩
使用Calibre xRC实现RFCMOS电路的寄生参量提取 及后仿真 郭慧民 [摘要] Calibre xRC是Mentor Graphics公司用于寄生参量提取的工具，其强大的功能和良好的易用性使其得到业界的广泛认可。本文以采用RFCMOS工艺实现的LNA为例，介绍使用Calibre xRC对RFCMOS电路寄生参量提取，以Calibreview 形式输出以及在Virtuoso的ADE中直接后仿真的流程。本文还将讨论Calibre xRC特有的XCELL方式对包含RF器件的电路仿真结果的影响。 采用Calibre xRC提取寄生参量 采用RFCMOS工艺设计低噪声放大器(LNA)，其电路图如图1所示，版图如图2所示。 图1 LNA的电路图
图2 LNA的版图 Calibre支持将其快捷方式嵌入在Virtuoso平台中。用户只需在自己.cdsinit文件中加入以下一行语句： load( strcat( getShellEnvVar("MGC_HOME") "/lib/calibre.skl" )) 就可以在virtuoso的菜单中出现“calibre”一项，包含如下菜单： 点击Run PEX，启动Calibre xRC的GUI，如图3所示。Outputs菜单中的Extraction Type里，第一项通常选择Transistor Level或Gate Level，分别代表晶体管级提取和门级提取。第二项可以选择R+C+CC，R+C，R，C+CC，其中R 代表寄生电阻，C代表本征寄生电容，CC代表耦合电容。第三项可以选择No Inductance，L或L+M，分别代表不提取电感，只提取自感和提取自感与互感。这些设置由电路图的规模和提取的精度而定。 在Format一栏中，可以选择SPECTRE，ELDO，HSPICE等网表形式，也可以