using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Web.Mvc;
using https://www.doczj.com/doc/832803372.html,;
using System.IO;
using System.Text;
using System.Text.RegularExpressions;
namespace Syccw.Controllers
{
public class Get_Url
{
///
///获取网页中全部图片
///
///网页地址
///网页编码，为空自动判断
///
public string getImages(string url,string charSet)
{
string s = getHtml(url, charSet);
return getPictures(s, url);
}
///
///获取网页中全部图片
///
///网址
///
public string getImages(string url)
{
return getImages(url, "");
}
public string doman(string url)
{
Uri u = new Uri(url);
return u.Host;
}
///
///获取网页内容
///
///网站地址
///目标网页的编码,如果传入的是null或者"",那就自动分析网页的编码
///
public string getHtml(string url, string charSet)
{
WebClient myWebClient = new WebClient();
//创建WebClient实例myWebClient
// 需要注意的：
//有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
//这是就要具体问题具体分析比如在头部加入cookie
// webclient.Headers.Add("Cookie", cookie);
//这样可能需要一些重载方法。根据需要写就可以了
//获取或设置用于对向Internet 资源的请求进行身份验证的网络凭据。
myWebClient.Credentials = CredentialCache.DefaultCredentials;
//如果服务器要验证用户名,密码
//NetworkCredential mycred = new NetworkCredential(struser, strpassword);
//myWebClient.Credentials = mycred;
//从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
byte[] myDataBuffer = myWebClient.DownloadData(url);
string strWebData = Encoding.Default.GetString(myDataBuffer);
//获取网页字符编码描述信息
Match charSetMatch = Regex.Match(strWebData, " string webCharSet = charSetMatch.Groups[2].Value.Replace("\"", ""); if (charSet == null || charSet == "") charSet = webCharSet; if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default) strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer); return strWebData; } public string getPictures(string data, string url) { MatchCollection ps = Regex.Matches(data, @" string s = string.Empty; for (int i = 0; i < ps.Count; i++) { pictures p = new pictures(ps[i].Value, url); s += p.GetHtml + " } return s; } /// ///图片文件属性处理类 /// public class pictures { public pictures(string strHtml,string baseUrl) { _html = strHtml; Uri u1 = new Uri(baseUrl); _doman = u1.Host; _baseUrl = u1.Scheme + "://" + _doman; setSrc(); } private string _html = string.Empty; private string _baseUrl = string.Empty; private string _doman = string.Empty; public string GetHtml { get { return _html; } } public string Alt { get { return GetAttribute("alt")[0]; } } public string Src { get { string s = GetAttribute("src")[0]; return s; } } /// ///根据基路径把相对路径转换成绝对径 /// ///基础路径 ///待转换的相对路径 /// public string absUrl(string baseUrl, string u) { Uri ub = new Uri(baseUrl); Uri ua = new Uri(ub, u); return ua.AbsoluteUri; } private void setSrc() { string strPattern = @"src[\s\t\r\n]*=[\s\t\r\n]*[""']?\S+[""']?"; string src = GetAttribute("src")[0].ToLower(); if (!(src.IndexOf("http://") == 0 || src.IndexOf("https://") == 0) && _baseUrl.Length > 10) { src = absUrl(_baseUrl, src); string s = "src=\"" + src + "\""; _html = Regex.Replace(_html, strPattern, s); } } /// ///获取HTML代码中标签属性 /// ///HTML代码 ///属性名称 /// private string[] GetAttribute(string strAttributeName) { List string strPattern = string.Format( @"{0}[\s\t\r\n]*=[\s\t\r\n]*[""']?\S+[""']?", strAttributeName ); MatchCollection matchs = Regex.Matches(_html, strPattern, RegexOptions.IgnoreCase); foreach (Match m in matchs) { lstAttribute.Add(m.Value.Split('=')[1].Replace("\"", "").Replace("'", "")); } if (lstAttribute.Count == 0) lstAttribute.Add(""); return lstAttribute.ToArray(); } } } } 教你如何提取网页中的视频、音乐歌曲、flash、图片等多媒体文件（很实用） 打开网页后，发现里面有好看的视频、好听的音乐、好看的图片、很炫的flash，是不是想把它们弄到自己电脑上或手机、mp4上？但很多时候视频无法下载，音乐只能试听，或者好听的背景音乐根本就不知道什么名字，更别说怎么下了；至于图片直接右键另存为即可，不过如果网页突然关掉了，但又想把看过的图片弄下来，而忘了图片网页地址或者不想再通过历史记录打开，这时又该怎么办？ 其实这些问题都能很好的解决，并且很简单，只要用一个软件 来替你从电脑的缓存中搜索一下就OK了，因为网页中显示的内容基本 上全部都在缓存中，如果自己手动搜索，那将是很累人滴，又不好找，东西太多，又没分类。 无意中发现一个小软件很强（对此感兴趣，本人玩过无数小软件），我一直在用，也是用它帮了很多网友的忙，为了让更多的网友解决问题，于是拿来和亲们分享一下。不废话了，下面进入主题： 这款免费小软件就是YuanBox（元宝箱）v1.6，百度一搜就能下载。 下面是我自己整理的使用步骤，供亲们参考（其实不用看就行，软件简单，不用学就会），我只是用的时间长了，很熟练罢了： 软件下好后，解压，打开里面的YuanBox.exe即可，不用安装；打开此软件前，先打开你要提取东西的网页（之后再关掉也行），这是为了保证电脑缓存中有你要的东西。 运行软件，初始界面如下图： 之后直接是flv格式视频搜索结果的界面，原因就是此软件的全称是 元宝箱FLV视频下载专家，不想要视频的话，点击最上面的设置或者最下面的高级设置，即可进行搜索范围设定 下面是搜索条件设定界面 以swf格式flash为例，进行搜索，选择类型中的第二项 点击确定，开始搜索，结果如下： https://www.doczj.com/doc/832803372.html, 淘宝图片抓取工具使用方法 对于电商设计师来说，抓取竞品的宝贝的图片和店铺装修图片，来分析设计自己店铺的风格并做出差异化，是非常有用的方法哦。 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【淘宝图片】为例，教大家如何使用八爪鱼采集软件采集淘宝图片的方法。 本文介绍使用八爪鱼7.0采集淘宝商品图片的方法：首先将淘宝商品搜索结果网页中图片的URL采集下来，再通过八爪鱼专用的图片批量下载工具，将采集到的淘宝商品图片URL，下载并保存到本地电脑中。 采集网址：淘宝商品搜索页面 比如T恤（可更换其他关键词对淘宝商品图片进行采集）： https://https://www.doczj.com/doc/832803372.html,/search?q=T%E6%81%A4&imgfile=&commend=all &search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taob ao-item.1&ie=utf8&initiative_id=tbindexz_20170306 采集数据内容：淘宝商品图片地址 https://www.doczj.com/doc/832803372.html, 使用功能点： ●翻页设置 ●图片链接采集 步骤1：创建淘宝商品图片采集任务1）进入八爪鱼采集器主界面，选择自定义模式 淘宝商品图片采集步骤1 https://www.doczj.com/doc/832803372.html, 2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址” 淘宝商品图片采集步骤2 3）如下图红色框中的淘宝商品图片即为本次要采集的内容。 https://www.doczj.com/doc/832803372.html, 淘宝商品图片采集步骤3 步骤2：创建翻页循环 ●找到翻页按钮，设置翻页循环 ●设置ajax翻页时间 ●设置滚动页面 1）将淘宝商品搜索结果页页面下拉到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”这个选项。 网页上看不到图片的解决方法步骤 先换一个正规的大站，看下网页图片能否显示，如果依然不行，请查看下本地电脑是否网络过慢，很多时候由于我们电脑的上网速 度很慢，就很容易导致网页图片不能显示出来。我们可以自己测试 下网速，另外一种情况是只是某些网站图片不能显示，那么多半是 网站问题，一般是网页本身或者网站所在服务器速度慢的原因。 适合于以上方法都排除之后依然不能显示图片使用。如果说是浏览器设置的问题，多半是因为禁用了错误禁用了某些插件导致的网 页中图片无法显示，那么可以在IE中进行设置，将需要启用的插件 进行还原，在桌面上右击“InternetExplorer”，选择“属性”， 点击“程序”标签页，在“管理加载项”中将禁用的插件再恢复， 这样就可以解决网页中图片无法显示的问题了。 首先第一个我们先确定网页是不是设置了不显示图片，我们点击浏览器右上角的“工具”-“Internet选项”!然后切换到“高级”!往下拖到多媒体里面就有一个显示图片的选项!这前面需要划勾!! 接下来我们来检测一下flashplayer版本是不是最新的。检测方法。点击开始然后选择控制面板!在控制面板里面找到flashplayer、双击进入切换到高级选项。然后点击立即检测即可。如果不是最新 的就更新一下!! 然后我们点击浏览器右上角的工具。选择管理加载项!!启用shockwaveflash0bject-然后点击确定确定 如果不行我们就把浏览器的安全级别调低一点!!点击浏览器右上角的工具。选择Internet选项。然后切换到安全。把级别调到低。 或者是中等!! 我们打开网页非常慢就可能网速不稳定的原因导致的!!我们可以弄个网速测试的小工具来查看一下那个软件占用了大量的网速。我们把这个限制或者是结束!! 最后如果还不行我们可以下载一个电脑管家。来诊断一下!!或者是用电脑管家来修复一下IE。。即可解决!! https://www.doczj.com/doc/832803372.html, 网页图片提取方法 对于新媒体运营来说，平日一定要注意积累图片素材，这样到写文案用的时候，才不会临时来照图片，耗费大量的时间。 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【图片采集】为例，教大家如何使用八爪鱼采集软件采集网络图片的方法。 1、图片采集 在八爪鱼中，采集图片有以下几大步 1、先采集网页图片的地址链接url 2、通过八爪鱼提供的专用图片批量下载工具将URL转化为图片 八爪鱼图片批量下载工具：https://https://www.doczj.com/doc/832803372.html,/s/1c2n60NI 2、常见应用情景 1）非瀑布流网站纯图片采集 采集示例：豆瓣网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/tpcj-7 2）瀑布流网站纯图片采集 这类瀑布流网站的采集需要按下面的步骤对采集规则进行设置： https://www.doczj.com/doc/832803372.html, ①点击采集规则打开网页步骤的高级选项； ②勾选页面加载完成后下滚动； ③填写滚动的次数及每次滚动的间隔； ④滚动方式设置为：直接滚动到底部； 完成上面的规则设置后，再对页面中图片的url进行采集 采集示例：百度网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/bdpiccj 3)文章图文采集 需要将文章里的文字和图片都采集下来，一般有两种方法 方法1：判断条件，设置判断条件分别采集文字和图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/txnewscj 方法2：先整体采集文字，再循环采集图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/ucnewscj 3、教程目的 采集图片URL这个步骤，以上图片采集教程中都有详细说明，不再赘述。本文将重点讲解图片采集的采集技巧和注意事项。 4、采集图片URL操作步骤 以下演示一个采集图片URL的具体操作步骤，以百度图片url采集为例。不同的网站图片url会遇到不同的情况，请大家灵活处理。 最近电脑IE浏览器老是有部分图片显示红叉叉，于是上网找“IE图片红X“”IE部分图片无法显示”“网页部分图片无法显示”，始终没找到一个正确的办法解决问题。 正打算再下一个其他浏览器来试验下，发现网速又特别慢，只好一边下着，一边研究图片红X的特征。右键看图片链接属性，然后在IE 里面输入图片具体地址，图片同样显示的是红X，别人的电脑能显示，我的无法显示？ 后来仔细一看，发现这些无法显示的图片后缀都是.png，于是上网找“PNG图片无法显示”，很顺利就搞定了。 方法如下：（我是使用的第一个方法就搞定了，刚开始的时候提示没有找到输入点，只好从网上下了个pngfilt.dll,然后运行命令，红X图片能显示了，说明还真是pngfilt.dll图片的问题，只是PNG图片显示效果很失真，我的电脑是XPSP3，我估计是文件版本没下对，就从之前的XPSP3系统GHO文件里面提取这个文件出来，Replacer替换之后，运行命令又提示无输入点，可我打开IE浏览网页的时候发现图片不失真了，晕！总之搞定pngfilt.dll文件就对了，看样子再一次替换SP3的dll文件之后可能不需再运行注册！） 方法一、使用开始——运行，在运行输入框中输入“regsvr32 c:\windows\system32\pngfilt.dll”（然后点击确定） 注意，这个pngfilt.dll在有的系统中是在 c:\windows\system中的，要自己查看一下这文件在哪里，根据自己的系统修改一下路径。如果在注册时出现“已加载 c:\windows\system32\pngfilt.dll，但没有找到DllRegisterSever 输入点。无法注册这个文件”，则表明这个文件可能损坏了，你要去别的机子去Copy一个好的过来。再进行一次注册。（也可以去网上下载一个pngfilt.dll，切记在覆盖原文件时一定要在系统的安全模式下，否则系统会不断还原，也可以使用Replacer等类似软件工具进行替换） 方法二、1、“开始”菜单——“ 运行”，在打开处输入“regsvr32 pngfilt.dll”——点“确定”。 2、“开始”菜单——“ 运行”，在打开处输入“regedit”——点“确定”打开注册表编辑。 3、找到HKEY_LOCAL_MACHINE/SOFTWARE/MICROSOFT/INTERNET EXPLORER/EMBEDEXTNTOCLSIDMAPPINGS 文件夹（左边） 点“EMBEDEXTNTOCLSIDMAPPINGS”看其子文件夹里有没有“.PNG” 4、假若没有“.PNG”文件夹，则选定“EMBEDEXTNTOCLSIDMAPPINGS”文件夹，指着它点鼠标右键——新建“项”——将新建文件夹命名为“.png”——选定新建的“.png”——在右边栏空白处，点鼠标右键——新建“字符串值”——将新建“字符串值”命名为“clsid”（也可用重命名）——双击打开“clsid”——在“数值数据”填“02BF25D5——8C17——4B23——BC80——D3488ABDDC6B”——点“确定”即可。 5、关闭IE浏览器,重新打开IE,这时png图片就能正常显示了。 方法三、开始——运行，在运行输入框中输入“Regedit”，到这个路径 “HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Internet Settings\Accepted Documents”，在右边右键“新建”——“字符串值” 紧接着最大的数字命名，我这里是3，故命名为4，并赋值为“image/png” 文件丢失，pngfilt.dll是个关键文件，应该在c:\windows\system32\路径下，此文件丢失会引起该故障。 2 文件注册项损坏，如果pngfilt.dll文件如果存在，那么可能是注册项丢失。使用开始->运行，在运行输入框中输入“regsvr32 c:\windows\system32\pngfilt.dll”（然后点击确定）。 我搜索了一下机器，发现该文件存在却不在system32路径下，于是copy过去解决。 昨天开机发现我的IE出了故障，浏览很多图片的时候无法显示，很是郁闷，思索了半天也没有找到有效的办法，后来只好GOOGLE之，这时候发现一篇文章，给了我很大帮助。特转载如下，一些地方稍作修改，以求新手更加明白，希望原作者见谅。原文地址可以在梁宏舍的专栏找到，点击进入。 网页上的图片看不见显示为红叉的原因及解决方法 论坛上的帖子，有很多兄回复中说图片看不了，显示是红叉叉，还以为是楼主骗人或者是放的图已经过期呢，但大家想想，为什么又有些兄弟能够看到图片呢？其实我自己也经常遇到这种情况，那么到底是什么原因造成这种部分图片无法正常显示的情况呢？ 主要原因有以下四点： 原因1、网站的图片已经过期！（解决：无，放弃这个网站，去别的网站找） 原因2、网速不够，导致图片加载不顺利，（解决：在红叉上单击鼠标右键“显示图片”此方法不行，就是原因1的问题） 原因3、被工具屏蔽了图片〔解决：到控制面版－添加/删除程序－卸载那些助手工具) 原因4、只是GIF格式的图片不显示，（解决INTERNET选项－高级－还原默认设置) 其他可能导致这种情况的因素：修复ie浏览器，用各种工具把所有的流氓软件全部删除，改用tt浏览器。 1.有时候你IE里的这个插件、那个插件正在你不知道的情况下打开一个又一个的广告，占你cpu、占你内存，还造成你系统不稳定。我就奇怪了，为什么还有这么多人在装这些插件？ 修复IE浏览器，用各种工具把所有的流氓软件全部删除或者改用tt 浏览器； 2.查看你的IE菜单栏的工具--选项--高级项目下，是不是去掉了图片显示的勾选；或者你是否安装了雅虎助手之类的软件使图片被屏蔽掉了。你如果安装了雅虎助手、卡卡助手等反插件软件，卡卡助手建议卸载，雅虎助手进行一下适当设置就行啦. 3.如果是“有些”图片不显示，而不是全部，就可能是那些图片已经不在他们的网站，被删除了之类的，或是链接别的网站的图片，被人家网站的防止超链接给挡住了。 当然电脑里的软故障是千奇百怪的，也不是你我能一两个帖子就能说清楚的，但我们总会想最好的办法去尽可能的解决这些故障。在此祝狼友们都看图愉快。 最后补充说明一点，看红叉叉图片是否有图的最简单方法：鼠标放在红叉上面，点鼠标右键，弹出菜单框，点选属性一项，弹出属性框，复制地址一栏中的地址，要注意的是地址可能很长，有几行，要复制完整，然后重开个窗口，将复制的地址粘贴在窗口中的地址栏上，回车即可。如果图片链接未失效，只是被屏蔽了，那么马上你就可以看到图片了。再回到你看图的窗口中，把刚才那个红叉点右键用显示图片，图片就出来了。这个方法很简单，只是麻烦一点，如果贴图多看起来有点累罢了。呵呵。不过不失为一个好办法. 原文链接：https://www.doczj.com/doc/832803372.html,/article/3hao-23-998641.html https://www.doczj.com/doc/832803372.html, 网站图片抓取方法 你是否有过想将网站上看到的图片抓取保存到本地电脑？图片少量时，还可以手动一张张下载，但是图片量巨大时，这个时候手动下载既耗费时间精力，效率又极其低下。遇到这种情况怎么办呢?让八爪鱼来帮你把~只需要在八爪鱼软件中配置相应的流程，图片下载到电脑就是so easy~下面就为大家介绍最全的网站图片抓取方法。 1、图片采集 在八爪鱼中，采集图片有以下几大步 1、先采集网页图片的地址链接url 2、通过八爪鱼提供的专用图片批量下载工具将URL转化为图片 八爪鱼图片批量下载工具：https://https://www.doczj.com/doc/832803372.html,/s/1c2n60NI 2、常见应用情景 1）非瀑布流网站纯图片采集 采集示例：豆瓣网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/tpcj-7 2）瀑布流网站纯图片采集 这类瀑布流网站的采集需要按下面的步骤对采集规则进行设置： ①点击采集规则打开网页步骤的高级选项； ②勾选页面加载完成后下滚动； ③填写滚动的次数及每次滚动的间隔； https://www.doczj.com/doc/832803372.html, ④滚动方式设置为：直接滚动到底部； 完成上面的规则设置后，再对页面中图片的url进行采集 采集示例：百度网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/bdpiccj 3)文章图文采集 需要将文章里的文字和图片都采集下来，一般有两种方法 方法1：判断条件，设置判断条件分别采集文字和图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/txnewscj 方法2：先整体采集文字，再循环采集图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/ucnewscj 3、教程目的 采集图片URL这个步骤，以上图片采集教程中都有详细说明，不再赘述。本文将重点讲解图片采集的采集技巧和注意事项。 4、采集图片URL操作步骤 以下演示一个采集图片URL的具体操作步骤，以百度图片url采集为例。不同的网站图片url会遇到不同的情况，请大家灵活处理。 网页上的图片不显示的解决方法 方法1、 原因是你的阻挡了所有网站COOKIES，导致对方无法读取你的COOKIES，所以无法显示验证码图框。另外有些网站的验证码采用FLASH形式显示，这要装Adobe Flash Player ActiveX插件的，不安装可能都是显示“X”。 1、打开IE浏览器→工具→Inter net选项→隐私（设置为低）→确定，保存退出 2、打开IE浏览器→工具→Internet选项→高级→在“显示图片”的框框打√，或直接“恢复默认值”。 3、下载Adobe Flash Player ActiveX控件（请使用右键迅雷下载）进行独立安装，然后重启电脑。 方法2、 开始->运行， 在运行输入框中输入“regsvr32 c:\windows\system32\pngfilt.dll”（不包含双引号） 然后点击确定，如果在出现“已加载c:\windows\system32\pngfilt.dll，但没有找到DllRegisterSever 输入点，无法注册这个文件”，则表明这个文件可能损坏了 你要去别的机子去Copy一个好的过来（也可以来这个网站下载： https://www.doczj.com/doc/832803372.html,/tool/dll.asp） 再进行一次注册，即：开始->运行，在运行输入框中输入“regsvr32 c:\windows\system32\pngfilt.dll”（不包含双引号），如果出现“c:\windows\system32\pngfilt.dll 中的DllRegisterServer 成功” 说明问题已经解决了。 如果在覆盖“pngfilt.dll”文件时，提示“无法复制PNGFILT：文件正被另一个人或程序使用。关闭任何可能使用这个文件的程序，重新试一次。”，就把“c:\windows\system32\pngfilt.dll”这个文件用文件粉碎机粉碎掉，然后把新的“pngfilt.dll”文件粘贴过来就OK了！ 方法3、 一些要求身份验证的网站使用在ASP中动态生成xbm格式图片的方法来显示验证码,但xp sp2默认设置不支持xbm格式图片。 新建文本文件~~把下面文字复制到文件中~~把文本文件改名为“xx.reg”文件，导入即可解决问题。 Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Internet Explorer\Security] "BlockXBM"=dword:00000000 https://www.doczj.com/doc/832803372.html, 网页链接提取方法 网页链接的提取是数据采集中非常重要的部分，当我们要采集列表页的数据时，除了列表标题的链接还有页码的链接，数据采集只采集一页是不够，还要从首页遍历到末页直到把所有的列表标题链接采集完，然后再用这些链接采集详情页的信息。若仅仅靠手工打开网页源代码一个一个链接复制粘贴出来，太麻烦了。掌握网页链接提取方法能让我们的工作事半功倍。在进行数据采集的时候，我们可能有提取网页链接的需求。网页链接提取一般有两种情况：提取页面内的链接；提取当前页地址栏的链接。针对这两种情况，八爪鱼采集器均有相关功能实现。下面介绍一个网页链接提取方法。 一、八爪鱼提取页面内的超链接 在网页里点击需要提取的链接，选择“采集以下链接地址” https://www.doczj.com/doc/832803372.html, 网页链接提取方法1 二、八爪鱼提取当前地址栏的超链接 从左边栏拖出一个提取数据的步骤出来（如果当前页已经有其他的提取字段，这一步可省略）点击“添加特殊字段”，选择“添加当前页面网址”。可以看到，当前地址栏的超链接被抓取下来 https://www.doczj.com/doc/832803372.html, 网页链接提取方法2 而批量提取网页链接的需求，一般是指批量提取页面内的超链接。以下是一个使用八爪鱼批量提取页面内超链接的完整示例。 采集网站： https://https://www.doczj.com/doc/832803372.html,/search?initiative_id=tbindexz_20170918&ie=utf8&spm=a21 bo.50862.201856-taobao-item.2&sourceId=tb.index&search_type=item&ssid=s5-e&commend=all&imgfile=&q=手表&suggest=history_1&_input_charset=utf-8&wq=&suggest_query=&source=sugg est 教你如何提取网页中的视频（主要flv），音乐，flash，图片 等多媒体文件 打开网页后，发现里面有好看的视频、好听的音乐、好看的图片、很炫的flash，是不是想把它们弄到自己电脑上或手机、mp4上？但很多时候视频无法下载，音乐只能试听，或者好听的背景音乐根本就不知道什么名字，更别说怎么下了；至于图片直接右键另存为即可，不过如果网页突然关掉了，但又想把看过的图片弄下来，而忘了图片网页地址或者不想再通过历史记录打开，这时又该怎么办？ 其实这些问题都能很好的解决，并且很简单，只要用一个软件来替你从电脑的缓存中搜索一下就OK了，因为网页中显示的内容基本上全部都在缓存中，如果自己手动搜索，那将是很累人滴，又不好找，东西太多，又没分类。 无意中发现一个小软件很强（对此感兴趣，本人玩过无数小软件），我一直在用，也是用它帮了很多网友的忙，为了让更多的网友解决问题，于是拿来和亲们分享一下。 工具/原料 这款免费小软件就是YuanBox（元宝箱）v1.6，全称:元宝箱FLV视频下载专家,百度一搜就能下载。 下面是我自己整理的使用步骤，供亲们参考（其实不用看就行，软件简单，不用学就会），我只是用的时间长了，很熟练罢了： 软件下好后，解压，打开里面的YuanBox.exe即可，不用安装；打开此软件前，先打开你要提取东西的网页（之后再关掉也行），这是为了保证电脑缓存中有你要的东西。 步骤/方法 ○11运行软件，初始界面如下图： ○22之后直接是flv格式视频搜索结果的界面，原因就是此软件的全称是 元宝箱FLV视频下载专家，不想要视频的话，点击最上面的设置或者最下面的高级设置，即可进行搜索范围设定 ○33下面是搜索条件设定界面 https://www.doczj.com/doc/832803372.html, 图片爬虫如何使用 目标网站上有许多我们喜欢的图片，想用到自己的工作或生活中去，但苦于工作量太大，图片一张张保存太过耗时耗力，因此总是力不从心。 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【ebay】为例，教大家如何使用八爪鱼采集软件采集ebay网站的方法。 可以将网页中图片的URL采集下来，再通过八爪鱼专用的图片批量下载工具，将采集到的图片URL中的图片，下载并保存到本地电脑中。 采集网站： https://https://www.doczj.com/doc/832803372.html,/sch/i.html?_from=R40&_trksid=p2050601.m570.l1313.TR0.TRC0.H0.Xnik e.TRS0&_nkw=nike&_sacat=0 使用功能点： ●分页列表信息采集 ●执行前等待 ●图片URL转换 https://www.doczj.com/doc/832803372.html, 步骤1：创建采集任务 1）进入主界面，选择“自定义采集” ebay爬虫采集步骤1 2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址” https://www.doczj.com/doc/832803372.html, ebay爬虫采集步骤2 3）系统自动打开网页，红色方框中的图片是这次演示要采集的内容 https://www.doczj.com/doc/832803372.html, ebay爬虫采集步骤3 步骤二：创建翻页循环 1）点击右上角的“流程”，即可以看到配置流程图。将页面下拉到底部，找到下一页的大于号标志按钮，鼠标点击，在右侧操作提示框中，选择“循环点击单个链接” ebay爬虫采集步骤4 由于该网页每次翻页网址随之变化，所以不是ajax页面，不需要设置ajax。如果有网站每次翻页，网址不变，则需要在高级选项设置ajax加载。 https://www.doczj.com/doc/832803372.html, 最全的网页图片采集方法 1、图片采集 在八爪鱼中，采集图片有以下几大步 1、先采集网页图片的地址链接url 2、通过八爪鱼提供的专用图片批量下载工具将URL转化为图片 八爪鱼图片批量下载工具：https://https://www.doczj.com/doc/832803372.html,/s/1c2n60NI 2、常见应用情景 1）非瀑布流网站纯图片采集 采集示例：豆瓣网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/tpcj-7 2）瀑布流网站纯图片采集 这类瀑布流网站的采集需要按下面的步骤对采集规则进行设置： ①点击采集规则打开网页步骤的高级选项； ②勾选页面加载完成后下滚动； ③填写滚动的次数及每次滚动的间隔； ④滚动方式设置为：直接滚动到底部； 完成上面的规则设置后，再对页面中图片的url进行采集 https://www.doczj.com/doc/832803372.html, 采集示例：百度网图片采集教程https://www.doczj.com/doc/832803372.html,/tutorial/bdpiccj 3)文章图文采集 需要将文章里的文字和图片都采集下来，一般有两种方法 方法1：判断条件，设置判断条件分别采集文字和图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/txnewscj 方法2：先整体采集文字，再循环采集图片 采集示例：https://www.doczj.com/doc/832803372.html,/tutorial/ucnewscj 3、教程目的 采集图片URL这个步骤，以上图片采集教程中都有详细说明，不再赘述。本文将重点讲解图片采集的采集技巧和注意事项。 4、采集图片URL操作步骤 以下演示一个采集图片URL的具体操作步骤，以百度图片url采集为例。不同的网站图片url会遇到不同的情况，请大家灵活处理。 一、在键盘右上侧有一个键print screen sys rq键(打印屏幕)，可以用它将显示屏显示的画面抓下来，复制到“剪贴板”中，然后再把图片粘贴到“画图”、“Photoshop”之类的图像处理软件中，进行编辑处理后保存成图片文件，或粘贴到“Word”、“Powerpoint”、“Wps”等支持图文编辑的应用软件里直接使用。 1、截获屏幕图像 ①将所要截取的画面窗口处于windows窗口的最前方（当前编辑窗口）； ②按键盘上的“Print Screen”键，系统将会截取全屏幕画面并保存到“剪贴板”中； ③打开图片处理软件（如“画图”），点击该软件工具栏上的“粘贴”按钮或编辑菜单中的“粘贴”命令，图片被粘贴到该软件编辑窗口中（画布上），编辑图片，保存文件。 或打开（切换到）图文编辑软件（如“Word”、“Powerpoint”等），点击该软件工具栏上的“粘贴”按钮或编辑菜单中的“粘贴”命令，图片被粘贴到编辑窗口中，也可以使用该类软件的图片工具进行编辑。 注意，当粘贴到“画图”中时，可能会弹出一个“剪贴板中的图像比位图大，是否扩大位图？”对话框，此时点击“是”即可。 2、抓取当前活动窗口 我们经常不需要整个屏幕，而只要屏幕中的一个窗口，比如我们要“Word”窗口的图片。按下Alt键，同时按Print Screen即可。 ①将所要截取的窗口处于windows窗口的最前方（即当前编辑窗口）； ②同时按下Alt键和“Print Screen”键，系统将会截取当前窗口画面并保存到“剪贴板”中； ③粘贴到图像处理软件中或图文编辑软件中。 二、直接点击Ctrl＋Alt＋A键，然后可见鼠标的箭头变成彩色的，按住左键移动鼠标选择截图范围，然后在截图内右键鼠标另存为即可，可方便了. 三、用第三方软件如QQ截图：点击聊天框截图---显示彩色鼠标---用其圈定所选目标(右键取消)----双击(单击左键为重新选择)---进入QQ聊天框--右键另存为---到达所到地址 如果想上传则:右键点击图片---编辑---另存为---把保存类型改为JPEG格式即可。 方法1.1 屏幕截图 登陆QQ—→按下“Ctrl+Alt+A”组合键—→按下鼠标左键不放选择截取范围—→用鼠标左键调整截取范围的大小和位置—→截取范围内双击鼠标左键。所截图像保存在系统剪贴板。 打开网页的时候，图片不显示显示红色的小叉叉，而且有的时候，登陆某些页面的时候，不显示登陆的按钮，其实不显示的大多数是png图片，那么我来介绍中解决该种问题的办法吧，本人已经试过了，主要是我的已经出现了好几次这样的状态，所以拿来与大家分享！希望能够帮助到大家。内有具体的图示步骤。 复制以下代码： Windows Registry Editor V ersion 5.00 [HKEY_CLASSES_ROOT\MIME] [HKEY_CLASSES_ROOT\MIME\Database] [HKEY_CLASSES_ROOT\MIME\Database\Bootstrap Content Type] "application/vnd.ms-xpsdocument"="{c18d5e87-12b4-46a3-ae40-67cf39bc6758}" "application/x-ms-application"="{0a402d70-1f10-4ae7-bec9-286a98240695}" "application/x-ms-xbap"="{89f11169-844a-4725-b7a5-c342c50431a7}" "application/xaml+xml"="{7210ff00-0bcf-4dba-992a-80f60882922b}" [HKEY_CLASSES_ROOT\MIME\Database\Content Type] [HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/atom+xml] "CLSID"="{528d46b3-3a4b-4b13-bf74-d9cbd7306e07}" [HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/fractals] "Extension"=".fif" [HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/futuresplash] "Extension"=".spl" "CLSID"="{D27CDB6E-AE6D-11cf-96B8-444553540000}" [HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/hta] "CLSID"="{3050f4d8-98B5-11CF-BB82-00AA00BDCE0B}" "Extension"=".hta" [HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/kset] "Extension"=".et" 提取PPT中漂亮背景图片的三种方法 自己制作PPT课件过程中，经常需要用到一些比较好的背景图片，作为教师有必要随时储备一些精美的图片素材备用。网络中的图片虽然很多，但是要找到适合做课件背景的却不容易，一种可行的办法就是从现成课件里提取背景，那么如何提取呢？下面介绍三种可行的方法，与大家共享。 第一种： 最简单省事，就是直接提取人家PPT课件中的背景。 1.启动PowerPoint，打开相应的演示文稿文档。 2.在非文本框和组合内容外的空白处，单击右键选择“保存背景”，选择适当保存位置和对应背景图片名称，即完成背景图片的保存。 说明：此方法对有些PPT文件是不适用的，在非文本框和组合内容外的空白处，单击右键时不出现“保存背景”命令。 第二种: 制作者需要将某个PowerPoint演示文稿中的图片单独提取出来，只要将其另存为网页格式即可。 1.启动PowerPoint，打开相应的演示文稿文档。 2.执行“文件→另存为网页”命令，打开“另存为网页”对话框。 3.将“保存类型”设置为“网页（*.htm*.html）” ，然后取名（如123）保存返回。 4.我们在上述网页文件保存的文件夹中，会找到一个名为“123.files”的文件夹，PPT文件所用的所有图片都是单独保存了文件夹中，包括背景图片。 第三种: 1.先打开课件，找到你喜欢那张背景的幻灯片，然后把它上面的所有文本框等删去，再按幻灯片放映，放到那张背景时，按CTRL+PRINT SCREEN（全屏截取）。 2.找开“画图”（开始---附件）或者其它图片处理程序，按CTRL+V（粘贴）调出截图，另存为JPEG或GIF文件（记住位置）。 3.打开新的幻灯片，右键单击空白处---背景---填充效果---图片---选择图片（找到刚刚保存的那张图片）---确定---应用。 java抓取网页内容三种方式 2011-12-05 11:23 一、GetURL.java import java.io.*; import https://www.doczj.com/doc/832803372.html,.*; public class GetURL { public static void main(String[] args) { InputStream in = null; OutputStream out = null; try { // 检查命令行参数 if ((args.length != 1)&& (args.length != 2)) throw new IllegalArgumentException("Wrong number of args"); URL url = new URL(args[0]); //创建 URL in = url.openStream(); // 打开到这个URL的流 if (args.length == 2) // 创建一个适当的输出流 out = new FileOutputStream(args[1]); else out = System.out; // 复制字节到输出流 byte[] buffer = new byte[4096]; int bytes_read; while((bytes_read = in.read(buffer)) != -1) out.write(buffer, 0, bytes_read); } catch (Exception e) { System.err.println(e); System.err.println("Usage: java GetURL 如何复制网页上无法复制的图片 很多资料性的网络文章，往往在网页禁止使用“复制”、“粘贴”命令。其解决方法如下：方法一、最简单的破解方法：单击IE浏览器的“工具”——“internet 选项”——“安全”，将其中的“internet”的安全级别设为最高级别，“确定”后刷新网页即可。 安全级别最高的时候，一切控件和脚本均不能运行，再厉害的网页限制手段统统全部作废。 方法二、破解网页不能复制的方法： 但对有些网页却不管用因为他们并不用脚本限制我们的(好象起点就是这样)，他们在网页中加了如下代码: 禁止左键〈body onselectstart='return false'〉 禁止右键〈body oncontextmenu=self.event.returnvalue=false〉 结合起来禁止左右键 〈body oncontextmenu=self.event.returnvalue=false onselectstart='return false'>左右键被禁止了自然无法复制什么的了,在浏览器里查看源文件，搜索oncontextmenu.false之类的代码删除，再刷新就可以了。 现在一般禁止网页复制的代码就是在
" + Environment.NewLine;教你如何提取网页中的视频、音乐歌曲、
淘宝图片抓取工具使用方法
网页上看不到图片的解决方法步骤
网页图片提取方法
IE浏览器网页部分图片无法显示、PNG图片无法显示的有效解决办法
网页上的图片看不见 显示为红叉的原因及解决方法
网站图片抓取方法
网页上的图片不显示的解决方法
网页链接提取方法
教你如何提取网页中的视频(主要flv),音乐,flash,图片等多媒体文件
图片爬虫如何使用
最全的网页图片采集方法
如何对整个网页页面进行截图
网页不显示图片,显示小叉叉
提取PPT中背景图片的三种方法
Java抓取网页内容三种方式
如何复制网页上无法复制的图片
https://www.doczj.com/doc/832803372.html, 阿里巴巴图片抓取教程 阿里巴巴网站上有大量质量非常高的商品图片，对我们做市场调研、竞品分析有很大的作用，那么如何才能批量的将他们采集保存下来？ 本文向大家介绍一款网络数据采集工具【八爪鱼数据采集器】，以【阿里巴巴】为例，教大家如何使用八爪鱼采集软件采集阿里巴巴商品图片的方法。 采集网站： 使用功能点： ●分页列表及详细信息提取 https://www.doczj.com/doc/832803372.html,/tutorialdetail-1/fylbxq7.html ●AJAX滚动教程 https://www.doczj.com/doc/832803372.html,/tutorialdetail-1/ajgd_7.html
https://www.doczj.com/doc/832803372.html, 步骤1：创建阿里巴巴图片采集任务 1）进入主界面，选择“自定义模式”，点击“立即使用” 2）将要采集的网址复制粘贴到网站输入框中，点击“保存网址”
https://www.doczj.com/doc/832803372.html, 步骤2：创建翻页循环 1）系统自动打开网页，进入阿里巴巴“衣服”商品列表页。观察网页结构，当把页面下拉至底部的时候，会加载出一批新的数据，随着我们的下拉，页面会有新的数据加载出来。经过2次下拉加载，此页面达到最底部，出现“下一页”按钮。 所以涉及 Ajax 下拉加载，需要对其进行一些高级选项的设置。点击右上角的“流程“按钮，选中左侧的“打开网页”，打开“高级选项”，勾选“页面加载完成
https://www.doczj.com/doc/832803372.html, 后向下滚动”，设置滚动次数为“5次”，每次间隔“2秒”，滚动方式为“直接滚动到底部”，最后点击“确定” 注意：这里的滚动次数及间隔时间，需要针对网站情况进行设置，并不是绝对的。一般情况下，间隔时间>网站加载时间即可。有时候网速较慢，网页加载很慢，还需根据具体情况进行调整。 具体请看：八爪鱼 7.0教程——AJAX 滚动教程 https://www.doczj.com/doc/832803372.html,/tutorialdetail-1/ajgd_7.html
屏幕截取招招看！教你十种“屏幕图文”抓取方法（图） 分类：电脑应用| 评论：0 | 引用：0 | 浏览：1750 说起屏幕截图，相信大家都不会陌生：随意翻翻每期的《电脑报》，哪篇不是图文并茂?但是对于刚刚接触电脑的朋友来说，对如何进行抓图还摸不着头脑，以为需要什么高深的技术或什么专业的软件，甚至还以为需要动用DC来帮忙呢。其实抓图的方法有很多种，但种种都很简单，看了下面的介绍，相信你也能抓出“美”图来! 一、PrintScreen按键+画图工具 不论你使用的是台式机还是笔记本电脑，在键盘上都有一个PrintScreen按键，但是很多用户不知道它是干什么用的，其实它就是屏幕抓图的“快门”!当按下它以后，系统会自动将当前全屏画面保存到剪贴板中，只要打开任意一个图形处理软件并粘贴后就可以看到了，当然还可以另存或编辑。 提示：PrintScreen键一般位于F12的右侧。 二、抓取全屏 抓取全屏幕的画面是最简单的操作：直接按一下PrintScreen键，然后打开系统自带的“画图”(也可以使用PS)，再按下Ctrl+V即可。该处没有什么技术含量，只是要记住防止某些“不速之客”污染了画面，比如输入法的状态条、“豪杰超级解霸”的窗口控制按钮等等。 提示：提醒想投稿的朋友：这样的画面比较大，一般的报纸或杂志要求300像素×300像素，最大不超过500像素×500像素(当然特殊需要除外)，这就需要到PS或ACDSee中进行调整。 三、抓取当前窗口 有时由于某种需要，只想抓取当前的活动窗口，使用全屏抓图的方法显然不合适了。此时可以按住Alt键再按下PrintScreen键就可只将当前的活动窗口抓下了。 四、抓取级联菜单 在写稿的过程中，免不了“以图代文”，特别是关于级联菜单的叙述，一张截图胜过千言万语。但是，若想使用抓取当前窗口的方法来抓级联菜单就不行了：当按下Alt键以后菜单就会消失。此时可以直接按下PrintScreen键抓取全屏，然后粘贴到图形处理软件中进行后期的处理。如果使用画图工具，就可以使用方形选定工具将所需要的部分“选定”并“剪切”，然后按下Ctrl+E打开“属性”界面将“宽度”和“高度”中的数值设的很小，最后再粘贴并另存即可(如图1)。 提示：如果“属性”中的数值大于剪切下来的图片，在“粘贴”以后会出现白色的多余背景，因此需要减小其值。
主要原因有以下四点： 原因1、可能是IE设置为‘不显示网页上图片（解决：IE属性--高级--多媒体，勾选“显示图片”，点击“确定”即可） 原因2、网站的图片已经过期！（解决：无，放弃这个网站，去别的网站找）原因3、网速不够，导致图片加载不顺利，（解决：在红叉上单击鼠标右键“显示图片”，此方法不行，就是原因2的问题） 原因4、被工具屏蔽了图片〔解决：到控制面版－“添加/删除程序－卸载那些助手工具”〕 原因5、只是GIF格式的图片不显示，（解决：打开网页——工具——INTERNET 选项——高级——还原默认设置——确定——关了IE再打开） 其他可能导致这种情况的因素： 修复ie浏览器用各种工具把所有的流氓软件全部删除 1、有时候你IE里的这个插件、那个插件正在你不知道的情况下打开一个又一个的广告，占你cpu、占你内存，还造成你系统不稳定。修复IE浏览器，用各种工具把所有的流氓软件全部删除 2、查看你的IE菜单栏的工具--选项--高级项目下，是不是去掉了图片显示的勾选；或者你是否安装了雅虎助手之类的软件使图片被屏蔽掉了。你如果安装了雅虎助手，进行一下适当设置就行啦； 3、如果是“有些”图片不显示，而不是全部，就可能是那些图片已经不在他们的网站，被删除了之类的，或是链接别的网站的图片，被人家网站的防止超链接给挡住了。或者可能是网络或浏览器组件的毛病，建议重新注册浏览器组件。如果还不行，再试试下面方法 一、 1、点击“开始”菜单，打开“运行”。 2、输入regsvr32 jscript.dll后选择“确定”。 出现提示后，点击确定。 3、再次输入regsvr32 vbscript.dll选择“确定”。 再一次出现提示后，确定。 二、 1.在浏览器菜单上打开“工具”－＞“internet选项”－＞“安全”－“internet”－＞“自定义级别”－＞“安全设置”把“运行ActiveX控件和插件” 项中的“启用”选上。 2.恢复图片预览功能： Windows XP的图片预览功能，对应的控件文件为thurnbvw.dll。如果该功能损坏，可单击“开始”一“运行” , 在“打开”框中输人：" Regsvr32 Thurnbvw. dll" ，单击“确定”执行命令，这时就会弹出提示框： " DllRegisterServer in Thumbvw.dll succeeded." ，这表明控件注册成功。重新启动电脑，WindowsXP 的图片预览功能便恢复了。