如何进入暗网,看百度暗网抓取技术浅析

  • 30,334 views

如何进入暗网,看百度暗网抓取技术浅析

暗网,按照网络上的说就是那些深藏于表面网络的隐藏网络,一般暗网的数据量要比表面网络大好几个数量级,特点是深藏于网络数据库当中,一般不能通过超链接直接访问,而需要动态网页技术才能集合资源访问,也就是不是搜索引擎能标准索引的表面网络。如,大型商城的搜索内容、携程旅行网、12306等网站的票据数据,这些数据都很难有链接直接指向数据库,都是以查询界面的形式供用户查询,只有用户有需求时查询才能看到并获得相关数据。换句话说,暗网,也就是常规的爬虫无法索引这些数据内容,像深藏于背后一样,这也是暗网名字的由来之理。

任何不能通过一次GET或需要通过POST请求才能直接下载的页面,都可以认为其处于“暗网”中。

简单举例造成暗网原因:

1. 网络原因不能下载;

2. 内部网站;

3. 动态页面,需要用户身份认证,登录后才能访问;

4. 检索词进行搜索时,才能得到相关的结果的索引列表。

简单的讲,就是没有入口(链接链入)或难以被搜索引擎抓取的网页,都属于暗网范畴。在互联网上搜索引擎能检索的内容大约只占总内容的千分之二,通过暗网抓取能提供给用户更丰富的结果,极大的提高搜索引擎友好度。

为了能够对暗网数据进行索引,需要研发与常规爬虫机制不同的系统,这类爬虫被称作暗网爬虫。暗网爬虫的目的是将暗网数据从数据库中挖掘出来,并将其加入搜索引擎的索引,这样用户在 搜索时便可利用这些数据,增加信息覆盖程度。

目前大型搜索引擎服务提供商都将暗网挖掘作为重要研究方向,因为这直接关系到索引量的大小。在此领域的技术差异,将直接体现在搜索结果的全面性上,自然是竞争对手之间的必争之地。Google目前将其作为重点研发方向,而百度的"阿拉丁计划"目的也在于此。

垂直网站提供的搜索界面,往往需要人工选择或者填写内容,比如机票搜索需要选择出发地、到达地和日期,图书搜索需要指出书名或者作者。而暗网爬虫为了能够挖掘数据库的记录,必须模拟人的行为,如果一一组合遍历,那么会给被访问网站造成太大压力,所以如何精心组合查询选项是个难点;第二点在于:有的查询时文本框,比如图书搜索中需要输入书名,爬虫怎样才能够填入合适的内容?这个也颇具挑战性。

针对暗网进行SEO时,需要注意的事项:

1. 避免将有用的页面存放在暗网中,将这些页面尽量暴露入口。

2. 将可能产生大量相似的暗网页面,要做好对搜索引擎的去重工作。

3. 将可整合的暗网页面整合成频道,增加之间的相关性,更有利于获得排名。

本文小结:

上面只是对暗网信息抓取的一个简单的介绍,目的只是让普通读者对暗网信息的抓取有一个基本的了解。如果想深入了解暗网信息的抓取,可以在互联网上搜索相关资料!

weinxin
我的微信
分享SEO优化、SEM营销、新媒体知识,交流营销运营经验,提供网站制作、SEO、竞价托管和公众号代运营服务。
王发利
  • 本文由 发表于 2014 年 9 月 27 日
  • 转载请务必保留本文链接:http://wangfali.com/seo/3904.html
Robots.txt要怎么写 Robots.txt的写法问题 SEO知识

Robots.txt要怎么写 Robots.txt的写法问题

Robots.txt要怎么写 阐述Robots.txt的写法问题 今天发现公司网站一个用来测试的站竟然被大量收录,而我们的本意是不希望其被收录的,因为之前那是程序用来测试的,不用优化所以也就没告诉我,...
搜索引擎自然排名机制概述 SEO知识

搜索引擎自然排名机制概述

我们的网站为什么会在百度上能搜索到,百度是怎么抓取我们的网站内容的,网站为什么有以搜索结果的形式展现出来,下面借助王发利SEO博客分享搜索引擎自然排名机制,让你明白网站为什么会出现在搜索结果页。 搜索...
百度抓取诊断工具:SEO又一利器 互联网资讯

百度抓取诊断工具:SEO又一利器

百度抓取诊断工具:SEO又一利器 2014.3.11日站长平台发布网站网页的抓取诊断工具,想必大家都知道了。个人感觉不错啊,对于那些需要重点优化的页面可以做一个检测,对于定时检测自己的网站是否被加了黒...
蜘蛛陷阱是什么? SEO知识

蜘蛛陷阱是什么?

蜘蛛陷阱是什么? 有一些网站设计技术对搜索引擎来说是很不友好的,不利于蜘蛛爬行和抓取,这些技术被就称为蜘蛛陷阱。在从事西安SEO优化中根据SEO经验列举以下8大蜘蛛陷阱: 1.flash。 搜索引擎不...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: