蜘蛛池的原理是什么?

作者:流量贩子
链接:https://www.zhihu.com/question/31172848/answer/126237914
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

利用大中型站点搜索结果页做外推,估计在大中型网站工作的同学都碰到过,把业务词(大多是业务+联系方式,如“办假证联/系139_2011_329”)作为query,构造出搜索结果页的url,并将url主动曝光给搜索引擎抓取,达到业务词在搜索结果中霸屏的目的。

还有很多人做新站,前期搜索引擎抓取量极低,会通过蜘蛛池引蜘蛛抓取,快速度过沙盒期。

上面两个例子,将url主动曝光给搜索引擎就是通过蜘蛛池实现的。淘宝上做蜘蛛池服务的,会说蜘蛛池是一种通过大量网站将百度蜘蛛来访时集成一个池(约150个蜘蛛/秒),通过程序控制池显示不同的外链地址给蜘蛛,这样可以快速大量收录站群链接或者外推链接。

好吧,我猜你肯定没明白。说白了,蜘蛛池就是一堆由垃圾域名组成的站群,在每个站点下都生成海量页面(抓一堆文本内容相互组合),页面模板与正常网页没多大区别。由于每个站点都有海量的页面,所以整个站群的蜘蛛总抓取量也是巨大的。给未收录的页面引蜘蛛,就是在站群正常网页的模板中单独开一个DIV,塞上未收录网页的链接,服务器不设缓存,蜘蛛每次访问,这块DIV中展现的链接都是不一样的。

说到这你应该明白了,其实就是给那些未收录的页面,在短时间内提供大量的真实的外链,入口曝光多了,被抓取几率就大,收录率自然也就上去了,又因为是外链,所以在排名上也有一定的正向加分。说到底,蜘蛛池的做的就是外链,所谓日发外链300万,并不是不可能实现的。比如第一个例子中做搜索外推的,就是在站群的网页中挂了一堆大中型网站搜索结果页的链接。

要实现这东西,关键的不是技术问题,因为技术上实现并不复杂,主要是资源的问题,因为需要维护站群,每个站点做的越像正规站,蜘蛛抓取量就多。网上很多卖蜘蛛池程序的,开价基本5、6k,小白们估计以为拿过来就能直接刷,然后收录就蹭蹭的涨,你交完钱后发现,其实就给你一套源码,让你回去自己填内容,然后挂载到网站底下刷,那么问题来了,你手里有那么多站么?

下面说说刷百度指数。影响百度指数的主要是当日用户搜索量和新闻源曝光量。

市面上所有刷百度指数的,都是通过刷搜索量来的,就是在百度中不断的搜索要刷的那个词,每次点击ip、cookie、ua什么的都要换。刷的模式有两种,一种是通过控制浏览器真实访问百度搜索,另一种是通过用户访问流量着陆页的时候,同时或等待一定时间请求百度搜索结果页,这点倒可以类比下通过百度统计JS用来DDOS Github(逃~),其最终的目的都是访问百度搜索结果页。

先说第一种控制浏览器访问百度,有些软件是直接用本地的浏览器,有些软件是内置个浏览器内核。理论上这个刷指数的效果是最好的,因为完全是真实的浏览器访问,百度根本无法识别真假,但效率很慢,若刷的词很多的话,就比较麻烦了,得在多台机子上挂着程序。

另一种也好理解,比方说在一个有流量的网站里加iframe指向百度搜索结果页:

<iframe style="display: none;" src="https://www.baidu.com/s?wd=seo"></iframe>

用户访问这个网页的同时也访问了百度。如果手里的网站都没流量也没关系,随便找个网页加上iframe指向百度,挂个流量宝不断刷这个网页也OK。

当然,iframe这么写会肯定会没效果,因为意图太明显,并且从浏览器访问,url参数不会这么少。所以需要隐蔽处理。

可以通过JS加密:

<script>
OlOlll="(x)";OllOlO=" String";OlllOO="tion";OlOllO="Code(x)}";OllOOO="Char";OlllOl="func";OllllO=" l = ";OllOOl=".from";OllOll="{return";Olllll="var";eval(Olllll+OllllO+OlllOl+OlllOO+OlOlll+OllOll+OllOlO+OllOOl+OllOOO+OlOllO);eval(l(79)+l(61)+l(102)+l(117)+l(110)+l(99)+l(116)+l(105)+l(111)+l(110)+l(40)+l(109)+l(41)+l(123)+l(114)+l(101)+l(116)+l(117)+l(114)+l(110)+l(32)+l(83)+l(116)+l(114)+l(105)+l(110)+l(103)+l(46)+l(102)+l(114)+l(111)+l(109)+l(67)+l(104)+l(97)+l(114)+l(67)+l(111)+l(100)+l(101)+l(40)+l(77)+l(97)+l(116)+l(104)+l(46)+l(102)+l(108)+l(111)+l(111)+l(114)+l(40)+l(109)+l(47)+l(49)+l(48)+l(48)+l(48)+l(48)+l(41)+l(47)+l(57)+l(57)+l(41)+l(59)+l(125));eval(""+O(99002861)+O(109895577)+O(98014857)+O(115833975)+O(107918909)+O(99995203)+O(108905841)+O(114848009)+O(45541845)+O(117810401)+O(112861946)+O(103959670)+O(114846312)+O(99993759)+O(106928380)+O(108902260)+O(39605667)+O(33663021)+O(59403126)+O(103959061)+O(100980416)+O(112861629)+O(96035715)+O(107916716)+O(99991488)+O(31683927)+O(113852463)+O(112866053)+O(98010109)+O(60392490)+O(91081294)+O(33661686)+O(91085973)+O(33668855)+O(31687088)+O(100984513)+O(112862495)+O(96030111)+O(107913321)+O(99997195)+O(97023102)+O(109894107)+O(112861881)+O(99007338)+O(99996915)+O(112862227)+O(60397422)+O(91088907)+O(33661069)+O(47520824)+O(91086786)+O(33667138)+O(31685690)+O(117810981)+O(103952748)+O(99004814)+O(114849691)+O(102969100)+O(60393247)+O(91080194)+O(33663121)+O(47529049)+O(91085720)+O(33666373)+O(31689106)+O(102963852)+O(99994409)+O(103954438)+O(101977146)+O(102963965)+O(114847158)+O(60396892)+O(91086730)+O(33662758)+O(47524864)+O(91087025)+O(33669069)+O(31682068)+O(103957102)+O(99006350)+O(60395679)+O(91080008)+O(33667724)+O(106927365)+O(99008792)+O(99000357)+O(49505294)+O(91083611)+O(33669082)+O(61386964)+O(59404950)+O(46537976)+O(103955396)+O(100985491)+O(112869056)+O(96033487)+O(107917716)+O(99994982)+O(61382080)+O(33669021)+O(40592394)+O(58418342)+O(9904820)+O(99001145)+O(109898227)+O(98016564)+O(115839526)+O(107918290)+O(99998808)+O(108906168)+O(114842574)+O(45540456)+O(117818704)+O(112869617)+O(103952312)+O(114844013)+O(99998529)+O(106926440)+O(108901138)+O(39609266)+O(33665619)+O(59405044)+O(103959579)+O(100987020)+O(112865101)+O(96039500)+O(107911094)+O(99997107)+O(31686455)+O(113853988)+O(112861931)+O(98014635)+O(60394436)+O(91082115)+O(33662952)+O(91080217)+O(33668486)+O(31686310)+O(100988335)+O(112869289)+O(96039132)+O(107918665)+O(99999400)+O(97024638)+O(109895072)+O(112865130)+O(99004781)+O(99996461)+O(112863717)+O(60393292)+O(91084494)+O(33665695)+O(47522256)+O(91085694)+O(33667690)+O(31684385)+O(117814484)+O(103951976)+O(99000092)+O(114844647)+O(102968618)+O(60391007)+O(91083141)+O(33662900)+O(47529714)+O(91082861)+O(33667757)+O(31689268)+O(102964194)+O(99995684)+O(103956995)+O(101973956)+O(102960975)+O(114846312)+O(60391335)+O(91086058)+O(33662959)+O(47526787)+O(91084462)+O(33662292)+O(31687316)+O(103953888)+O(99001934)+O(60392007)+O(91082605)+O(33666944)+O(106923461)+O(99005915)+O(99002608)+O(48518222)+O(91084960)+O(33666774)+O(61382444)+O(59401105)+O(46535893)+O(103954868)+O(100987605)+O(112867165)+O(96035013)+O(107919574)+O(99997788)+O(61385516)+O(33660935)+O(40596228)+O(58416157)+O(9905525)+O(99004986)+O(109893963)+O(98014250)+O(115835854)+O(107911956)+O(99996850)+O(108902937)+O(114848289)+O(45540241)+O(117816093)+O(112867219)+O(103959992)+O(114840965)+O(99999547)+O(106928718)+O(108904246)+O(39601897)+O(33660142)+O(59403590)+O(113855656)+O(98016579)+O(112863210)+O(103959161)+O(110886736)+O(114842132)+O(61384723)+O(31680518)+O(33667386)+O(40598771)+O(58411162)+O(9901611)+O(99006911)+O(109890925)+O(98014229)+O(115836288)+O(107912853)+O(99991813)+O(108904587)+O(114847744)+O(45547172)+O(117810522)+O(112864505)+O(103950099)+O(114847552)+O(99993893)+O(106929588)+O(108905629)+O(39604733)+O(33661093)+O(113851837)+O(99990696)+O(114841609)+O(83167745)+O(103952589)+O(107912991)+O(99995773)+O(109899415)+O(115831503)+O(114849562)+O(39602115)+O(91081593)+O(33668164)+O(99006299)+O(109891915)+O(98018091)+O(115839670)+O(107914084)+O(99992688)+O(108909901)+O(114842335)+O(45542327)+O(101978018)+O(99997007)+O(114840936)+O(68311738)+O(106923874)+O(99999437)+O(107918056)+O(99998837)+O(108903080)+O(114841423)+O(65349547)+O(119798846)+O(72275214)+O(99009365)+O(39609593)+O(91089167)+O(38614468)+O(106921697)+O(99003187)+O(99002352)+O(49509950)+O(91084478)+O(38614786)+O(40591079)+O(45545334)+O(113858755)+O(112862248)+O(98018288)+O(60390532)+O(91082110)+O(38617063)+O(102963726)+O(114840754)+O(114843302)+O(110887691)+O(57426024)+O(46530166)+O(46530859)+O(117811770)+O(117812171)+O(117817127)+O(45547591)+O(113852430)+O(99993180)+O(109897568)+O(113850305)+O(112866952)+O(118805020)+O(45543350)+O(108905541)+O(99998604)+O(114840315)+O(46535688)+O(97020043)+O(97029022)+O(113852979)+O(46538449)+O(104943962)+O(107910122)+O(46531695)+O(106925728)+O(99002100)+O(99003335)+O(49507056)+O(45547444)+O(102968972)+O(114847712)+O(107914017)+O(106929259)+O(91081433)+O(38613659)+O(58412359)+O(31688340)+O(91081352)+O(33668907)+O(43561012)+O(48515234)+O(47528016)+O(47529935)+O(40594445)+O(58415311)+O(33664246)+O(40599794)+O(58412638)+O(9901375)+O(99005553)+O(109899959)+O(98015453)+O(115838845)+O(107912919)+O(99999834)+O(108907210)+O(114848165)+O(45543442)+O(117819361)+O(112869393)+O(103953785)+O(114843240)+O(99992088)+O(106929100)+O(108906704)+O(39602161)+O(33662844)+O(113858945)+O(99998488)+O(114849415)+O(83162260)+O(103952014)+O(107915378)+O(99995969)+O(109892967)+O(115831750)+O(114843076)+O(39601376)+O(91089134)+O(33664341)+O(99001874)+O(109893568)+O(98017903)+O(115838962)+O(107916605)+O(99999768)+O(108903719)+O(114840461)+O(45547093)+O(101975337)+O(99994561)+O(114843090)+O(68317043)+O(106920375)+O(99993818)+O(107911350)+O(99994187)+O(108908006)+O(114840042)+O(65345727)+O(119796544)+O(72277512)+O(99006807)+O(39603779)+O(91089354)+O(38616804)+O(106926893)+O(99006149)+O(99005146)+O(48510635)+O(91088871)+O(38616729)+O(40592157)+O(45541992)+O(113852208)+O(112864731)+O(98013892)+O(60396495)+O(91089187)+O(38614441)+O(102961455)+O(114841033)+O(114840721)+O(110881444)+O(57429243)+O(46539104)+O(46535617)+O(117813175)+O(117819233)+O(117812774)+O(45546692)+O(113854550)+O(99995503)+O(109894667)+O(113853750)+O(112861780)+O(118802577)+O(45542209)+O(108902777)+O(99999345)+O(114842019)+O(46539366)+O(97028220)+O(97027809)+O(113855974)+O(46531233)+O(104946209)+O(107910498)+O(46536483)+O(106926817)+O(99007516)+O(99003318)+O(48516283)+O(45543376)+O(102961529)+O(114847456)+O(107914913)+O(106928935)+O(91086194)+O(38613822)+O(58412678)+O(31688593)+O(91083187)+O(33668698)+O(43562790)+O(52473731)+O(47527151)+O(47524627)+O(47522538)+O(40594790)+O(58415821)+O(33669847)+O(40590596)+O(58416393)+O(9900148)+O(99007527)+O(109891059)+O(98013627)+O(115836725)+O(107919836)+O(99994518)+O(108900849)+O(114841748)+O(45540662)+O(117811442)+O(112862980)+O(103951912)+O(114845824)+O(99997597)+O(106923596)+O(108900900)+O(39604398)+O(33661226)+O(59403087)+O(46530348)+O(113859197)+O(98019538)+O(112866507)+O(103955456)+O(110883647)+O(114844363)+O(61380697)+O(31689043)+O(33665150)+O(40599512)+O(58418590));
</script>

或在iframe中指向到另一个非百度的页面:http://www.domain.com/a.html,然后这个页面内嵌iframe指向到百度搜索结果页,是带着所有搜索参数的url哦~

其实做黑帽,很大程度都是依托于资源,比方说站群,有些做站群的主要变现渠道并不是广告,不会选行业的,做出来很多是垃圾量,转化低得很,而是已手里面一堆站为基础,通过提供蜘蛛池、刷指数、刷流量等服务来变现。这种草根的需求圈外人不知道,知道了也可能看不上。

作者:第一军师
链接:https://www.zhihu.com/question/31172848/answer/242660742
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

搜索引擎用来爬行和访问页面的程序被称为蜘蛛,也叫爬虫。搜索引擎命令它到互联网上浏览网页,从而得到互联网的大部分数据(因为还有一部分暗网,他是很难抓取到的)然后把这些数据存到搜索引擎自己的数据库中。自己发帖或者外推产生的URL如果没有搜索引擎蜘蛛爬行,那么该搜索引擎就不会收录该页面,更不用说排名了。

  而蜘蛛池程序的原理,就是将进入变量模板生成大量的网页内容,从而吸大批的蜘蛛,让其不停地在这些页面中抓取,而将我们需要收录的URL添加在蜘蛛站开发的一个特定版块中。这样就能使用我们需要收录的URL有大量的蜘蛛抓取爬行,大大提升了页面收录的可能性。所谓日发百万外链就是这样来的,一个普通的蜘蛛池也需要至少数百个域名。而据我所知高酷蜘蛛池大概有2000个独立域名,日均蜘蛛200W。是比较庞大的一个蜘蛛池了。

 以上就是蜘蛛池的原理,那么如何搭建蜘蛛池?

1.多IP的VPS或服务器(根据要求而定)

  多IP服务器,建议美国服务器,最好是高配配,配置方面(具体看域名数量)不推荐使用香港服务器,带宽小
,容易被蜘蛛爬满。重要的是服务器内存一定要大,之前我们就遇到过,前期刚做的时候,用的内存比较小,蜘蛛量一大的话,立马就崩了。

2.一定数量的域名(根据数量而定)

  可购买闲置的二手的域名,域名便宜的就好,好点的蜘蛛池,至少准备1000个域名吧,蜘蛛池目的为吸引蜘蛛,建议使用后缀为CN COM NET
之类的域名,域名计费以年为计费,成本不算太大,域名根据效果以及您的链接数量逐渐增加,效果会翻倍增长。也可在之前购买的域名上解析一部分域名出来,继续增加网站,扩大池子,增加蜘蛛量。

 3.变量模版程序 (成本一般千元左右)

  可自己开发,如果不会的,也可在市场上购买程序变量模版, 灵活文章以及完整的网站元素引外链,CSS/JS/超链接等独特的技巧吸引蜘蛛爬取!
让每个域名下内容都变的不一样!都知道百度对于网站重复内容的打击态度,所以必须保持每个站的内容不要出现重复,所以变量程序就显得尤为重要。

 4.程序员(实力稍好点的)

  需满足,网站内容的采集以及自动生成,我们前期采集了不少词条,自动组合文章,前期阶段,一天五十万文章的生成量,所以对服务器是一个很大的压力。最好程序员要懂服务器管理维护之类的知识,很重要。

  可以看出,蜘蛛池的成本其实不算低,数千个域名,大的服务器,程序员,对于一般站长来说,搭建蜘蛛池成本偏高,性价比不高。建议租用蜘蛛池服务,网上也有高酷蜘蛛池、超级蜘蛛池等在线的蜘蛛池。SEO、外推、个人站长可以关注一下。

 蜘蛛池的作用?

1.蜘蛛池的效果有哪些

  答:可以快速让你的站的连接得到搜索引擎的爬行

 2.蜘蛛池可以提高网站权重吗?

  答:本身搜索引擎爬行和给予权重需要N天,因为第一个的原因,他可以快速的给予带回数据中心,也就是说本来应该需要N天爬行的页面,现在快速爬行了。但是是否会接着进行计算要看很多因素,比如
你网站自身权重、页面质量、页面推荐……

 3.蜘蛛池的效果增加新站收录吗

  答:一定程度上抓取的页面多了,收录会有一定比例的增加。

作者:第一军师
链接:https://www.zhihu.com/question/31172848/answer/242660742
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

搜索引擎用来爬行和访问页面的程序被称为蜘蛛,也叫爬虫。搜索引擎命令它到互联网上浏览网页,从而得到互联网的大部分数据(因为还有一部分暗网,他是很难抓取到的)然后把这些数据存到搜索引擎自己的数据库中。自己发帖或者外推产生的URL如果没有搜索引擎蜘蛛爬行,那么该搜索引擎就不会收录该页面,更不用说排名了。

  而蜘蛛池程序的原理,就是将进入变量模板生成大量的网页内容,从而吸大批的蜘蛛,让其不停地在这些页面中抓取,而将我们需要收录的URL添加在蜘蛛站开发的一个特定版块中。这样就能使用我们需要收录的URL有大量的蜘蛛抓取爬行,大大提升了页面收录的可能性。所谓日发百万外链就是这样来的,一个普通的蜘蛛池也需要至少数百个域名。而据我所知高酷蜘蛛池大概有2000个独立域名,日均蜘蛛200W。是比较庞大的一个蜘蛛池了。

 以上就是蜘蛛池的原理,那么如何搭建蜘蛛池?

1.多IP的VPS或服务器(根据要求而定)

  多IP服务器,建议美国服务器,最好是高配配,配置方面(具体看域名数量)不推荐使用香港服务器,带宽小
,容易被蜘蛛爬满。重要的是服务器内存一定要大,之前我们就遇到过,前期刚做的时候,用的内存比较小,蜘蛛量一大的话,立马就崩了。

2.一定数量的域名(根据数量而定)

  可购买闲置的二手的域名,域名便宜的就好,好点的蜘蛛池,至少准备1000个域名吧,蜘蛛池目的为吸引蜘蛛,建议使用后缀为CN COM NET
之类的域名,域名计费以年为计费,成本不算太大,域名根据效果以及您的链接数量逐渐增加,效果会翻倍增长。也可在之前购买的域名上解析一部分域名出来,继续增加网站,扩大池子,增加蜘蛛量。

 3.变量模版程序 (成本一般千元左右)

  可自己开发,如果不会的,也可在市场上购买程序变量模版, 灵活文章以及完整的网站元素引外链,CSS/JS/超链接等独特的技巧吸引蜘蛛爬取!
让每个域名下内容都变的不一样!都知道百度对于网站重复内容的打击态度,所以必须保持每个站的内容不要出现重复,所以变量程序就显得尤为重要。

 4.程序员(实力稍好点的)

  需满足,网站内容的采集以及自动生成,我们前期采集了不少词条,自动组合文章,前期阶段,一天五十万文章的生成量,所以对服务器是一个很大的压力。最好程序员要懂服务器管理维护之类的知识,很重要。

  可以看出,蜘蛛池的成本其实不算低,数千个域名,大的服务器,程序员,对于一般站长来说,搭建蜘蛛池成本偏高,性价比不高。建议租用蜘蛛池服务,网上也有高酷蜘蛛池、超级蜘蛛池等在线的蜘蛛池。SEO、外推、个人站长可以关注一下。

 蜘蛛池的作用?

1.蜘蛛池的效果有哪些

  答:可以快速让你的站的连接得到搜索引擎的爬行

 2.蜘蛛池可以提高网站权重吗?

  答:本身搜索引擎爬行和给予权重需要N天,因为第一个的原因,他可以快速的给予带回数据中心,也就是说本来应该需要N天爬行的页面,现在快速爬行了。但是是否会接着进行计算要看很多因素,比如
你网站自身权重、页面质量、页面推荐……

 3.蜘蛛池的效果增加新站收录吗

  答:一定程度上抓取的页面多了,收录会有一定比例的增加。

没有用过就没有发言权;我当时看松松博客里说蜘蛛池有效果当时感觉他也是大神,在松松商场买里蜘蛛池一个月,100块钱,讲真,毛效果没,真的毛效果没,所谓增加收录,没有任何用,还不如我自己百度提交收录和索引,我尝试过输入主域名网址,尝试过加单个未收录页面地址都没用,建议想做这个的别被忽悠了,真心没效果

他这所谓的上传一万条是纯属忽悠人的,只能上传一条!

作者:陈林
链接:https://www.zhihu.com/question/31172848/answer/301755895
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。