网络爬虫是一种程序,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站.样子好像一只大蜘蛛.当人们在网络上(如google)搜索关键字时,其实就是比对数据库中的内容,找出与用户相符合的.网络爬虫程序的质量决定了搜索引擎的能力,如google的搜索引擎明显要比好,就是因为它的网络爬虫程序高效,编程结构好.二、爬虫攻击是什么意思？
爬虫攻击是一种自动化的恶意软件，通过远程互联网对目标站点进行攻击，以达到商业欺诈的目的。常见的攻击方式有凭证滥用、账户滥用、银行卡攻击、库存囤积、薅羊毛。凭证滥用类攻击是撞库攻击最主要的方式，它将从黑市上获取的大量用户数据和账户信息在不同的网站进行登录尝试，从而得到有效账户，最终把这些账户非法贩卖给其他人。账户接管或称为账户盗用是另一种撞库攻击的常见类型，指对包括电商、游戏账户在内的互联网账户的盗取。这种攻击通常也是通过登陆尝试或蛮力手段得到账户，在接管账户后进行信息窃取或进一步攻击。
