本文目录一览:
python爬虫被当做黑客攻击是怎么回事呢
网站有专门的条款说明用户应当遵守的规定,比如百度知道就对其内容拥有知识产权,在未经允许不能转载传播。网站虽然不知道你是否会去传播,但是可以通过访问网页的速度判断你是否是一个机器人。
要想避免网站发现你在爬内容,可以适当限制爬去网页的速度。
Python爬虫获取数据犯法吗?
没有的事,如果是这样的话,百度,谷歌这些搜索引擎公司也是犯法的了。他们也是爬取别人的网站,获取信息,给用户用的。其实搜索引擎就是一种爬虫。
如果网站本身不做鉴别,网站会认为爬虫和一般的浏览器的行为是一样的。
爬虫究竟是合法还是违法的
我们可以这幺理解:爬虫是用来批量获得网页上的公开信息的,也就是前端显示的数据信息。因此,既然本身就是公开信息,其实就像浏览器一样,浏览器解析并显示了页面内容,爬虫也是一样,只不过爬虫会批量下载而已,所以是合法的。不合法的情况就是配合爬虫,利用黑客技术攻击网站后台,窃取后台数据(比如用户数据等)。