1. 为什么要设置代理代理分为用户代理use-agent和ip代理proxy，两者的区别在于user-agent更多在于本地用户服务管理来伪装自己，相当于人换了件衣服，……
1.对于反爬虫机制的处理（1）使用代理适用情况：大部分网站均限制了IP的访问量对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。 ……
GET 请求它是 HTTP 常见的请求类型，最常见于向服务器查询某些信息。可以将查询参数追加到 URL末尾，以便将信息发送给服务器。对查询字符串的格式有要求，每个参数名称和值必须使……
Python是一种计算机程序设计语言，是一种动态的、面向对象的脚本语言。Python最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于……
Scrapy ShellScrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取……
HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含……
使用HTTP GET协议获取数据，使用HTTP POST协议提交数据。客户端向服务器发送一个请求，请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和内容的类似于……
当我们在浏览器中输入URL后，会发生什么？比如https://www.baidu.com我们可以用curl -v https://www.baidu.com 来研究这个过程，会发现……
scrapy中的selector.xpath().get如何改写到一般的爬虫里面啊……
现在爬虫越来越火,大到征信,小到房产信息,汽车,身边的所有生活都于爬虫相关。随着爬虫越来越强,反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态……
