人生苦短-常用必备的Python库清单

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。

Python学习网络爬虫主要分3个大的版块：抓取，分析，存储

当我们在浏览器中输入一个url后回车，后台会发生什么？

文章最后有免费的Python资料，获取方式，关注头条号，私信回复资料获取下载链接。资料目录在文章底部，欢迎评论转发收藏下载。

简单来说这段过程发生了以下四个步骤：

1. 查找域名对应的IP地址。
2. 向IP对应的服务器发送请求。
3. 服务器响应请求，发回网页内容。
4. 浏览器解析网页内容。

网络爬虫要做的，简单来说，就是实现浏览器的功能。通过指定url，直接返回给用户所需要的数据，而不需要一步步人工去操纵浏览器获取。

抓取这一步，你要明确要得到的内容是什么？是HTML源码，还是Json格式的字符串等。将得到内容逐一解析就好。具体的如何解析，以及如何处理数据，文章后面提供了非常详细的且功能强大的开源库列表。

当然了，爬去别人家的数据，很有可能会遭遇反爬虫机制的，怎么办？使用代理。

适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况。

这种情况最好的办法就是维护一个代理IP池，网上有很多免费的代理IP，良莠不齐，可以通过筛选找到能用的。

对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。

有些网站会检查你是不是真的浏览器访问，还是机器自动访问的。这种情况，加上User-Agent，表明你是浏览器访问即可。有时还会检查是否带Referer信息还会检查你的Referer是否合法，一般再加上Referer。也就是伪装成浏览器，或者反“反盗链”。

对于网站有验证码的情况，我们有三种办法：

1. 使用代理，更新IP。
2. 使用cookie登陆。
3. 验证码识别。

接下来我们重点聊聊验证码识别。可以利用开源的Tesseract-OCR系统进行验证码图片的下载及识别，将识别的字符传到爬虫系统进行模拟登陆。当然也可以将验证码图片上传到打码平台上进行识别。如果不成功，可以再次更新验证码识别，直到成功为止。

网络

urllib -网络库(stdlib)。

requests -网络库。

grab – 网络库（基于pycurl）。

pycurl – 网络库（绑定libcurl）。

urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。

httplib2 – 网络库。

RoboBrowser – 一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。

MechanicalSoup -一个与网站自动交互Python库。

mechanize -有状态、可编程的Web浏览库。

socket – 底层网络接口(stdlib)。

网络爬虫框架

grab – 网络爬虫框架（基于pycurl/multicur）。

scrapy – 网络爬虫框架。

pyspider – 一个强大的爬虫系统。

cola – 一个分布式爬虫框架。

文本处理

用于解析和操作简单文本的库。

difflib – （Python标准库）帮助进行差异化比较。

Levenshtein – 快速计算Levenshtein距离和字符串相似度。

fuzzywuzzy – 模糊字符串匹配。

esmre – 正则表达式加速器。

ftfy – 自动整理Unicode文本，减少碎片化。

网页内容提取

提取网页内容的库。

HTML页面的文本和元数据

newspaper – 用Python进行新闻提取、文章提取和内容策展。

html2text – 将HTML转为Markdown格式文本。

python-goose – HTML内容/文章提取器。

lassie – 人性化的网页内容检索工具

以上就是我准备一些有关Python的常用库清单，希望对你有帮助。下边有Python的基础学习资料，可以免费领取。