如何入门 Python 爬虫？ 第1页

——————最重要的话写在前面——————

0、新手/喜欢练习/欢迎交流/邀请/我是看着这个问题下面的答案学习的

1、带着一个目的来学爬虫。#我的目的实现了…所以我来写这个回答了。

2、不要怂就是干！系统学习固然好，直接写一个项目出来效果更加简单粗暴！（不过自己现在的水平写出来都是流水一般的面向过程的代码，代码的重复部分太多，正在回过头去学习面向对象编程，学习类和方法的使用。不过我还是坚定地认为入门的时候应该直接简单粗暴地实践一个项目）

3、哪里不会搜哪里！哪里报错改哪里！相信我你遇到的99%的问题都能从网上找到相似的问题，你需要做的就是写代码！搜问题！调BUG！你搜不到解决办法的情况下，80%的情况是你搜索的姿势不对，另外20%可能需要你自己动动脑子，换个思路去做。

举个印象最深的例子。

我在统计知乎回答voters的具体情况的时候（后面会介绍）发现知乎的数据是这样发送的。

http://www. zhihu.com/answer/152197 95/voters_profile?total=70&offset=10&follows=wAp13IyyllRUgyux1Zp3MSGySe4GNnw-AG6-yDt_MO68ywzyjX_TGN3o

什么鬼（摔）。

等到我辛辛苦苦用正则把里面的信息提出来的时候发现我得到的数据是这样的…

我的内心是崩溃的……

问题很明显是编码问题……用户那一列全部是unicode编码……转成中文就好了嘛……

我刚开始也是这么想的…当我尝试了各种encode和decode…以后整个人都不好了。

大概是这样的。我用Shell演示一下…应该能看懂。

但是我的字符串是自动获取的啊，怎么可能挨着用 u' '赋值……

于是我开始了漫长的搜索之路……在看了无数篇重复度高于百分之80的关于编码的文章后，在我都快要放弃的时候…看到了这个…水木社区-源于清华的高知社群 你能理解我当时内心的酸爽吗…

大概就是这样。

所以我遇到的问题已经很奇葩了依然还是有解决办法的嘛。Windows下面编码各种混乱，系统编码，编程时编辑器的编码，抓取网页以后网页的编码，Python2的编码，Python3的编码……新人真的很容易搞昏头。

例子不多言了。后面还有很多。

——————正文1：我的爬虫入门，不谈学习，只聊项目（代码已贴）——————

前面说到学爬虫需要一个目标。那我的目标是什么呢？听我慢慢讲。

前些日子我回答了一个问题高考后暑假应该做什么事？ - 生活 我回答这个问题的时候呢关注人数也就才刚刚过百，我的赞数也涨的很慢…

可是突然有一天呢，我发现突然就出现了一个300赞的回答…当时那个问题的关注似乎还不到300。我百思不得其解…但是我看了看那个回答的赞同和答主的主页。

大概是这样的：

然后我隐隐觉得…可能会是刷赞？当然我们不能恶意地去揣测别人，要拿数据说话，毕竟知乎现在的三零真实用户还是蛮多的，不一定都是水军的小号。

于是我一个从来没有学过爬虫的人就开始学爬虫了…然而并不一帆风顺。首先是知乎显示“等人赞同”的方式做了修改，参见如何评价知乎新的「某某等人赞同」显示方式？ - 如何评价 X。

其次我刚开始的时候不会维持登陆…每次抓到的数据里都有很多的“知乎用户”（也就是未登录状态下抓取不成功）。

为了行文的连贯我跳过中间学习时做的几个小爬虫…直接放我做成功的结果吧。

选取的样本回答依次为：

@段晓晨 高考后暑假应该做什么事？ - 段晓晨的回答

@EdgeRunner 高考后暑假应该做什么事？ - EdgeRunner 的回答

@孔鲤 高考后暑假应该做什么事？ - 孔鲤的回答

@Emily L 能利用爬虫技术做到哪些很酷很有趣很有用的事情？ - Emily L 的回答

@chenqin 为什么 2015 年初，上海有卫计委官员呼吁大家生二胎？ - chenqin 的回答

感兴趣的可以下载数据

getvoters.xls_免费高速下载

getvoters2.xls_免费高速下载

getvoters3.xls_免费高速下载

getvoters4.xls_免费高速下载

getvoters5.xls_免费高速下载

结论就是……没有结论。

话说我回答的那个三零用户比例也好高啊……我真的没有刷赞我保证！（话说我的赞里面要是有水军的话我会很伤心的……我一直以为是我写的好他们才赞我的QAQ）

到这里第一个项目就结束了…

这个我暂时不贴代码…代码不完善…还得有点小修改。两天内放上来。

——来贴代码——

loveQt/Zhihu_voters · GitHub

使用前请填写config.ini文件，cookie不用填。

依然不完善。是这样的，知乎在获取“等人赞同”的时候有一个很畸形的地方在于……答案的id很畸形。

比如我现在这个答案。

http://www. zhihu.com/question/2089 9988/answer/49749466

当我点击“等人赞同”的时候。抓包得到请求地址。我用的是Firefox的Firebug

这个地址是这样的：

http://www. zhihu.com/answer/152992 64/voters_profile

如果你继续往下拉，知乎会自动加载更多用户，你会得到形如这样的地址：

http://www. zhihu.com/answer/152992 64/voters_profile?total=143&offset=10&follows=YCPQ47_p62oaS49riUMu-4sTvAQfYpoe5E2RRX9lj40vWR6E4J5W_T-U

分析这个地址的构成就会发现

/answer/这里应该是这个回答的唯一id，而这个id显然与上面的/question/20899988/answer/49749466是不一样的，我抓了好多个回答，结论应该是没有规律的，知乎应该是给每个问题一个id，每个问题下面的回答一个id，但是只有点赞的时候这个回答才会得到它关于voters的id……

所以我没办法实现完全的自动化…你如果想爬指定的回答，似乎得先手动抓包了 QAQ

抓包的示意如上，打开网络面板，点击“等人赞同”，找到地址中的数字就可以了。

如果你会抓包了请接着看下去。

代码的下载地址在上面的github。Python版本为2.7，希望你们会用pip安装依赖的库。

简单说几个方面。

1、知乎的登陆。我模仿了 @egrcc 和 @7sDream 的项目，使用了requests.session。

       def login():     cf = ConfigParser.ConfigParser()     cf.read("config.ini")     cookies = cf._sections['cookies']      email = cf.get("info", "email")     password = cf.get("info", "password")     cookies = dict(cookies)     global s     s = requests.session()     login_data = {"email": email, "password": password}     header = {     'User-Agent': "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0",     'Host': "www.zhihu.com",     'Referer': "http://www.zhihu.com/",     'X-Requested-With': "XMLHttpRequest"         }     r = s.post(Login_url, data=login_data, headers=header)      

在实现了登陆之后，只要使用s.get(url)得到的页面都是登陆成功的状态。

//注意，不登陆或者登陆不成功的情况下也可以爬取数据。点赞、感谢、提问、回答的数值都能正常获取，但是会出现部分用户无法获取名称和用户地址，显示为“知乎用户”

2、获取数据

假如我们获取到了单页数据，那么使用正则可以很简单地获取到想要的数据，具体参见代码。

我们需要做的，其实是获取那些需要爬取的URL。

通过上面对于网址的分析我们可以发现，网址的组成为domain/answer/ans_id/voters_profile?total=xxx&offset=xx&...

后面那堆乱码不重要，重要的是total和offset，每次会展示出10个用户的数据，所以我们只需要获取到点赞的总数total，就可以知道需要循环多少步（total/10），注意从是0开始，不然会漏掉前十个数据。

而这也就是我在zhihu-vote.py中的做法。其余的部分就没有什么难度了，入门的同学应该都可以看懂。

3、改进

我们在zhihu-vote.py中通过构造地址的方法来，通过循环实现对所有voters_profile的遍历。但是如果我们了解json的知识的话，我们可以发现其实每个页面都是json格式的。

其中最关键的地方在于next。我们会发现其实每个页面中都包含了下一页的地址！这样我们是不是可以让爬虫每爬一页自己找到一个地址，然后自己去爬下一页呢？

可是这样做有一个问题，如何控制循环呢？

假如我们去看最后一个页面的话，会发现是这样的。

注意这里的next值为空。

而我们知道（不知道的你现在知道了），空字符串在作为条件判断时相当于False

所以我写了zhihu-voteV2.py

其中核心的改动是

       Vote_url = Zhihu + 'answer/' + ans_id +'/voters_profile' h = s.get(Vote_url) html = h.content.encode('utf-8') target = json.loads(html) while target['paging']['next']:     Vote_url = 'http://www.zhihu.com'+target['paging']['next']      

这样就实现了程序每次爬取页面时从页面中获取地址，而不是人为构造地址循环。下面是原来的做法。

       for num in range (0,page_num):     Vote_url = Zhihu + 'answer/' + ans_id +'/voters_profile?total='+str(total)+'&offset='+str(num)+'0'      

讲实话我不知道这两种写法哪种好，但我还是蛮高兴自己发现了第二种做法。

于是我做了一个运行时间的测试…提车了，下一步需要做什么？ - 车海沉浮高永强的回答 16K的赞

运行结果如下：

构造地址的办法用时451秒，第二种办法用时251秒。

……我不知道为什么方法二会比方法一快，可能是网速吧……QAQ。有了解的前辈还望告知原因…

到这里也就结束了。最后的结果是写入excel的，有知友说让我去学习csv，已经在看了，不过这次还是用的让人又爱又恨的excel。

按照惯例写To-dos：

• 完善Github的文档说明
• 想办法看能不能自动获取那个蛋疼的ans_id就不用每次都手动抓包了，selenium？我不会用啊TAT
• 在点赞的页面我们只能得到用户的4个数据，也就是赞同、感谢、提问、回答，有些时候我们或许想知道他的关注人数和被关注人数…然而那个得到用户的页面中去爬取了。不过想通过用户URL得到用户的具体数据是有现成的轮子的……egrcc/zhihu-python · GitHub （PY2） @egrcc 和7sDream/zhihu-py3 · GitHub（PY3） @7sDream 我想办法看怎么把我现在获取答案点赞用户信息的方法pull给他们…直接调用他们的User类就ok了~
• 抓特别多的数据时考虑多线程和gzip…？接下来就要学这个了…会的话我就用了…还记得我去爬知乎赞数最高的答案…一个答案爬了30分钟…
  

——更新完毕，大家学习愉快，共同进步——

——Windows 平台Py2编码问题畸形但有效解法——

在..Python27Libsite-packages下新建sitecustomize.py

添加代码

       import sys sys.setdefaultencoding("utf-8")      

——————正文2：学习路上顺便写的项目——————

在学习路上写了许多类似test的小小项目，就不赘述了。下面贴出来三个还算有结果的。

1、抓取知乎话题下面的问题，分析容易得赞的问题

具体描述在 第一次在知乎获得 1000 以上的赞是什么体验？ - 段晓晨的回答 写过了。

代码在知乎将如何应对「狗日的知乎」计划？ - 段晓晨的回答 里面有。需要用到7sDream/zhihu-py3 · GitHub

2、写完1中项目以后。我爬取了爬虫话题分类下面的所有回答。结果爬虫话题所有问题_20150531.xls_免费高速下载

然后我从其中挑选了“关注量/回答量”较大的问题（也就是有人关注但有效回答较少）写了以下两个回答，大家可以看看。

如何使用 python 抓取 雪球网页？ - 段晓晨的回答

如何用Python抓取写一个抓取新浪财经网指定企业年报的脚本？ - 段晓晨的回答

——————结语：谈谈学习——————

至此我能说的就说完了。

鼓起勇气来回答这个问题，不知道自己有没有资格。毕竟自己也就才学了一周多一点。自认为还谈不上入门……因为不会的实在太多。

系统学习爬虫的思路别人讲的肯定比我好。我的经验在开头已经说过了……不要怂就是干！哪里不会搜哪里！哪里报错改哪里！

如果一定要再补充写什么，贴上我之前回复知友的评论吧。

首先要带着一个目的去学，这个目的不能太复杂，不能一上来就搞那种需要模拟登陆，需要js动态实现的网站，那样你会在登陆那儿卡很久，又在js实现那儿卡很久，很容易挫伤学习积极性。比如我最初的目的就是爬知乎。知乎登陆/不登陆数据会有差别，比如抓不到某些人的数据，返回“知乎用户”这种。

有了目的，你需要一些基础知识。html是什么，标签是什么，浏览器和服务器之间通信（比如抓包）。爬虫的原理就是要把网页的源码整个下载下来，然后去里面寻找我们需要的信息。所以首先你得能获取正确的网址，然后通过配置你的程序（Headers伪装浏览器，代理防止封ip等）来成功访问网页并获取源码。…………诸如此类的基础知识，其实特别简单。你可以去找一些爬百度贴吧，爬煎蛋，爬糗事百科的例子，很容易就会上手。

有了源码你需要去里面寻找东西，比较简单的有正则表达式，更方便的有BeautifulSoup。对json解析有json。等等。

最后你可能需要一些模块化的思想。比如我在写爬知乎问题的时候，写了一些代码来让它把输出的结果自动保存到excel里…那我是不是可以把写入excel这个行为单独抽出来，定义为一个方法。以后每次遇到需要excel的地方我就拿过来改一下就能用。同样的思路，登陆过程，post数据的过程，解析数据的过程，是不是都可以自己慢慢积累为模块。就好像你有了很多乐高积木，以后再做的时候就不需要做重复的事情，直接搭积木就好~

最后感谢一下在我学习过程中参考过的别人的回答和博客。太多了无法一一列举。再次感谢。

编程是最容易获得的超能力。你还在等什么？

来自1024程序员节的修改：

很多小伙伴看到这个回答以后咨询我怎么学习Python和爬虫，我觉得，编程入门要解决三个问题：一是开箱即用，省去繁琐的配置；二是解决半途而废容易放弃的问题；三是真正成体系地实实在在地学习到知识。

在这里我给大家推荐一个我自己亲身体验过的最适合新手的Python入门课——夜曲编程。

夜曲编程属于百词斩旗下，我实际体验了Python入门课和爬虫课以后觉得，如果我有朋友想要入门Python的话，我会直接推荐给他这门课。因为夜曲完美解决了我之前提到的三个问题。

第一，手机/网页在线进行学习，不需要安装本地环境，就可以在线运行代码，得到结果。用最简单的方式，让新手敲下第一行代码。当然了，如果你想配置本地环境，课程里也提供了详尽的教程。

第二，夜曲的课程设置并不难，每天的学习量大概在30分钟左右，而且提供了概念卡和代码卡的卡片记忆方式；社群里有助教解答问题，对新手非常的友好。

第三，课程抛开形式，归根到底要比质量，夜曲的课程研发做的还是很不错的，覆盖了入门的大部分内容，包括类、面向对象、错误调试等，还有实战部分的发送邮件，可以说作为入门课程非常全面了。

希望大家学习开心~学有所得~

感谢

@sxc

邀请。非常非常感谢。

为了防止邀请我的sxc老师撤销邀请，我不得不截图。

@朱峰女士，你的答案，为了防止你进行修改，我已经截图了。没错，如你问题当中所说，礼貌是不是软弱？

当然不是。

我自问是一个普通人，在知乎得到关注多，也只是因为我勤勤恳恳，一个字一个字写得多，仅此而已。

我去咕咚网之前，当过记者，做过公关，我也不是什么名校毕业，但是我深深知道，原创是品德，是节操。做记者，报道要如实，要客观，要中立，要还原事情的本来面目。

我为什么要在微信群“红包体育”里面和你抬杠，为什么要质问你，想必你已经不记得了，然而我记得清清楚楚。

我不关注你的微信号，那是有非常重要的原因的。朱峰女士，你说你没做过亏心事，那么想必在你看来，未经他人许可引用、转载他人原创的内容，不算是亏心事了。

你不记得的事情，我一点一点帮你回忆起来吧。事情当然没有这么简单。

当你加入“红包体育”的时候，我对群主说了一句话。【我很高兴，我有不删除任何聊天软件当中聊天记录的好习惯。】

这里截图当中的日期是一直就存在的。至今我的iPhone 4S也一直在用呢，不可能改掉。

你为什么和我说抱歉，你忘了？2015年3月3日你所说的，是真的都不记得了？

当时我的反应，算是很克制的了，毕竟当着“红包体育”群里这么多人的面。

为什么我过了这么久，才再次在“红包体育”群里质问你，我想你应该明白。我知道每个人做自媒体不容易，想靠着才华变现，更加不容易，当时你肯道歉，说你会改，那么我也就得过且过了。

问题的关键在于，你改了吗？如果你改了，你就不会不经过

@式微

同意，转载她的答案，而且还将她列为“第二作者”。

你的所谓声明，夹杂在你的正文内容当中，而不是正式开辟一个子栏目道歉，被诸多的信息噪声遮盖着，这就是你的诚意？

上述三张截图，是2015年6月17日早上8:43时截的。我现在还很怕诸多水军说我图片造假呢。下面两张图，是2015年3月3日晚上20:49时截的。那个时候，你的微信ID还没有“太阳表情”。

这个总不能说我作假了吧？

而你在面对我的质疑的时候，说了些什么话，你还记得吗？这就是我为什么要截图的原因。

二次编辑加了些东西，就可以等同于你自己的原创，是吗？

事实证明我当初心一软得过且过，才是真的错误。

你说了“最初开时，格式内容混乱，但转载内容标明了作者”——我还是那句话：用了我的东西，问过我吗？

你说了“微信对于转载格式有了新要求后，我们也跟着学习，把之前来源不明的全部删除。之后再也没有出现不合规的转载“——来源不明？请看看截图，你自己说过的话，怎么就这么快忘了呢？”是从虎扑、知乎、直播吧很多来源的文章“，这还算是来源不明？

你说了“暴力行为冠以道德名义，缺又恰恰选择了一个认真做事的自媒体下手，无论是出于要稿费，还是炒作涨粉，都不会实现的”——暴力冠以道德的名义？我质问你，就是暴力，你不告而拿，拿了我的答案，也拿了知乎上别人的答案，这种偷窃行为，就是道德的？

另外，请弄清楚，到底谁在炒作？我只是把原文作者式微老师带到了“体育红包”群，让她自己和你说清楚，这就是炒作？式微维护自己正当权益没有成功，自己写了篇专栏，以正视听，这叫炒作？

你说了“另外。。。您在背后诽谤我的许多聊天截图我已经给了律师。我们没做亏心事，我们礼貌但不软弱，真的，用法律途径解决，只对我们单方面有利啊。但您若真的要这样苦苦相逼，请也不吝给我一个您的地址，给您去一封律师函”。

我在背后诽谤你？请把截图放出来，让知乎用户都看看，我到底怎么诽谤你了。

你没做亏心事？没做亏心事我会质问你为什么不经过我允许转载了我的内容？

说我苦苦相逼？到底谁逼谁？“咕咚-李旸”是我在“红包体育”群里的ID，那是因为之前说过要标清楚所在的企业、媒体和姓名，所以我这样写。

我再说一次：质问你，是因为你在知乎未经我许可，擅自转载和引用了我的内容；我质问你，是因为你在知乎未经式微老师的许可，擅自转载和引用了式微老师的内容。

知乎上的回答问题，是我业余时间所为，工作忙的时候我只能下班回答问题，晚上写公众号内容，或者把知乎的答案放到我自己的公众号上去。关于足球篮球的内容，和咕咚网没有一点关系，全部是我自己的业余创作。

而你，直接找到了咕咚创始人、CEO申波先生，也就是我的最高领导，去质问我的行为是代表咕咚，还是代表个人。

我在知乎的ID和个人说明写得清清楚楚，没有和咕咚有任何的关联。你没有经过我个人的允许，转载引用我在知乎的内容，被我质疑你转载了别人的内容，居然好意思说是“法律层面的诽谤”？居然还去和我供职的企业对质？

到底是谁苦苦相逼？

所谓认真做事的自媒体，是把知乎用户的文字答案，变成自己的声音和话语，放到视频当中去，是吗？

所谓认真做事的自媒体，是未经他人许可，擅自转载、引用他人在知乎的原创答案，是吗？

最后我很想问一句：你既然深知自媒体人的成长有多么不易，为什么你还要去做“未经许可，擅自转载和引用其他自媒体人的内容”这样的事情？

最后，是我放出的所有截图的具体信息。

我在这里声明：我是知乎用户李暘，在知乎的每一个答案，在知乎的每一篇专栏文章，不敢保证完美无缺，逻辑严密，没有错别字，但全部是我自己的原创内容，任何人未经我许可，转载、引用、抄袭我的答案，即为侵权行为。

---

  gao-ye-liang 网友的相关建议: 
      

人类的大脑实在太神奇了。

我出生以来，它24小时不间断工作，但却偏偏在考试的时候，大脑会猛的开始循环播放各类沙雕歌曲。

不会的题越多，想起的歌词越多。

题目越难，想起的歌词越沙雕。

---

  zhangfulong 网友的相关建议: 
      

聪明人靠统计数字和洞察来得出结论。

平庸的人仅依靠统计数字来获取信息。

笨蛋成天看个案小作文来悲鸣或自嗨。

---

  zhang-xiang-23-87-40 网友的相关建议: 
      

景甜：抱歉，是我选的他。

---