最近开始了python爬虫的学习，这里带来利用python实现网易163邮箱个人收件箱列表信息的爬取的小项目，刚开始学习，写的不好的地方，望大神指正，诚恳学习。

经过对163邮箱的登陆过程的分析，其登陆过程需要：

接下来为大家介绍详细的过程。

首先我们打开网易邮箱的登录界面http://mail.163.com/，我用的是Firefox浏览器，右键查看元素或者f12打开设置里的启用持续日志这样我们就可以在登录后查看登陆过程提交的请求等参数，否则页面跳转就抓取不到这个信息。

然后选择网络选项，这是时空的，然后输入账号密码登录，登陆后会发现网络选项中出现下图所示

拉到最上边我们会发现一条post的日志，这就是登录时提交的参数信息。点击进入这条日志，就会显示消息头，请求网址，参数等。点击参数选项会看到一个表单数据，这个里边就记录了你提交的 用户名，密码，以及产生错误跳转的url。

这时细心的你可以看到地址栏的URL已经变了，而且在URL中有一串名为sid的参数

mail.163.com/js6/main.jsp?sid=XCwPLNlNiskqLJBOvaNNyAURxrosaJnJ&df=mail163_lette

这个sid码就是我们登录的关键，下面我来说明怎么得到这个sid码。

刚才我们选中了那个post日志，选择消息头，我们可以看到这次日志请求网址

这里请求的网址和我们目前所在的网址并不一样，这说明我们登陆时经过了这么一个中转的网址，想看到这个网址下是什么，很简单，点开上面的响应选项你就可以看到这个网址下是什么内容。

通过这个响应我们可以发现，我们提交的参数中并没有这个sid码，但是在响应中出现了这个sid码，因此这个sid码使我们登陆所需要的。但是这个sid码只在本次登录有效，并不能一劳永逸，所以我们每次登录都需要通过这个中转界面来获取这个sid码。这是我们就需要来获取这个页面的源码并提取这个sid码。下面附上我的代码。

登陆成功的话可以看到输出的结果为

这里做一点说明：

这样我们就得到了中转界面的页面代码，里边就有我们需要的sid码。如何提取这个sid码呢？我们就需要用正则表达式来匹配他。相应的提取代码如下，把其加入到loginPage中即可

PS：正则表达式中 .*? 是一个很好用的组合，re.S是点任意匹配模式。 这样我们就成功抓取到了sid码，并且得到了登录时所需要的cookie。下一步要用抓取到的sid码来登录邮箱

获取到了sid码之后我们就能登录邮箱了。 进入收件箱，点开响应选项，找到所有的post的日志，我们会发现有一个日志中的响应会是我们的邮件信息，这个就是我们需要的登陆的参数和信息：

点开消息头这个请求的网址就是我们收件箱的地址，并且这个请求网址中有我们刚提取出来的sid码，所以我们只需要重定向到这个网址就能获得我们收件箱的页面信息了。这里我们只需要重置请求头，利用上边已获得的cookie和sid码重新请求就行了，下面附上代码：

当然我们也可以打印出相应的内容以方便我们做后续的处理

这样我们就得到了收件箱页面的邮件列表信息，下边来解析这页代码。

输出刚才的内容我们会得到像下面这样的结果

这些代码段就是我们收件箱的基本信息，每个 object 标签中都包含了一个邮件的发件方、收件方、邮件主题、收发时间等信息。我们要做的就是利用正则表达式把这些信息提取出来（当然也可以用beautifulsoup来提取），并输出。每个标签中的内容都一样，故正则表达式及代码如下：

这样就可以输出收件箱所有邮件列表的基本信息。 下面附上完整代码：

谢谢观看，看完后也可以去试试，第一次写，写的不好的地方望指正。