接着上一篇，已经把普通浏览页面压测完毕。 现在的问题是，需要压测登录后的页面。 上次没提到用来做压测的工具是locust，这是一个以前同事彪哥推荐的，感谢他，专业的大师级自动化测试高手。locust的主页在locust.io，是一个基于python开发的压测工具，使用比较简单。文档请点这里 文档中说的很清楚：The HttpSession instance will preserve cookies between requests so that it can be used to log in...

接着上一篇，终于成功抓取淘女郎图片。 首先是登录的改进，采用了immzz登录知乎的代码，这种方式是使用selenium和xvfb作为headless browser，能自动加载js，模拟人用浏览器去登录网站，抓取网页很稳定。比之前具体去分析每个登录细节，然后纯粹用代码模拟登录要方便得多。 后来我又尝试了使用selenium和phantomjs作为headless browser，解析速度更快，占用系统资源更少，但是遇到过没有响应的情况。 使用headless browser的另一个好处是二级页面可以把cookie带过去。 输入验证码采用的方式也是人工输入：使用一台有gui的机器，linux桌面或者windows、mac都行，连上redis，当提示需要验证码时，将网页截屏，存入redis，然后显示出来，人工输入验证码，返回给爬虫。既然是存入redis，那么只要能连上redis的爬虫都可以使用，那么可以开启多个爬虫爬不同的页面。 接着再说一下之前触发淘宝反爬虫策略的原因：scrapy默认有个设置，CONCURRENT_REQUESTS = 16，我把它设置为2，就不会再触发了。 还有一个改进，自定义了一个中间件，也是从网上获取的，现在找不到出处了，汗。。。 class PhantomJSMiddleware(object): # overwrite process request def process_request(self,...

公司网站程序重写了，近期准备上线。由于没有专门的压力测试人员，所以我只有自己做压力测试。 使用locust模拟了200个用户，访问商品列表页，发现效果非常差。 下面是分析过程： php errorlog有大量的如下信息，我这里只截取了一条 [29-Aug-2015 11:48:52] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers),...

最近在学python，用的是2.7版，跟着网上的一些例子在学习，使用urllib和urllib2去抓取网页，然后学着学着就发现了scrapy这个爬虫框架。在这里记录一些东西，以免自己忘记。 最终目的是想爬取淘女郎网站上的每个mm主页(比如：田媛媛)下的所有展示图片。不过最后涉及到淘宝登录以及触发反爬虫策略，并没有成功。 最开始是看到这篇文章：Python爬虫实战四之抓取淘宝MM照片，用他的代码跑了一下，感觉很爽，可以用mm名称自动建目录，然后保存图片；但是爬了一会就报错了，当时没记录错误输出，但是大概意思是找不到response页面里的html代码，正则表达式匹配不到。通过一些了解，知道了原因：有些html代码是动态js产生的，而python代码没有去执行js，所以就获取不到。如果用chrome浏览器的审查元素能看到代码，但是直接打开网页源代码却没有的话，也是这个原因。 那么问题来了，怎么让爬虫也执行js？通过搜索，了解到selenium和PhantomJS。selenium是自动化测试经常用到的，python可以用它调用浏览器，模拟人的操作。因为调用浏览器是会执行js的，那么问题就应该可以解决了。然后发现效率真的很低，因为每次调用都要打开浏览器，等页面完全加载完成。PhantomJS是一个headless browser，意思是不需要界面，那么效率就应该提高很多了，然后发现selenium和PhantomJS已经整合在一起了，真是明智啊。 于是尝试在之前的代码中加入selenium和PhantomJS，开始爬图片，然而遇到另一个问题：访问mm主页需要淘宝登录。同时，图片又不需要通过js加载了,oh my god，是不是我之前眼花了。 然后又看了这篇文章：Python爬虫实战五之模拟登录淘宝并获取所有订单，于是尝试将登录的代码加入到前面。现在应该可以了吧，运行看看。靠，又遇到新问题了：登录是成功的，但是访问mm主页还是要登录，这是为啥？当时是不知道，就放弃了，后来了解到应该是和cookie有关。 接着，我安装了scrapy，学习了几个例子，也抓取了一些简单的网页，发现如果不需要登录，网页也没有动态js加载的问题，scrapy真是太好用了，代码量非常少就可以完成。然后还是不死心，想用scrapy尝试解决前面的问题。 items.py # -*- coding: utf-8 -*- # Define here the...