跬步 On Coding

RESTful API 理解

参考

理解RESTful架构
RESTful API 设计指南
来自HeroKu的HTTP API 设计指南(中文版)

概念

REST == Representational State Transfer,意思是表现层状态转化,我们来分解这个概念。
从字面以上理解这是一个操作的过程,实际上它省略了主语资源(Resources),合起来就是资源的表现层状态转化。

SAE上用kvdb做Django缓存

Django forum在SAE上开启了5M的memcached缓存空间,memcached是用空间计费的,所以在没什么流量的情况下每天也要用1云豆,以blog上的经验来看不用缓存的情况下mysql的消耗又比较大,所以权衡之后选择SAE自己实现的kvdb缓存后端来做缓存,这样缓存消耗的云豆可以忽略不计,又可以达到缓存加速的效果。

参考Django自带的memcache缓存后端来写kvdb的缓存后端。在插入数据的时候添加一个超时时间戳,获取数据的时候判断数据是否超时,如超时则删除数据。另外在实现清空所有数据的时候kvdb没有实现相应的方法,我自己阅读kvdb文档后通过迭代key值来实现清空,有一个可能的问题是这个迭代删除最多只能一次删除100条数据。

实现

基于django.core.cache.backends.base.BaseCache,对kvdb已有的接口进行重写适配,kvdb未实现的接口则沿用。

https://github.com/zhu327/forum/blob/sae/xp/cache.py

记搜狗微信号搜索反爬虫

反爬虫

RSS Factory前段时间又出问题了,访问微信公众号RSS一直500,完全没法用了。

经调试,发现由于爬取数据太频繁,触发了搜狗微信公众号的反爬虫,探索了下反爬虫的规则:

  1. 没有带Cookie的情况下,频繁访问触发反爬虫
  2. 带Cookie的情况下,频繁访问偶尔触发反爬出,偶现500错误
  3. 不带Cookie情况下,隔几个小时范围一下不会触发反爬虫

Python性能提升小贴士

用xrange循环时代替range ''.join() 替代 + while 1替代while True 列表推到 > for循环 > while循环 用cProfile, cStringIO and cPickle 用局部变量好于全局变量 itertools用各种迭代器,生成器 用map, reduce, filter替代列表推倒或循环 判断 a in b时,字典与集合好于列表和元组

Django forum总结

https://github.com/zhu327/forum

元旦的时候决定开始学习Django,学习最好的方式无非边学边做,所以把2年前没敢看的一个Tornado项目通过用Django实现了,这里总结下。

models

  1. 扩展默认User类

    from django.contrib.auth.models import AbstractUser
    # 继承这个类即可
    
    # setting中设置
    AUTH_USER_MODEL = 'forum.ForumUser' # 指定用户对象使用的类