记搜狗微信号搜索反爬虫
Feb 15 2015反爬虫
RSS Factory前段时间又出问题了，访问微信公众号RSS一直500，完全没法用了。
经调试，发现由于爬取数据太频繁，触发了搜狗微信公众号的反爬虫，探索了下反爬虫的规则:
- 没有带Cookie的情况下，频繁访问触发反爬虫
- 带Cookie的情况下，频繁访问偶尔触发反爬出，偶现500错误
- 不带Cookie情况下，隔几个小时范围一下不会触发反爬虫
RSS Factory前段时间又出问题了，访问微信公众号RSS一直500，完全没法用了。
经调试，发现由于爬取数据太频繁，触发了搜狗微信公众号的反爬虫，探索了下反爬虫的规则:
https://github.com/zhu327/forum
元旦的时候决定开始学习Django，学习最好的方式无非边学边做，所以把2年前没敢看的一个Tornado项目通过用Django实现了，这里总结下。
扩展默认User类
from django.contrib.auth.models import AbstractUser
# 继承这个类即可
# setting中设置
AUTH_USER_MODEL = 'forum.ForumUser' # 指定用户对象使用的类前面学习了Cookie，知道Cookie是在浏览器端保存的用户状态，但是对Session一直没什么概念。学习Django的过程中直接使用了Django的认证系统，虽然用到了Session但是没有接触到Session的直接使用，然后在学习F2E.im的代码中，发现Tornado自带的secret cookie其实也能加密传递cookie，通过cookie传递一个userid到用户浏览器，认证的时候使用userid到数据库中查找用户信息，也能很好的认证用户。那为什么要使用session呢。
Tonado中认证示例:
# 重写tornado.web.RequestHandler中get_current_user方法用于认证
def get_current_user(self):
user_id = self.get_secure_cookie("user")
if not user_id: return None
return self.user_model.get_user_by_uid(int(user_id)) # 从数据库中取用户信息