AKCMS的采集功能的框架设计

1 采集规则增加一条:如果已经采集过,更新还是跳过,对应要在snoopycatched表中增加itemid字段
2 采集规则增加一条:是否需要采集内容,像头条区这样就不用读内容,更快了
3 iframe引用的页面不检查任何其他东西,直接处理两个任务池

需要的函数:
1 从list池取一条,得到item的列表,扔到item池
2 从池中取一条返回并从池中删除这一条,如果取出为空自动取下一条,直到不为空

 评论
 发表评论
姓   名: