自己总结了一下就是存储,消息处理(异步,阻塞,队列,消息中间件) 参考岗位需求 数据爬虫工程师的岗位职责:1.分布式网络爬虫研发:不断完善现有抓取系统,通过对抓取.解析.调度.存储等模块的拆分与优化,形成具有本地服务特色的定向爬虫引擎,持续改进与迭代完善,推进开放服务建设;2.抓取数据需求支持:不断满足精细化运营需求,在保证抓取系统不断前进的基础上,完成日常抓取与解析任务,对数据的稳定性负责. 3.对异步处理或消息处理模式比较了解,熟悉并在项目中使用过twisted框架或消息中间件(如rabbi…