记一次大批量数据的多进程同步 背景:因为公司的用户标识不完整,所以需要从集团同步一次用户标记数据,用户数据来源是微信,数量级为一百五十万,集团用户数量级为六百万 方案确定下来是集团开了一个查询接口,访问没有频率并发限制,数量级在那呢,我们遍历公司的用户,去查询这些用户的标识来更新 项目使用了laravel,就写了一个命令行脚本,开15个进程去跑 由于时间关系使用了PHP的pcntl_fork实现多进程 核心代码如下: 主要流程是: 首先主进程分配userid给各个子进程,这里使用了redis队列…