前面讲到将每篇文章的URL写入Item,但是每个url的长度是不同的,可以在Item中设置一个字段怎样使得每个URL的长度相同,这就需要对每个URL进行md5运算,使得长度统一,再加入到设定的Item字段中 从项目的根目录下新建一个文件夹,把所有能用到的自定义方法写入,,命名为util并从util下新建一个common.py文件 写入以下: import hashlib def get_md5(url): if isinstance(url,str): url = url.encode("ut…