最近公司有个项目,我需要写个小爬虫,将爬取到的数据进行统计分析.首先确定用 Python 写,其次不想用 Scrapy,因为要爬取的数据量和频率都不高,没必要上爬虫框架.于是,就自己搭了一个项目,通过不同的文件目录来组织代码.然而,这就绕不过模块和包,遇到了一些必踩的问题,一番研究之后,记录如下. 我的项目结构 首先,我并不是一个经验丰富的 Python 开发者,一般像我这样水平的,要么用框架,以其预置的代码结构来管理代码文件和逻辑:要么,就是调包侠,将代码写在同一个或多个 .py 文件中,不用…

很多童鞋搞不懂python迭代器和生成器到底是什么?它们之间又有什么样的关系? 这篇文章就是要用最简单的方式让你理解Python迭代器和生成器! 1.迭代器和迭代过程 维基百科解释道: 在Python中,迭代器是遵循迭代协议的对象.使用iter()从任何序列对象中得到迭代器(如list, tuple, dictionary, set等).另一种形式的输入迭代器是generator(生成器). 很多容器诸如列表.字符串可以用for循环遍历对象.for 语句会调用容器对象中的 iter()函数, 该…

大家好~我是米洛! 欢迎关注我的公众号测试开发坑货,一起交流!点赞收藏关注,不迷路. Unittest unittest大家应该都不陌生.它作为一款博主在5-6年前最常用的单元测试框架,现在正被pytest,nose慢慢蚕食. 渐渐地,看到大家更多的讨论的内容从unittest+HTMLTestRunner变为pytest+allure2等后起之秀. 不禁感慨,终究是自己落伍了,跟不上时代的大潮了. 回到主题 感慨完了,回到正文.虽然unittest正在慢慢被放弃,但是它仍然是一款很全面的测试框…

关于我 一个有思想的程序猿,终身学习实践者,目前在一个创业团队任team lead,技术栈涉及Android.Python.Java和Go,这个也是我们团队的主要技术栈. Github:https://github.com/hylinux1024 微信公众号:终身开发者(angrycode) 在Python中可迭代(Iterable).迭代器(Iterator)和生成器(Generator)这几个概念是经常用到的,初学时对这几个概念也是经常混淆,现在是时候把这几个概念搞清楚了. 0x00 可迭代…

关于我 一个有思想的程序猿,终身学习实践者,目前在一个创业团队任team lead,技术栈涉及Android.Python.Java和Go,这个也是我们团队的主要技术栈. Github:https://github.com/hylinux1024 微信公众号:终身开发者(angrycode) 数组类型是各种编程语言中基本的数组结构了,本文来盘点下Python中各种"数组"类型的实现. list tuple array.array str bytes bytearray 其实把以上类型都…

Python函数定义.匿名函数.嵌套函数.闭包.装饰器 目录 Python函数定义.匿名函数.嵌套函数.闭包.装饰器 函数核心理解 1. 函数定义 2. 嵌套函数 2.1 作用 2.2 函数变量作用域 3. 闭包 3.1 特点 3.2 实例 4. 装饰器 4.1 形式和作用 4.2 装饰器函数写法 4.3 装饰器用法实例 5. 匿名函数 5.1 格式 5.2 使用原则 5.3 使用方式 6. python函数式编程 6.1 概念 6.2函数式编程的优缺点 6.3 map().filter() 和…

接着上面一篇:三文搞懂学会Docker容器技术(上) 三文搞懂学会Docker容器技术(中) 7,Docker容器目录挂载 7.1 简介 容器目录挂载: 我们可以在创建容器的时候,将宿主机的目录与容器内的目录进行映射,这样我们就可以实现宿主机和容器目录的双向数据自动同步: 7.2 作用 前面学过cp命令来实现数据传递,这种方式比较麻烦: 我们通过容器目录挂载,能够轻松实现代码上传,配置修改,日志同步等需求: 7.3 实现 语法: docker run -it -v  /宿主机目录:/容器目录 镜…

摘要: 网络是通信互联的基础,Node.js提供了net.http.dgram等模块,分别用来实现TCP.HTTP.UDP的通信,本文主要对使用Node.js的TCP通信部份进行实践记录. 本文分享自华为云社区<一文搞懂如何使用Node.js进行TCP网络通信>,作者:lwq1228 . 1.构建TCP服务器 1.1.使用Node.js创建TCP服务器 为了使用Node.js创建TCP服务器,首先要调用require('net')来加载net模块,然后调用net模块的createServer方…

作者| 姜闻名 来源|尔达 Erda 公众号 ​ 导读:为了让大家更好的了解 MSP 中 APM 系统的设计实现,我们决定编写一个<详聊微服务观测>系列文章,深入 APM 系统的产品.架构设计和基础技术.本文为该系列文章的第三篇,将主要对 Telegraf 数据处理链路的实现原理以及插件实现方式进行介绍. <详聊微服务观测>系列文章: <从监控到可观测性,我们最终要走向哪里?> <上手后才知道,这套仪表盘系统用起来是真的爽!> <一文搞懂指标采集利器…

一文搞懂RAM.ROM.SDRAM.DRAM.DDR.flash等存储介质 存储介质基本分类:ROM和RAM RAM:随机访问存储器(Random Access Memory),易失性.是与CPU直接交换数据的内部存储器,它可以随时读写,而且速度很快,通常作为操作系统或其他正在运行中的程序的临时数据存储媒介.当电源关闭时RAM不能保留数据.如果需要保存数据,就必须把它们写入一个长期的存储设备中(例如硬盘). ROM:只读存储器(Read Only Memory),非易失性.一般是装入整机前事先写…