题目描述 如果你之前关注过HPUOJ的话,那么你一定听说过杨八方的名字.在去年,很多同学共同见证了杨八方同学的填报志愿.来到学校.军训--或许你曾陪同杨八方一起思考过许多问题,又或者你是刚听说这个名字,这都不是问题. 光阴荏苒,杨八方不见踪影已数月之久.然而,杨八方的故事还没有结束,正值第八届河南理工大学程序设计大赛开幕之际,让我们来继续关注一波杨八方的故事吧. 事实上,杨八方最近在苦恼宿舍中与室友的关系.我们知道很多宿舍都有自己的QQ群,杨八方的宿舍也不例外,六个小伙伴都在共同创建的一个QQ群…

#爬取三国演义的全部章节 2 3 import urllib 4 import urllib.request 5 import urllib.parse 6 from lxml import etree 7 from urllib import error 8 import lxml.html 9 import os 10 import time 11 import requests 12 #小说站点的URL 13 novel_base_url = "https://www.biqukan.co…

这里是完整的工商信息采集代码,不过此程序需要配合代理ip软件使用.问题:1.网站对ip之前没做限制,但是采集了一段时间就被检测到设置了反爬,每个ip只能访问十多次左右就被限制访问.2.网站对请求头的检测识别解决:1.配合代理ip软件(风讯代理)设置自动切换ip时间,执行爬虫程序.2.中间件设置随机user-agent 采集结果:正常采集速度一天大概采集1万条数据左右.问题:切换ip会造成程序断网一些字段遗漏解决(设置的有唯一索引避免重复采集,多次执行爬虫)company_info.py # -*…

数据来源:http://www.acpaa.cn/ 目前事务所的信息没有做反爬限制,还是很容易拿到数据的 没有用html解析工具,直接上正则,结果就是需要处理很多乱七八糟的空格...为了能将日期顺利的插入到数据库,做了很多转换.这个代码没用多线程. 下面是代码,Python版本为3.5,需要安装pymsql,mysql # -*- coding: UTF-8 -*- import http.client import re import pymysql def saveAgency(code,…

SQL Server中一些有用的日期sql语句 1.一个月第一天的 SELECT DATEADD(mm, DATEDIFF(mm,0,getdate()), 0) 2.本周的星期一 SELECT DATEADD(wk, DATEDIFF(wk,0,getdate()), 0) 3.一年的第一天 SELECT DATEADD(yy, DATEDIFF(yy,0,getdate()), 0) 4.季度的第一天 SELECT DATEADD(qq, DATEDIFF(qq,0,getdate()),…

=======================基础命令======================= mongo 进入数据库操作界面db 查看当前使用的数据库show dbs 查看当前已经被创建出来的数据库 //local 0.000GB 当数据库内容为空时 是不展示出来的,有内容时才会展示出来 use xxx 切换到指定名字的数据库(即使数据库不存在 也可以切换成功,但是切换成功后,数据库并不会立即被创建出来 只是暂时挂名 - 惰性机制) db.dropDatabase() 删除当前数据库 (…

Intro 科创人,分享技术创业者的成长与创业经验. 何谓创业?勇于面对未知.肩负重任的人生抉择. 何谓经验?沟沟坎坎.有笑有泪,各有其宝贵. 科创人的价值支点是"人",我们不以市值论英雄,相信在创业神话夺目光芒之下,还有更多信息值得挖掘分享. 2019年11月20日,上海八佰伴星巴克,Tinyfool严格坐班到6点半之后赶来赴约,这是一位背负着身体与精神的病痛,走在创业路上的技术人.IT领域内,焦虑于未来.恐慌于未知的情绪弥漫滋生,科创人记述Tinyfool一小段崩塌至重建的人生片段…

一. json介绍 json是一种轻量级的数据交换格式,规则很简单: 并列的数据之间用逗号(,)分隔: 映射用冒号(:)表示: 并列数据的集合(数组)用方括号([])表示: 映射的集合(对象)用大括号({})表示. 对上述规则解析,可以发现: 数组是用([])创建的,对象是用({})创建的: 数组和对象里面的元素都是用(,)隔开:{name:"李华",age:"18",home:"shanghai"}&&[] 对象和数组可以相互嵌…

以下环境为mac osx + jdk 1.8 + mongodb v3.2.3 一.安装 brew安装方式是mac下最简单的方式 brew update brew install mongodb 其它OS上的安装请参考:https://docs.mongodb.org/manual/installation/ 二.启动 2.1 最基本的启动 mongod 不加任何参数时,db默认保存在/data/db目录(如果该目录不存在,启动会报错),监听的端口是27017,且不启动安全认证机制(即:谁都可以…

create table test (id int, name ), score int, classname )); ,,'一班'); ,,'一班'); ,,'一班'); ,,'二班'); ,,'二班'); ,,'二班'); select t.* from (select test.*,row_number() over (partition by classname order by score desc) rn from test) t ;…