Golang爬虫示例包 文件结构 自己用Golang原生包封装了一个爬虫库,源码见go get -u -v github.com/hunterhug/go_tool/spider ---- data 存放数据 ---- example 爬虫例子 --- pedaily 投资界爬虫 使用说明: go get -u -v github.com/hunterhug/spiderexample 一.投资界爬虫pedaily(pedaily.cn) companysearch.exe可通过关键字查找一家机…

问题描述 当我们使用 go get.go install.go mod 等命令时,会自动下载相应的包或依赖包.但由于众所周知的原因,类似于 golang.org/x/... 的包会出现下载失败的情况.如下所示: $ go get -u golang.org/x/sys go get golang.org/x/sys: unrecognized import path "golang.org/x/sys" (https fetch: Get https://golang.org/x/sy…

golang的strings包提供了字符串操作的一系列函数.下面做个简单介绍 函数 用法 备注 Compare(a,b sring) 比较两个字符串   Contains(s, substr string) 字符串包含   ContainsAny(s, chars string) 字符串包含,任意一个字符即可   ContainsRune(s string, r rune) rune包含,可以包含unicode字符   Count(s, substr string) 查找substr在s中出现的…

关于golang.org/x包问题 由于谷歌被墙,跟谷歌相关的模块无法通过go get来下载,解决方法: git clone https://github.com/golang/net.git $GOPATH/src/github.com/golang/net git clone https://github.com/golang/sys.git $GOPATH/src/github.com/golang/sys git clone https://github.com/golang/tools…

Golang Gin 项目包依赖管理 godep 使用 标签(空格分隔): Go 在按照github.com/tools/godep文档go get完包以后,调整项目结构为$GOPATH/src/$PROJECT_NAME/,同时使项目编译没有问题.执行godep save命令,出现了一系列包缺失的问题: github.com/campoy/embedmd github.com/client9/misspell/cmd/misspell github.com/dustin/go-broadcas…

关于golang.org/x包问题 由于谷歌被墙,跟谷歌相关的模块无法通过go get来下载,解决方法: git clone https://github.com/golang/net.git $GOPATH/src/github.com/golang/net git clone https://github.com/golang/sys.git $GOPATH/src/github.com/golang/sys git clone https://github.com/golang/tools…

encoding/json encoding/json是官方提供的标准json, 实现RFC 7159中定义的JSON编码和解码.使用的时候需要预定义struct,原理是通过reflection和interface来完成工作, 性能低. 常用的接口: func Marshal(v interface{}) ([]byte, error) 生成JSON func Unmarshal(data []byte, v interface{}) error 解析JSON到struct 示例1 生成JSON…

Golang官方log包详解 以下全是代码, 详解在注释中, 请从头到尾看 // Copyright 2009 The Go Authors. All rights reserved. // Use of this source code is governed by a BSD-style // license that can be found in the LICENSE file. // Package log implements a simple logging package. I…

WHY 日志概述 日志几乎是每个实际的软件项目从开发到最后实际运行过程中都必不可少的东西.它对于查看代码运行流程,记录发生的事情等方面都是很重要的. 一个好的日志系统应当能准确地记录需要记录的信息,同时兼具良好的性能,接下来本文将从0写一个Golang日志处理包. 通常Go应用程序多为并发模型应用,在并发处理实际应用的过程中也无法避免并发地调用日志方法. 通常来说,Go中除非声明方法是协程安全的,否则最好都视为协程不安全,Go中默认的日志方法为log,该方法协程安全,但是功能有限. 第三方Go日…

目录 前言 time包详解 总结 前言 各种编程语言都少不了与时间有关的操作,因为很多判断都是基于时间,因此正确和方便的使用时间库就很重要额. golang提供了import "time"包用来处理时间相关操作,找到合适的api可以高效的处理时间,找到正确的使用方式可以少出bug. 可以去百度2020 年的第一天,程序员鸭血粉丝又碰上生产事故,就是没有正确理解Java关于时间的处理产生的bug,貌似不少人中招啊. time包详解 可以去[点击跳转]这个网址查看并学习time包吧. 我下…

------------------------------------------------------------ // 满足 Interface 接口的类型可以被本包的函数进行排序. type Interface interface { // Len 方法返回集合中的元素个数 Len() int // Less 方法报告索引 i 的元素是否比索引 j 的元素小 Less(i, j int) bool // Swap 方法交换索引 i 和 j 的两个元素的位置 Swap(i, j int)…

一. 最近用在学习golang,写了个小工具练练手.通过golang模拟微信网页端,接收微信服务器的消息并定制.可接入图灵机器人的api实现一个微信机器人的小玩具,当然了,可以有更多更好玩的玩法. 二.      地址: https://github.com/Orlion/Gochat Gochat 一个Go微信机器人包 特点 灵活.在微信从登录到开始同步服务器消息的过程中的各个节点触发事件,从而通过注册时间监听器就可以灵活的实现很多功能. 失败重新登录.可以通过注册同步失败的事件重新调用Log…

由于墙的原因,国内使用 go get安装golang 官方包可能会失败 解决方法 方法1 [不需要FQ] Win10下相关配置: GOPATH : E:\go 安装记录: E:\>go get -u -v golang.org/x/crypto/... Fetching https://golang.org/x/crypto?go-get=1 https fetch failed: Get https://golang.org/x/crypto?go-get=1: dial tcp 216.23…

转自:https://studygolang.com/articles/12483 什么是TCP粘包问题以及为什么会产生TCP粘包,本文不加讨论.本文使用golang的bufio.Scanner来实现自定义协议解包. 协议数据包定义 本文模拟一个日志服务器,该服务器接收客户端传到的数据包并显示出来 type Package struct { Version []byte // 协议版本,暂定V1 Length int16 // 数据部分长度 Timestamp int64 // 时间戳 Host…

说点废话 为小胖做一个温馨提示的功能,思路已经整理好.今天使用goquery的时候,发现已经修改了.其中需要一个golang.org/x/net/html这个包,但是官网已经被万恶的GFW给墙了.这里记录以下解决办法,同样对golang的包管理也做一下记录. 开始 golang的包管理,中规中距.设置好GOPATH之后,只需要建立bin,pkg,src三个目录即可.src放主要的源码. 像之前报的错误,无法import golang.org/x/html ,所以我们只能从github上拿到这部分…

在用golang开发人工客服系统的时候碰到了粘包问题,那么什么是粘包呢?例如我们和客户端约定数据交互格式是一个json格式的字符串: {"Id":1,"Name":"golang","Message":"message"} 当客户端发送数据给服务端的时候,如果服务端没有及时接收,客户端又发送了一条数据上来,这时候服务端才进行接收的话就会收到两个连续的字符串,形如: {"Id":1,&qu…

golang 中的 sync 包有一个很有用的功能,就是 WaitGroup 先说说 WaitGroup 的用途:它能够一直等到所有的 goroutine 执行完成,并且阻塞主线程的执行,直到所有的 goroutine 执行完成. WaitGroup 总共有三个方法:Add(delta int), Done(), Wait().简单的说一下这三个方法的作用. Add:添加或者减少等待 goroutine 的数量 Done:相当于Add(-1) Wait:执行阻塞,直到所有的WaitGroup数量…

开发任何项目,都离不开日志,配好自己的项目日志输出,往往是开发项目的前提.在golang中,seelog应该是比较有名的日志处理包了,功能非常强大,seelog官方文档 一.seelog主要功能下面我们看看seelog有啥强大 设置不同级别的日志:输出到终端或文件:过滤指定级别日志:定义多种不同的日志输出格式:根据触发日志的文件名或者函数名来区别输出日志:通过 SMTP 或 TCP 转发日志(网络转发日志):滚动日志文件(过期日志自动清除).二.安装seelog$ go get github.c…

Time对象转换为string和时间戳调用Time对象的方法 转换为string:Time.Format(输出的格式) 转换为时间戳 :Time.Unix() 两者转换为Time对象的时候调用的是time包的方法 string转换:time.Parse("输出格式",string字符串) 时间戳对象转换:time.unix(秒,纳秒) Duration代表两个时间点之间经过的时间,以纳秒为单位.可表示的最长时间段大约290年,也就是说如果两个时间点相差超过 290 年,会返回 290…

概述     context是Go中广泛使用的程序包,由Google官方开发,在1.7版本引入.它用来简化在多个go routine传递上下文数据.(手动/超时)中止routine树等操作,比如,官方http包使用context传递请求的上下文数据,gRpc使用context来终止某个请求产生的routine树.每个Context应该视为只读的,通过WithCancel.WithDeadline.WithTimeout和WithValue函数可以基于现有的一个Context(称为父Context…

原文链接:https://www.jianshu.com/p/6fe61053c8aa?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation 原理 当我们使用 import "golang.org/x/tools/go/buildutil" 导入包时,其实导入的是$GOPATH/src/golang.org/x/tools/go/buildut…

目录 1. fmt 包初识 2. 格式化 verb 应用 2.1 通用 2.2 布尔值 2.3 整数 2.4 浮点数与复数 2.5 字符串和 []byte 2.6 指针 2.7 其他 flag 2.8 有效位输出 1. fmt 包初识 在 fmt 包,有关格式化输入输出的方法就两大类:Scan 和 Print ,分别在scan.go 和 print.go 文件中. print.go文件中定义了如下函数: func Printf(format string, a ...interface{}) (…

关于golang第三方包的引用报错:no required module provides package : go.mod file not found in current directory or any parent directory; 需要倒入包:go get github.com/denisenkom/go-mssqldbgo get github.com/mattn/go-adodb全部无反应,着手去分析问题到底出在哪里?命令:go  env 先排除 go env 里面:GO11…

git clone https://github.com/golang/crypto.git,复制到 golang.org/x/ 目录下. 常常用来建立ssh连接发送一条命令,但有时需要模拟ssh客户端功能,即直接连接上远程主机一直操作:(http://www.zhihu.com/question/30368538/answer/47835043) package main import ( "golang.org/x/crypto/ssh" "log" "…

------------------------------------------------------------ 指针类型: *类型:普通指针,用于传递对象地址,不能进行指针运算. unsafe.Pointer:通用指针类型,用于转换不同类型的指针,不能进行指针运算. uintptr:用于指针运算,GC 不把 uintptr 当指针,uintptr 无法持有对象.uintptr 类型的目标会被回收. unsafe.Pointer 可以和 普通指针 进行相互转换. unsafe.Point…

------------------------------------------------------------ Go 语言使用 error 类型来返回函数执行过程中遇到的错误,如果返回的 error 值为 nil,则表示未遇到错误,否则 error 会返回一个字符串,用于说明遇到了什么错误. 其实 error 只是一个接口,定义如下: ------------------------------ type error interface { Error() string } -----…

------------------------------------------------------------ 在 reflect 包中,主要通过两个函数 TypeOf() 和 ValueOf() 实现反射,TypeOf() 获取到的结果是 reflect.Type 类型,ValueOf() 获取到的结果是 reflect.Value 类型,这两种类型都有很多方法可以进一步获取相关的反射信息. 这里有一个函数,可以获取指定对象的所有字段和方法: --------------------…

------------------------------------------------------------ 对于传入 []byte 的函数,都不会修改传入的参数,返回值要么是参数的副本,要么是参数的切片. ------------------------------------------------------------ // 转换 // 将 s 中的所有字符修改为大写(小写.标题)格式返回. func ToUpper(s []byte) []byte func ToLower…

------------------------------------------------------------ // bufio 包实现了带缓存的 I/O 操作 ------------------------------------------------------------ type Reader struct { ... } // NewReaderSize 将 rd 封装成一个带缓存的 bufio.Reader 对象, // 缓存大小由 size 指定(如果小于 16 则会…

------------------------------------------------------------ 先说一下接口,Go 语言中的接口很简单,在 Go 语言的 io 包中有这样一个函数: func ReadFull(r Reader, buf []byte) (n int, err error) 这个函数可以把对象 r 中的数据读出来,然后存入一个缓冲区 buf 中,以便其它代码可以处理 buf 中的数据. 这里有个问题,ReadFull 函数究竟可以读取哪些对象的数据?可以…