golang视频采集,golang 视频服务器

本文目录一览：

• 1、protobuf3基础语法
• 2、如何编译arm linux的go
• 3、《深入浅出Webpack》pdf下载在线阅读，求百度网盘云资源
• 4、集中式日志分析平台 – ELK Stack – Filebeat 压测
• 5、go语言可以做什么
• 6、深入理解golang

protobuf3基础语法

ProtoBuf （Google Protocol Buffer）是由google公司用于数据交换的序列结构化数据格式，具有跨平台、跨语言、可扩展特性，同类型有常用的XML及JSON，但具有更小的传输体积、更高的编码、解码能力，特别适合于数据存储、网络数据传输等对存储体积、实时性要求高的领域，目前已经发展到protoc3 版本。

优点：空间效率高，时间效率要高，对于数据大小敏感，传输效率高的

缺点：消息结构可读性不高，序列化后的字节序列为二进制序列不能简单的分析有效性

备注：最后的时间类型golang需要引入包 github.com/golang/protobuf/ptypes/timestamp ,定义如下

然后 .protp 文件需要导入 google/protobuf/timestamp.proto

如果一个字段被 repeated 修饰，则表示它是一个列表类型的字段，相当于 golang 里的切片

如果你希望可以预留一些数字标签或者字段可以使用reserved修饰符

第一个枚举值的数值必须是0且至少有一个枚举值，一个数值可以对应多个枚举值，必须标明 option allow_alias = true; 不推荐使用负数值

在你的 .proto 文件中指定 service ,然后在 service 里定义 rpc方法 即可，要注意指定参数和返回值

gRPC 允许你定义4种类型的 service 方法

客户端使用存根发送请求到服务器并等待响应返回，就像平常的函数调用一样

通过在 响应返回参数 类型前插入 stream 关键字，可以指定一个服务器端的流方法。客户端发送请求到服务器，拿到一个流去读取返回的消息序列。 客户端读取返回的流，直到里面没有任何消息。

通过在 请求参数 类型前指定 stream 关键字来指定一个客户端的流方法。客户端写入一个消息序列并将其发送到服务器，同样也是使用流。一旦客户端完成写入消息，它等待服务器完成读取返回它的响应。

通过在请求和响应前加 stream 关键字去制定方法的类型。两个流独立操作，因此客户端和服务器可以以任意喜欢的顺序读写：比如， 服务器可以在写入响应前等待接收所有的客户端消息，或者可以交替的读取和写入消息，或者其他读写的组合。

如何编译arm linux的go

Golang也就是Go语言，现在已经发行到1.4.1版本了，语言特性优越性和背后Google强大靠山什么的就不多说了。Golang的官方提供了多个平台上的二进制安装包，遗憾的是并非没有发布ARM平台的二进制安装包。ARM平台没办法直接从官网下载二进制安装包来安装，好在Golang是支持多平台并且开源的语言，因此可以通过直接在ARM平台上编译源代码来安装。整个过程主要包括编译工具配置、获取Golang源代码、设置Golang编译环境变量、编译、配置Golang行环境变量等步骤。

注：本文选用树莓派做测试，因为树莓派是基于ARM平台的。

1、编译工具配置

据说下个版本的golang编译工具要使用golang自己来写，但目前还是使用C编译工具的。因此，首先要配置好C编译工具：

1.1 在Ubuntu或Debian平台上可以使用sudo apt-get install gcc libc6-dev命令安装，树莓派的RaspBian系统是基于Debian修改的，所以可以使用这种方法安装。

1.2 在RedHat或CentOS 6平台上可以使用sudo yum install gcc libc-devel命令安装。

安装完成后可以输入 gcc –version命令验证是否成功安装。

2、获取golang源代码

2.1 直接从官网下载源代码压缩包。

golang官网提供golang的源代码压缩包，可以直接下载，最新的1.4.1版本源代码链接：

2.2 使用git工具获取。

golang使用git版本管理工具，也可以使用git获取golang源代码。推荐使用这个方法，因为以后可以随时获取最新的golang源代码。

2.2.1 首先确认ARM平台上已经安装了git工具，可以使用git –version命令确认。一般linux平台都安装了git，没有的话可以自行安装，不同平台的安装方法可以参考：

2.2.2 克隆远程golang的git仓库到本地

在终端cd到你想要安装golang的目录，确保该目录下没有名为go的目录。然后以下命令获取代码仓库：

git clone

大陆地区可能会获取失败，在不翻墙的情况下我试了几次都没成功，原因大家都懂的。好在google已经将golang也托管到github上面，所以也可以通过下面命令获取：

git clone

视网络情况，下载可能需要不少时间。我2M的带宽花了将近两个小时才下载完，虽然整个项目不过几十兆= =

下载完成后，可以看到目录下多了一个go目录，里面即为golang的源代码，在终端上执行cd go命令进入该目录。

执行下面命令检出go1.4.1版本的源代码，因为现在已经有新的代码提交上去了，最新的代码可能不是最稳定的：

git checkout go1.4.1

至此，最新1.4.1发行版的源代码获取完毕

3、设置golang的编译环境变量

主要有GOROOT、GOOS、GOARCH、GOARM四个环境变量需要设置，先解释四个环境变量的意义。

3.1 GOROOT

主要代表golang树结构目录的路径，也就是上面git检出的go目录。一般可以不用设置这个环境变量，因为编译的时候默认会以go目录下src子目录中的all.bash脚本运行时的父目录作为GOROOT的值。为了保险起见，可以直接设置为go目录的路径。

3.2 GOOS和GOARCH

分别代表编译的目标系统和平台，可选值如下：

GOOS GOARCH

darwin 386

darwin amd64

dragonfly 386

dragonfly amd64

freebsd 386

freebsd amd64

freebsd arm

linux 386

linux amd64

linux arm

netbsd 386

netbsd amd64

netbsd arm

openbsd 386

openbsd amd64

plan9 386

plan9 amd64

solaris amd64

windows 386

windows amd64

需要注意的是这两个值代表的是目标系统和平台，而不是编译源代码的系统和平台。树莓派的RaspBian是linux系统，所以这些GOOS设置为linux，GOARCH设置为arm。

3.3 GOARM

表示使用的浮点运算协处理器版本号，只对arm平台有用，可选值有5，6，7。如果是在目标平台上编译源代码，这个值可以不设置，它会自动判断需要使用哪一个版本。

总结下来，在树莓派上设置golang的编译环境变量，可编辑$HOME/.bashrc文件，在末尾添加下面内容：

export GOROOT=你的go目录路径

export GOOS=linux

export GOARCH=arm

编辑完后保存，执行source ~/.bashrc命令让修改生效。

4、编译源代码

环境变量配置完成自后就可以开始编译源代码。在go目录下的src子目录中，主要有all.bash和make.bash两个脚本（另外还有两个all.bat和make.bat脚本适用于window平台）。编译实际上就是执行其中一个脚本，两者的区别在于all.bash在编译完成后还会执行一些测试套件。如果希望只编译不测试，可以运行make.bash脚本。使用cd命令进入go下src目录，执行./all.bash或者./make.bash命令即可开始编译。由于硬件情况不同，编译耗费的时间不同。在我的B型树莓派编译过程花费了将近半个小时，编译完成后执行的测试套件又花费了差不多一个小时，总共花费了一个半小时左右。

5、配置golang运行环境变量

编译完成后，go目录下会生成bin目录，里面就是go的运行脚本。为了以后使用方法，可以将这个bin路径添加到PATH环境变量中。同样编辑~/.bashrc文件，因为前面设置过GOROOT环境变量指向go目录了，所以只需要在末尾加上

export PATH=$PATH:$GOROOT/bin

保存后同样执行source ~/.bashrc命令让环境变量生效。

至此，golang源代码编译安装成功。执行go version应该就能看到当前golang的版本信息，表示编译安装成功。

《深入浅出Webpack》pdf下载在线阅读，求百度网盘云资源

《深入浅出Webpack》（吴浩麟）电子书网盘下载免费在线阅读

资源链接：

链接：

提取码：6hex  

书名：深入浅出Webpack

作者：吴浩麟

豆瓣评分：6.3

出版社：电子工业出版社

出版年份：2018-1

页数：288

内容简介：

随着Web开发技术的发展，Webpack凭借其便于使用和涵盖面广的优势，成为目前非常流行的前端构建工具，是每位前端工程师的必备技能之一。

《深入浅出Webpack》对Webpack进行了全面讲解，涵盖了Webpack入门、配置、实战、优化、原理等方面的内容。其中，第1章讲解Webpack入门所涉及的知识；第2章详细讲解Webpack提供的常用配置项；第3章结合实际项目中的常见场景进行实践；第4章给出优化Webpack的优秀方案；第5章剖析了Webpack的原理，并讲解如何开发Plugin和Loader；附录汇总了常见的Loader、Plugin和Webpack的其他学习资源。除了深入讲解Webpack，本书还介绍了ES6、TypeScript、PostCSS、Prepack、离线缓存、单页应用、CDN等Web开发相关的技能。

无论是对 Webpack一无所知的初学者，还是经验丰富的前端工程师，相信都能够通过《深入浅出Webpack》进一步提升对Webpack的理解，并在Web开发中更熟练地运用Webpack。

作者简介：

吴浩麟

一线前端工程师，曾就职于腾讯，现就职于美团。专注于Web开发，参与过众多大型Web项目的构建、设计和开发，喜欢探索Web前沿技术。也是Golang和音视频技术的爱好者，活跃于GitHub，ID为gwuhaolin。

集中式日志分析平台 – ELK Stack – Filebeat 压测

任何一款采集 agent 进行公司内全面推广前都需要进行性能测试以及资源限制功能测试，以保证：

对于 Filebeat 这款号称 golang 编写，性能强于 logstahs-forwarder 的采集 agent，我们也需要这样进行严谨对待。

硬件选择虚拟机，6cores + 16GB Mem + 175GB SSD + 1000Mbps 带宽；

Filebeat 配置，输出到 console：

Filebeat 配置，输出到 Kafka：

我们开启 Filebeat 的 6060 端口，并使用 python 脚本进行指标采集。

expvar_rates.py ，每秒统计出 Filebeat 指标，主要看：

Step1. 启动 Filebeat (172.16.134.8)

Step2. 启动统计脚本

Step3. 启动 tsar

Step4. 写入压测数据(6个进程写入，6千万条日志)

在 6 进程数据写入日志文件时，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.8 cores。

在 6 进程数据写入日志文件后，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 1.6 cores。

小结：

测试步骤和上述一致，区别在于配置文件需要输出到 Kafka。

在 6 进程数据写入日志文件时，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.7~0.8 cores。

在 6 进程数据写入日志文件后，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 2.0 cores。

小结：

测试步骤和上述一致，区别在于配置文件需要输出到 Kafka。

和上述步骤不同的是，启动 Filebeat 时需要 systemd 限制 CPU、句柄数，根据之前的理论，句柄数限制在 100 已经非常够用，CPU 限制在 1 core。

修改 /usr/lib/systemd/system/filebeat.service ：

执行 reload：

对 CPU 进行限制：

确认是否限制成功：

有如下输出表示OK：

在 6 进程数据写入日志文件时，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.7 ~ 0.8 cores。

在 6 进程数据写入日志文件后，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 1.0 cores，限制生效。

小结：

在 6 进程数据写入日志文件时，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.75 ~ 0.9 cores。

在 6 进程数据写入日志文件后，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 1.0 cores，限制生效。

小结：

在 6 进程数据写入日志文件时，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.7 ~ 0.75 cores。

在 6 进程数据写入日志文件后，我们在开启 python 统计脚本的窗口得到如下稳定的统计数据：

我们在 tsar 看到的统计数据为：

我们在 top 中可以看到 Filebeat 大致占据了 0.9 cores，未达到限制。

小结：

A. FB 全力采集 247B 数据(真实环境类似日志长度)，速率为 ~ 40K/s，CPU 开销为 2 cores；

B. FB 在 CPU 限制 1 cores 情况下，采集 247B 数据速率为 ~ 20K/s，可以认为单核采集速率为 ~ 20K/s/core；

C. 日志单行数据越大，吞吐越小，5KB 每行已经非常夸张，即使如此，没有压缩的情况下带宽消耗 35MBps，gzip 压缩率一般为 0.3~0.4，占用带宽为 10.5~14MBps，对于千兆网卡来说压力较小；

go语言可以做什么

1、服务器编程：以前你如果使用C或者C++做的那些事情，用Go来做很合适，例如处理日志、数据打包、虚拟机处理、文件系统等。

2、分布式系统、数据库代理器、中间件：例如Etcd。

3、网络编程：这一块目前应用最广，包括Web应用、API应用、下载应用，而且Go内置的net/http包基本上把我们平常用到的网络功能都实现了。

4、开发云平台：目前国外很多云平台在采用Go开发，我们所熟知的七牛云、华为云等等都有使用Go进行开发并且开源的成型的产品。

5、区块链：目前有一种说法，技术从业人员把Go语言称作为区块链行业的开发语言。如果大家学习区块链技术的话，就会发现现在有很多很多的区块链的系统和应用都是采用Go进行开发的，比如ehtereum是目前知名度最大的公链，再比如fabric是目前最知名的联盟链，两者都有go语言的版本，且go-ehtereum还是以太坊官方推荐的版本。

自1.0版发布以来，go语言引起了众多开发者的关注，并得到了广泛的应用。go语言简单、高效、并发的特点吸引了许多传统的语言开发人员，其数量也在不断增加。

使用 Go 语言开发的开源项目非常多。早期的 Go 语言开源项目只是通过 Go 语言与传统项目进行C语言库绑定实现，例如 Qt、Sqlite 等。

后期的很多项目都使用 Go 语言进行重新原生实现，这个过程相对于其他语言要简单一些，这也促成了大量使用 Go 语言原生开发项目的出现。

深入理解golang

最近三年，在工作中使用go开发了不少服务。深感go的便捷，以及它的runtime的复杂。我觉得需要定期的进行总结，因此决定写这篇文章，也许更准确的，应该叫笔记。

最近终于解决了一个和cgo有关的问题。这个问题从发现到解决前后经历了接近4个月，当然，和人手不足也有关系。而对于我个人而言，这个问题其实历时2年！这得从头说起。

在上一家公司的一个项目里，有一个服务做音视频数据的提取，这个服务运行在嵌入式设备TX2上。音视频提取这一关键功能主要利用nvidia基于gstreamer开发的插件，这个插件可以发挥nvidia gpu的硬件解码功能。当时这个服务使用go和c混编的方式，问题的症状是服务运行一段时间后，不输出音视频数据。遗憾的是，由于疫情，项目停止，因此没有机会继续研究这个问题。

时间来到去年底。当前这个项目进行压力测试，发现关键的语音处理服务运行一段时间后，会出现不拉流的情况，因此也没有后续的结果输出。症状和上一个项目非常像。虽然使用的第三方SDK不一样，但同样用了go和c混编的方式。一开始，焦点就放在go的运行时上，觉得可能是go和c相互调用的方式不对。经过合理猜测，并用测试进行验证后，发现问题还是在第三方拉流的SDK上，它们的回调函数必须要快，否则有可能会阻塞它们的回调线程。当然，在go调用c的时候，如果耗时比较长，会对go的运行时造成一些副作用；在c回调go的时候，go的运行时也有可能阻塞c的回调线程。但go的运行时已经比较成熟，因此我觉得它对这个问题的贡献不大。以上采用了假设-验证的方法，主要的原因还是第三方的拉流SDK不开源。在定位问题的过程中，使用了gdb的gcore来生成堆栈；也搭建了灰度环境来进行压力测试，以及完善监控，这些都是解决方法的一部分。

正是这一问题，促使我更多的了解go的运行时。而我看得越多，越觉得go的运行时是一个庞大的怪物。因此，抱着能了解一点是一点的心态，不断的完善这篇笔记。