2018-12-26 21:56:23

编译和移植tensorflow的C/C++源码时,用到bazel这一构建工具。本篇blog记录遇到的安装、配置问题。

吐槽

  1. 构建工具,从make/ant/cmake/gradle一路用下来,各有优劣,只能说用的越熟练越容易上手

  2. 编译安装bazel时用到java。为啥不全用C++写?

  3. bazel命名是有补全的,但是ubuntu + zsh + oh-my-zsh + apt的组合下,bazel的补全需要自行安装

  4. 为什么编译tensorflow而不是pip install tensorflow-gpu?这也许就是framework dev和普通训模师的区别吧。

安装bazel

方法1:手动从github下载预编译bazel二进制包

从这里下载预编译好的二进制:https://github.com/bazelbuild/bazel/releases

我这里下载bazel 0.19,因为tf r1.13版不支持bazel 0.18(但是tf master分支的一些文件的commit message里又说了这个bug,tf和bazel的组合看起来有点脑残)

然后chmod +x , 以及放到PATH中的某个路径下。需要的话设置个软链接。

实际测试发现,这种方法装的0.19版本bazel,编译tf r1.13时,出现一些错误:比如TMP目录不存在、cpu被设定为了k8s,导致没进入编译。

方法2:添加google的bazel源然后apt安装bazel

来吧,从官方文章抄一段,反正确实管用:

Step 1: Install the JDK
Install JDK 8: sudo apt-get install openjdk-8-jdk
On Ubuntu 14.04 LTS you must use a PPA: sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update && sudo apt-get install oracle-java8-installer
Step 2: Add Bazel distribution URI as a package source
Note: This is a one-time setup step. echo "deb [arch=amd64] http://storage.googleapis.com/bazel-apt stable jdk1.8" | sudo tee /etc/apt/sources.list.d/bazel.list
curl https://bazel.build/bazel-release.pub.gpg | sudo apt-key add -
If you want to install the testing version of Bazel, replace stable with testing. Step 3: Install and update Bazel
sudo apt-get update && sudo apt-get install bazel
Once installed, you can upgrade to a newer version of Bazel with the following command: sudo apt-get install --only-upgrade bazel

这种方法是在家里面的1080Ti机器上配置的,测试后发现可以运行。不知道是不是因为半年前编译过一次tf有关。

查看bazel版本

bazel version

配置bazel自动补全

如果是Mac OSX上的zsh+oh-my-zsh+brew的组合,默认就可以bazel补全。

如果是ubuntu上的zsh+oh-my-zsh+apt的组合,需要手动添加_bazel文件:

mkdir -p ~/.zsh/completion/
vim ~/.zsh/completion/_bazel

其中_bazel文件从github网页上复制下来贴到文件中即可:https://github.com/bazelbuild/bazel/blob/master/scripts/zsh_completion/_bazel

然后配置~/.zshrc,追加内容为:

fpath[1,0]=~/.zsh/completion/
compinit

现在执行source ~/.zshrc,或重新登录shell,bazel相关的命令就有补全了。

注意:bazel的tab提示,不提示(仍然需要手动输入)冒号:。比如整个工程根本没有子目录的情况,输入bazel build后输入tab,半天没有反应,此时手动应该输入":",否则直接执行的话所有target都被忽略的。(说的就是你,abseil的hello-world程序。。)

bazel基本命令

#查看bazel版本
bazel version #执行构建
bazel build #构建清除
bazel clean

mac上第一次使用bazel就报错

报错提示说Xcode SDK版本啥的有问题,需要这么搞一下:

bazel clean --expunge
sudo xcode-select -s /Applications/Xcode.app/Contents/Developer
sudo xcodebuild -license
bazel clean --expunge

bazel官方cpp对应的构建教程过一遍

地址: https://docs.bazel.build/versions/master/tutorial/cpp.html

下载代码:

mkdir -p  ~/work/bazel_examples
cd $_
git clone https://github.com/bazelbuild/examples .

就像tensorflow喜欢造很多新概念一样,bazel也造新概念。

WORKSPACE

存放名为WORKSPACE的文件的目录,是整个工程的根目录。换言之,整个工程的根目录由WORKSPACE来标识。整个工程的根目录也被叫做workspace。

WORKSPACE文件为空即可

BUILD

在workspace下,考虑每一个子目录:如果存放了名为BUILD的文件,那么这个目录就是一个package,意思是一个包。

BUILD文件内容:它的内容包括你设定的编译target,比如cc_binary表示一个可执行,cc_library表示一个库;每个target里又包括name等字段:

cc_library(
name = "hello-greet",
srcs = ["hello-greet.cc"],
hdrs = ["hello-greet.h"],
) cc_binary(
name = "hello-world",
srcs = ["hello-world.cc"],
deps = [
":hello-greet",
],
)

执行bazel构建

在工程根目录,也就是包含WORKSPACE文件的那个目录,执行:

bazel build  //main:hello-library

表示让bazel去构建main这个package下的hello-library这一target。

随后,会在当前_workspace_下,生成bazel-bin bazel-genfiles bazel-out bazel-stage2 bazel-testlogs这几个文件。它们是~/.cache/bazel/_bazel_XXX下的目录的软链接。

编译tensorflow

平台:ubuntu16.04, NVidia 1080Ti, cuda9.0, cudnn7, gcc5-4, i7 CPU。

步骤:

./configure  #根据情况,每一交互问题做回答,或选择no

bazel shutdown # 可选,因为直接bazel build提示让我stop server,所以执行了这一步
bazel build tensorflow:all # 执行构建,让机器怒吼吧!

结果:

Target //tensorflow/tools/pip_package:build_pip_package up-to-date:

bazel-bin/tensorflow/tools/pip_package/build_pip_package

INFO: Elapsed time: 7998.615s, Critical Path: 381.92s

INFO: 15139 processes: 15139 local.

INFO: Build completed successfully, 18985 total actions

一共花了2个多小时。。太慢了。

未完待续

安装和配置bazel的更多相关文章

  1. JDK安装与配置

    JDK安装与配置 一.下载 JDK是ORACLE提供免费下载使用的,官网地址:https://www.oracle.com/index.html 一般选择Java SE版本即可,企业版的选择Java ...

  2. Node.js 教程 01 - 简介、安装及配置

    系列目录: Node.js 教程 01 - 简介.安装及配置 Node.js 教程 02 - 经典的Hello World Node.js 教程 03 - 创建HTTP服务器 Node.js 教程 0 ...

  3. 烂泥:redis3.2.3安装与配置

    本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 前一段时间写过一篇codis集群的文章,写那篇文章主要是因为当时的项目不支持redis自 ...

  4. mysql源码包手动安装、配置以及测试(亲测可行)

    笔记编者:小波/qq463431476博客首页:http://www.cnblogs.com/xiaobo-Linux/ 记下这篇mysql笔记,望日后有用! redhat6采用centos yum源 ...

  5. 环境搭建系列-系统安装之centos 6.5安装与配置

    按照国际惯例,系列目录先奉上: 系列一:系统安装之centos 6.5安装与配置 系列二:准备工作之Java环境安装 系列三:数据为先之MySQL读写集群搭建 系列四:谈分布式之RabbitMQ集群搭 ...

  6. ZooKeeper安装与配置

    一. 单机安装.配置: 1. 下载zookeeper二进制安装包下载地址:http://apache.dataguru.cn/zookeeper/zookeeper-3.4.3/zookeeper-3 ...

  7. mac 下JDK 与 tomcat 的安装与配置

    一.Mac下JDK的安装 1.先检测Mac是否已经安装过JDK,在终端中输入java 或者 javac 显示说明,表明已经安装过JDK,JDK版本查询终端键入java -version,终端会返回JD ...

  8. 烂泥:zabbix3.0安装与配置

    本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 这个月又快过完了,最近也比较忙,没时间写文章,今天挤点时间把zabbix3.0安装与配置 ...

  9. Jenkins入门系列之——02第二章 Jenkins安装与配置

    2014-12-08:已不再担任SCM和CI的职位,Jenkins的文章如无必要不会再维护. 写的我想吐血,累死了. 网页看着不爽的,自己去下载PDF.有问题请留言! Jenkins入门系列之——03 ...

随机推荐

  1. windows下安装MySql + navicat(图形化界面)

    MySQL安装过程参考:https://www.cnblogs.com/ayyl/p/5978418.html navicat图形化界面安装过程参考:https://www.cnblogs.com/l ...

  2. ping 丢包或不通时链路测试说明【转】

    转自:https://help.aliyun.com/knowledge_detail/40573.html?spm=5176.2020520165.121.d157.4fe170291Qdp4l#W ...

  3. SHA1算法原理【转】

    转自:https://www.cnblogs.com/scu-cjx/p/6878853.html 一.SHA1与MD5差异 SHA1对任意长度明文的预处理和MD5的过程是一样的,即预处理完后的明文长 ...

  4. CGI,FastCGI,PHP-CGI与PHP-FPM区别详解【转】

    CGI CGI全称是“公共网关接口”(Common Gateway Interface),HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具,其程序须运行在网络服务器上. CGI可以用任何一 ...

  5. Windows PowerShell 入門(4)-変数と演算子

    Windows PowerShellにおける変数と演算子の使用方法について学びます.今回は代表的な演算子として.算術演算子.代入演算子.論理演算子.比較演算子.範囲演算子.置換演算子.ビット演算子.型 ...

  6. 使用jsencrypt(rsa加密方式)给js加密防被刷

    加密步骤 1.需要加密的参数 * * ).toISOString().replace(/T/g, }Z/, ''); //使用本地时间,然后转换格式 2.js中引用jsencrypt.js文件,然后实 ...

  7. addEventListener() 方法,事件监听

    知识点1:addEventListener() 方法,事件监听,可以使用 removeEventListener() 方法来移除事件的监听. 语法 element.addEventListener(e ...

  8. nginx Access-Control-Allow-Origin css跨域

    问题原因:nginx 服务器 css 字体跨域 以及img相对路径 问题 描述:用nginx做页面静态化时遇到了两个问题 1.我有两个静态资源服务器 static.xxx.com  和 item.xx ...

  9. 题解-UOJ284 快乐游戏鸡

    Problem uoj 题意大意: 一棵树,点权\(w_i\),每次玩家可以在树上行走,一条边需要\(1\)的时间,只能往儿子走.每次游戏需要从\(s\)到\(t\). 玩家有一个总死亡次数,初始为\ ...

  10. Multisim 经典学习教程Step by Step

    Tracy Shields编著 ftp://ftp.ni.com/pub/branches/china/Practical%20teaching%20Ideas%20for%20Multisim%20 ...