Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行　　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

　　在我的CDH5.15.1集群中，默认安装的spark是1.6版本，开发的同事跟我抱怨，说之前的大数据平台（在ucloud上，属于云服务）用的就是spark1.6，好多java的API都用不了，有很多高级的功能没法在1.6版本上使用，因此被迫需要升级spark版本，他们要求升级到2.3.0或以上版本，经查阅相关资料，才总结了我部署spark2.3.0的部署笔记。当然你可以参考官网：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html。
　　如果你使用CDH部署kafka的话，相信升级spark版本这个事情对你来说就是小菜一碟了，因为他们基本上是一个套路。如果你使用时CDH免费版本的话，我并不推荐你使用CDH集成kafka。因为里面有一些和奇葩的坑在等着你。
 
 
一.下载spark2.3的CSD的jar包
　　和CDH集成kafka的套路一样，我们在安装spark版本的时候也需要下载相应的csd的jar包。下载地址：http://archive.cloudera.com/spark2/csd/
1>.选择csd版本
2>.安装下载的软件包（wget）
[root@node101 ～]# yum -y install wget

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

10gen                                                                                                                                                                                       | 2.5 kB  ::

base                                                                                                                                                                                        | 3.6 kB  ::

centosplus                                                                                                                                                                                  | 3.4 kB  ::

epel                                                                                                                                                                                        | 3.2 kB  ::

extras                                                                                                                                                                                      | 3.4 kB  ::

mysql-connectors-community                                                                                                                                                                  | 2.5 kB  ::

mysql-tools-community                                                                                                                                                                       | 2.5 kB  ::

mysql56-community                                                                                                                                                                           | 2.5 kB  ::

updates                                                                                                                                                                                     | 3.4 kB  ::

(/): epel/x86_64/updateinfo                                                                                                                                                               |  kB  ::

(/): epel/x86_64/primary                                                                                                                                                                  | 3.6 MB  ::

(/): updates//x86_64/primary_db                                                                                                                                                          | 6.0 MB  ::

epel                                                                                                                                                                                                   /

Resolving Dependencies

--> Running transaction check

---> Package wget.x86_64 :1.14-.el7_4. will be installed

--> Finished Dependency Resolution

Dependencies Resolved

===================================================================================================================================================================================================================

 Package                                        Arch                                             Version                                                      Repository                                      Size

===================================================================================================================================================================================================================

Installing:

 wget                                           x86_64                                           1.14-.el7_4.                                              base                                            k

Transaction Summary

===================================================================================================================================================================================================================

Install   Package

Total download size:  k

Installed size: 2.0 M

Downloading packages:

wget-1.14-.el7_4..x86_64.rpm                                                                                                                                                             |  kB  ::

Running transaction check

Running transaction test

Transaction test succeeded

Running transaction

  Installing : wget-1.14-.el7_4..x86_64                                                                                                                                                                     /

  Verifying  : wget-1.14-.el7_4..x86_64                                                                                                                                                                     / 

Installed:

  wget.x86_64 :1.14-.el7_4.                                                                                                                                                                                    

Complete!

[root@node101 ～]#

[root@node101 ～]# yum -y install wget

3>.下载csd的jar包
[root@node101 ~]# mkdir /opt/cloudera/csd && cd /opt/cloudera/csd

[root@node101 csd]#

[root@node101 csd]# wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera4.jar

---- ::--  http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.3.0.cloudera4.jar

Connecting to 10.9.137.250:... connected.

Proxy request sent, awaiting response...  OK

Length:  (19K) [application/java-archive]

Saving to: ‘SPARK2_ON_YARN-2.3..cloudera4.jar’

%[=========================================================================================================================================================================>] ,      --.-K/s   in .002s  

-- :: (10.4 MB/s) - ‘SPARK2_ON_YARN-2.3..cloudera4.jar’ saved [/]

[root@node101 csd]#

[root@node101 csd]# ll

total

-rw-r--r--.  root root  Oct   : SPARK2_ON_YARN-2.3..cloudera4.jar

[root@node101 csd]#
4>.更改权限,让其属于cloudera-scm用户
[root@node101 csd]# ll

total

-rw-r--r--.  root root  Oct   : SPARK2_ON_YARN-2.3..cloudera4.jar

[root@node101 csd]#

[root@node101 csd]#

[root@node101 csd]# id cloudera-scm

uid=(cloudera-scm) gid=(cloudera-scm) groups=(cloudera-scm)

[root@node101 csd]#

[root@node101 csd]#

[root@node101 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3..cloudera4.jar

[root@node101 csd]#

[root@node101 csd]# ll

total

-rw-r--r--.  cloudera-scm cloudera-scm  Oct   : SPARK2_ON_YARN-2.3..cloudera4.jar

[root@node101 csd]#

 

二.下载spark2.3的parcel安装包
　　和CDH集成kafka的套路一样，我们在安装spark版本的时候也需要下载相应的parcel的jar包。下载地址：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/
1>.选择spark的版本，它需要和上面的csd的版本对应上，当然也得和你的操作系统的版本对应上。
 
2>.进入下载目录，并将manifest.json文件进行备份操作
[root@node101 ~]# cd /opt/cloudera/parcel-repo/

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# mv manifest.json manifest.json.`date +%F`

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

[root@node101 parcel-repo]#
3>.下载spark2.3版本对应的安装包
[root@node101 ~]# hostname

node101.yinzhengjie.org.cn

[root@node101 ~]#

[root@node101 ~]# cd /opt/cloudera/parcel-repo/

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel

---- ::--  http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel

Connecting to 10.9.137.250:... connected.

Proxy request sent, awaiting response...  OK

Length:  (183M) [binary/octet-stream]

Saving to: ‘SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel’

%[=========================================================================================================================================================================>] ,,  255KB/s   in 22m 2s 

-- :: ( KB/s) - ‘SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel’ saved [/]

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

[root@node101 parcel-repo]#

下载spark2.3.0版本的parcel安装包（[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel）

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel.sha1

---- ::--  http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel.sha1

Connecting to 10.9.137.250:... connected.

Proxy request sent, awaiting response...  OK

Length:  [binary/octet-stream]

Saving to: ‘SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha1’

%[=========================================================================================================================================================================>]           --.-K/s   in 0s      

-- :: (3.01 MB/s) - ‘SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha1’ saved [/]

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

-rw-r--r--.  root root          Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha1

[root@node101 parcel-repo]#

下载spark2.3.0的parcel校验包（[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel.sha1）

[root@node101 parcel-repo]# hostname

node101.yinzhengjie.org.cn

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# pwd

/opt/cloudera/parcel-repo

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

-rw-r--r--.  root root          Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha1

[root@node101 parcel-repo]#

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# mv SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha1 SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

-rw-r--r--.  root root          Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha

[root@node101 parcel-repo]#

对下载的校验包进行重命名操作（[root@node101 parcel-repo]# mv SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel.sha1 SPARK2-2.3.0.cloudera4-1.cdh5.13.3.p0.611179-el7.parcel.sha）

[root@node101 parcel-repo]# hostname

node101.yinzhengjie.org.cn

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# pwd

/opt/cloudera/parcel-repo

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

-rw-r--r--.  root root          Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/manifest.json

---- ::--  http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/manifest.json

Connecting to 10.9.137.250:... connected.

Proxy request sent, awaiting response...  OK

Length:  (.6K) [application/json]

Saving to: ‘manifest.json’

%[=========================================================================================================================================================================>] ,       --.-K/s   in 0s      

-- :: ( MB/s) - ‘manifest.json’ saved [/]

[root@node101 parcel-repo]#

[root@node101 parcel-repo]# ll

total

-rwxr-xr-x.  root root  Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel

-rwxr-xr-x.  root root          Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.sha

-rw-r-----.  root root       Oct  : CDH-5.15.-.cdh5.15.1.p0.-el7.parcel.torrent

-rw-r--r--.  root root        Feb     manifest.json

-rwxr-xr-x.  root root       Oct  : manifest.json.--

-rw-r--r--.  root root   Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel

-rw-r--r--.  root root          Oct   : SPARK2-2.3..cloudera4-.cdh5.13.3.p0.-el7.parcel.sha

[root@node101 parcel-repo]#

下载manifest.json的安装包（[root@node101 parcel-repo]# wget http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/manifest.json）

4>.重启Cloudera manager的服务端（我是离线方式部署的CDH）

[root@node101 ~]# hostname

node101.yinzhengjie.org.cn

[root@node101 ~]#

[root@node101 ~]# cd /opt/cloudera-manager/cm-5.15./etc/init.d/

[root@node101 init.d]#

[root@node101 init.d]# ll

total

-rwxr-xr-x.     Jul  : cloudera-scm-agent

-rwxr-xr-x.     Jul  : cloudera-scm-server

-rwxr-xr-x.     Jul  : cloudera-scm-server-db

[root@node101 init.d]#

[root@node101 init.d]# ./cloudera-scm-server restart

Stopping cloudera-scm-server:                              [  OK  ]

Starting cloudera-scm-server:                              [  OK  ]

[root@node101 init.d]#
 
三.通过CDH部署spark2.3.0
1>.点击Parcel
2>.点击分配
3>.点击激活
4>.点击确定
5>.激活完成
6>.点击添加服务
7>.选择Spark2，并点击继续
 
8>.为spark2.3.0版本分配角色
9>.点击继续
10>.等待服务部署完成
11>.spark2.3.0服务添加成功
12>.在cloudera manager主界面查看spark2.3.0服务

 13>.在部署有gateway主机上运行spark2.3.0版本环境

 
四.部署spark可能会遇到的报错处理
1>.缺少YARN组建，spark有两种模式，一种时独立模式，一种时yarn模式，
　　部署spark时报错提示如下：
　　　　　　必须提供“YARN (MR2 Included)”类型的有效依赖服务才能创建“Spark 2”类型的新服务。

　　解决方案：

　　　　很简单，我们在部署spark和spark2时，如果选择的时on yarn模式的话，人家已经指名道姓的让你安装YARN服务，因此我们只需要把yarn服务安装好再来安装spark2.3.0版本即可。

2>. 执行内存小雨分配最大内存。

　　启动spark2时报错如下：

　　　　Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. 

　　解决方案：

　　　　按照上图的报错信息提示，执行的内存超过来你分配的最大内存，因此按照提示去yarn服务的配置文件修改最大容器内存（yarn.scheduler.maximum-allocation-mb）和容器内存（yarn.nodemanager.resource.memory-mb）的值即可。我的建议是不要把操作系统的所有内存都分配出去，需要给操作系统预留点内存，推荐遵循二八法则（20%的内存分配给操作系统，80%的内存分配给服务）。

 
 
 

Hadoop生态圈-通过CDH5.15.1部署spark1.6与spark2.3.0的版本兼容运行的更多相关文章

  1. Hadoop生态圈-Kafka的完全分布式部署

    Hadoop生态圈-Kafka的完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要内容就是搭建Kafka完全分布式,它是在kafka本地模式(https:/ ...

  2. Hadoop生态圈-Kafka的本地模式部署

    Hadoop生态圈-Kafka的本地模式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Kafka简介 1>.什么是JMS 答:在Java中有一个角消息系统的东西,我 ...

  3. 【Hadoop学习】CDH5.2安装部署

    [时间]2014年11月19日 [平台]Centos 6.5 [工具]scp [软件]jdk-7u67-linux-x64.rpm CDH5.2.0-hadoop2.5.0 [步骤] 1. 准备条件 ...

  4. nodejs部署智能合约的方法-web3 0.20版本

    参考:https://www.jianshu.com/p/7e541cd67be2 部署智能合约的方法有很多,比如使用truffle框架,使用remix-ide等,在这里的部署方法是使用nodejs一 ...

  5. 在vs2017 版本15.7.6中不支持2.1.0以上版本的net core sdk

    问题起因 :使用.net core 2.1sdk 电脑直接安装的2.1.1 没有安装2.1.0的sdk 在项目开发过程中报错:当前 . NET SDK 不支持将 .NET Core 2.1.1 设置为 ...

  6. cdh5.15集群添加spark2.3服务（parcels安装）

    背景: 机器系统:redhat7.3:已经配置了http服务 集群在安装的时候没有启动spark服务,因为cdh5.15自带的spark不是2.0,所以直接进行spark2.3的安装 参考文档:htt ...

  7. centos 7 cloudera-manager5.16.2,CDH5.16.2安装升级spark2.4.0

    1.在已经安装好系统的linux服务器上关闭selinux和iptables 2.在所有linux服务器上配置ntp服务并设置ntp时间同步 3.在所有linux服务器上安装好cm和cdh版本所需要对 ...

  8. Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1

    Hadoop生态圈-基于yum源的方式部署Cloudera Manager5.15.1 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我之前分享过关于离线方式部署Cloudera ...

  9. Hadoop生态圈-离线方式部署Cloudera Manager5.15.1

    Hadoop生态圈-离线方式部署Cloudera Manager5.15.1 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 到目前位置,Cloudera Manager和CDH最新 ...

随机推荐

  1. 07-java学习-方法重载-idea集成开发工具学习-项目-模块-包

    方法重载的概念? 方法重载的好处? 集成开发工具idea的学习 下载 安装 设置 建项目 导入项目 建模块 导入模块 建包 复制粘贴包 建类 复制粘贴类 运行 调试

  2. JProfiler的使用

    1.下载地址:http://www.ej-technologies.com/download/jprofiler/files 2.使用过程 1.点击此图的new Session 2.点击左边appli ...

  3. Aop事务小结（事务管理器和自身构建）

    声明市事务是利用AOP来实现的. 1.采用事务管理器AOP: <!--3.配置事务切面:控制住连接池 --> <bean id="transactionManager&qu ...

  4. iOS开发设计多个target

    创建target有两种方式, 1>.是通过新建target可以通过File-->New-->Target,然后选择其中一个模板来创建,app类型的target进行创建 2>.另 ...

  5. org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unexpected failure during bean definition parsing Offending resource: class path resource [applicationC

    这个错误是 org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration proble ...

  6. Consul vs. Zookeeper

    https://www.consul.io/intro/vs/zookeeper.html 阿里不用zookeeper而是用consul,京东也在用consul.

  7. jstack 使用一例

    31jstack -m -F 2340 >libra.log 2>&1 jstack -m -F 2340 >libra2.log 2&>1 jstack -m ...

  8. C#中byte[] 与string相互转化问题

    using System; using System.IO; using System.Security.Cryptography; namespace ShareX.UploadersLib.Oth ...

  9. 洛谷 P3657 [USACO17FEB]Why Did the Cow Cross the Road II P

    题面 大意:让你把两个n的排列做匹配,连线不想交,而且匹配的数字的差<=4,求最大匹配数 sol:(参考了kczno1的题解)对于第一个排列从左往右枚举,用树状数组维护到达另一个序列第i个数字的 ...

  10. BZOJ2178 圆的面积并（simpson积分）

    板子题.可以转一下坐标防止被卡.精度和常数实在难以平衡. #include<iostream> #include<cstdio> #include<cmath> # ...