C#码农的大数据之路 - 使用Azure Management API创建HDInsight集群

Azure平台提供了几乎全线产品的API，可以使用第三方工具来进行管理。对于.NET更是提供封装好了的库方便使用C#等语言实现Azure的管理。

我们使用创建HDInsight集群为例来介绍使用C#管理Azure。

由于HDInsight是按照集群存在的小时收费，所以对于集群的使用都是使用时创建，使用完成立马删除。删除比较好说，Azure Portal点一下按钮并确认就可以了。而创建就需要我们一步步的进行选择。如果我们需要定制集群的属性较多，一步步的选择不但麻烦还容易出错。而使用Azure Management API以自动化的方式创建集群就非常必要。

首先我们通过Azure Portal中向导的方式创建集群，但是在最后一步创建前保存一个模板，这样才可以通过代码使用保存的模板快速创建集群。如图：

下载后得到一个名为template.zip的压缩包。里面有PowerShell、Shell、Ruby以及C#四种语言进行集群创建的示例脚本。这里我们关心的就是C#示例所在的DeploymentHelper.cs。而另外两个json文件，即是记录了我们在向导中选择的集群各种参数的模板文件。

在VS中创建一个.NET Console App，命名为NetCreateCluster，然后将DeploymentHelper.cs导入项目，然后将两个json模板文件也导入项目中并且设置“复制”选项为“如果较新则复制”。

代码在这里下载

两个模板中，template.json不需要进行任何修改（其中的内容就是Portal中向导一步步所选择的配置，如果不满意可以自行修改，或者使用向导生成新的模板文件），而parameters.json中的clusterLoginPassword和sshPassword两个项的value需要被替换为我们自己的密码，如图位置：

创建集群时名字尽量固定，这样方便ssh连接等一系列操作。

DeploymentHelper.cs中我们需要修改的地方集中在其成员变量：

string subscriptionId = "your-subscription-id";
string clientId = "your-service-principal-clientId";
string clientSecret = "your-service-principal-client-secret";
string resourceGroupName = "resource-group-name";
string deploymentName = "deployment-name";
string resourceGroupLocation = "resource-group-location"; // must be specified for creating a new resource group
string pathToTemplateFile = "path-to-template.json-on-disk";
string pathToParameterFile = "path-to-parameters.json-on-disk";
string tenantId = "tenant-id";

这其中pathToTemplateFile和pathToParameterFile分别指向上面提到的两个json文件的路径。在上面的配置中，它们和应用程序在同一个目录中，所以直接写文件名即可。

而SubscriptionId，TentId等，可以通过之前介绍的Azure PowerShell命令Login-AzureRmAccount快速获取。可以见此文。

deploymentName这个字段可以随便设置，只作为部署的一个标识，而不会影响集群本身的属性。

resourceGroupName是资源组的名称，这个在Portal中一眼就可以看到。如图：

如果要新建资源组这个属性可以添加新资源组的名称，但是这时候就需要指定resourceGroupLocation的名称。（在使用现有资源组的情况下，resourceGroupLocation的可以省略不写）。

所有属性里最麻烦的是clientId和clientSecret。这对值要以如下方式新建（官方文档见此，注意，官方文档中分配的是读者权限，而我们创建集群需要至少参与者权限）：

点击左侧菜单中的Azure Active Directory按钮进入Azure Active Directory配置界面：

选择应用注册子菜单，在弹出窗口中点击新应用程序注册按钮。

在新建注册窗口中输入一些基本信息：

注册完成后，记下应用程序ID，这将作为clientId。

然后点击所有设置，弹出窗口中，选择密钥，然后添加一个密钥。

注意，这里输入的密钥值（我们自行使用密钥生成工具生成一个）还不是clientSecret。

保存这个密钥后将弹出一个确认框。记下其中的密钥值，其将作为clientSecret。

注意，这个密钥仅在这个窗口显示一次，无法再次查询，如果遗忘了这个密钥，只能再来这里创建新的密钥。

注册完新的应用后，还需要给其分配权限。

在Portal左侧菜单中找到图标为钥匙的订阅菜单。进入订阅管理窗口。

点击我们当前的订阅，弹出的子菜单中选择“访问控制（标识和访问管理）”，在弹出的窗口中点击添加。

弹出窗口中首先选择角色。

注意：角色至少选择“参与者”，“读者”是没有创建集群的权限。

然后添加用户中，选择刚才注册的应用程序。(默认列表中是没有，输入注册的应用程序名称会进行查找，并显示列表)

完成后点击保存，当看到下图中出现注册的应用程序说明权限已分配好。这样就可以使用之前保存的clientId和clientSecret来创建集群了。

上面这些窗口和菜单的名称经常在变动（我们都知道微软有个神奇的改名部门），请根据最新版本灵活的调整。

设置好DeploymentHelper.cs中的字段后，将Main函数实现为如下即可测试使用C#进行HDInsight集群的部署：

static void Main(string[] args)
{
    var helper = new DeploymentHelper();
    helper.Run();

    Console.ReadLine();//防止退出
}

代码准备完毕，运行上面的代码需要还需要安装如下几个NuGet包：

• Microsoft.Azure.Management.Authorization

• Microsoft.Azure.Management.ResourceManager //需要选中包括预发行版

• Microsoft.Rest.ClientRuntime.Azure.Authentication

这样就可以运行程序来创建HDInsight集群了。

等待10来分钟，会看到集群创建成功的提示。

创建HDInsight集群的方法就是这样了。按照同样的方法可以通过API对Azure进行其它管理。