ASP.NET Core – Data Protection & Azure Storage + Azure Key Vault

dotnet new console -o DataProtectionConsole

dotnet add package Microsoft.Extensions.DependencyInjection

dotnet add package Microsoft.AspNetCore.DataProtection

program.cs

setup service provider

var serviceCollection = new ServiceCollection();

serviceCollection.AddDataProtection();

var serviceProvider = serviceCollection.BuildServiceProvider();

get service and create protector

var dataProtectionProvider = serviceProvider.GetRequiredService<IDataProtectionProvider>();

var dataProtector = dataProtectionProvider.CreateProtector(purpose: "Protect something");

purpose 类似一种分组管理方式. 不同的 purpose 互相是不能加密解密的哦

加密

var value = "something";

var protectedValue = dataProtector.Protect(value);

Console.WriteLine(protectedValue); // CfDJ8NB2rn7O5ZZMspmM-QDkaxhMqnhj--a6CHu-cb1griw4wTEKx_OtQIOF96avvIBJP2zG1ItO-4HTE1-bokCsxvLxRJbmk-E_Pwevlcc0LiWOw96dLfDOSQVnOmecc4DWHQ

加密的时候, 不需要提供任何 Key 或密码, 因为 Data Protection 已经封装了 Key 的管理. (下面会详细讲解)

注: 每一次 protect 出来的乱码都是不一样的哦, 即使内容完全一样, 出来的乱发也不同, 但是最终都可以 unprotect 回去.

解密

var unProtectedValue = dataProtector.Unprotect(protectedValue);

Console.WriteLine(unProtectedValue); // something

Where Is the Key?

对称加密的 Key 在哪里呢? Windows 下的路径是

C:\Users\your-username\AppData\Local\ASP.NET\DataProtection-Keys\key-guid-id.xml

key-guid-id.xml 内容

<?xml version="1.0" encoding="utf-8"?>

<key id="7eae76d0-e5ce-4c96-b299-8cf900e46b18" version="1">

  <creationDate>2023-03-08T09:12:40.0799225Z</creationDate>

  <activationDate>2023-03-10T06:31:16.4098058Z</activationDate>

  <expirationDate>2023-06-06T09:12:39.8251348Z</expirationDate>

  <descriptor deserializerType="Microsoft.AspNetCore.DataProtection.AuthenticatedEncryption.ConfigurationModel.AuthenticatedEncryptorDescriptorDeserializer, Microsoft.AspNetCore.DataProtection, Version=7.0.0.0, Culture=neutral, PublicKeyToken=adb9793829ddae60">

    <descriptor>

      <encryption algorithm="AES_256_CBC" />

      <validation algorithm="HMACSHA256" />

      <encryptedSecret decryptorType="Microsoft.AspNetCore.DataProtection.XmlEncryption.DpapiXmlDecryptor, Microsoft.AspNetCore.DataProtection, Version=7.0.0.0, Culture=neutral, PublicKeyToken=adb9793829ddae60" xmlns="http://schemas.asp.net/2015/03/dataProtection">

        <encryptedKey xmlns="">

          <!-- This key is encrypted with Windows DPAPI. -->

          <value>AQAAANCMnd8BFdERjHoAwE/Cl+sBAAAARY09aZD0aECmsN7kb/ruLwAAAAACAAAAAAAQZgAAAAEAACAAAAAiAQnencq6XArJWM5MY+Ntm6LvsdDyMFV0FZe5Luf5ygAAAAAOgAAAAAIAACAAAAAoJ/CtKpmbBh7ppGI1X/FeQQxfTkDSWIJPsvGWkBeMnlABAABeFPs03di3J20sBT45vWk2duy7INBH293oOIlDQoURB6xnHDZtS4lIHZWxWNRi/ZLO0vFUXo/4Qwr7VPY3GHRpHyyd25CCzVul68G0o1kqJ1S4M2KMep07yq2Zv07e64JVi6BaXGIsr2arypw2fhaRCAMyLtZsuytihuXkEWtlF4Us6A3/o9C5x6NYApR+NUO9UvHRB5BptkRxlaPggrvRtadrtGl3ewD7RfQyqGP6H23TT/aCbyZudOb+V9aYg0K+G0ujaU8+ntMFpxFNCp6qmXnvbpjwDZCbLc5w3wiHO5BdBK/O8JvPSvzqxwj4GHPWdTSCupKs6lZR7CKgY09nPCqDW+xa2hBSHzPFv1y5yKFaLsKoydYtvWW38+mCsY5bkV7JNfdzN7IRe277C4Gsjmewj6pqVeSqQEgL9pGUxNSyLY/C5nE0W9KPbjpOowZAAAAAZBBvj0lXrenuKM588c9mMMqgU2uCSgeOKscy092nQYKSqj8APXlrW62r4OTbiriukFOp4abCw2ik3L7pWwjpKQ==</value>

        </encryptedKey>

      </encryptedSecret>

    </descriptor>

  </descriptor>

</key>

1. 它有 expiration date, 过期后 Data Protection 会创建一个新的 xml file. (默认时效是 90 days, 可以调, 最低是 7 days)

serviceCollection.AddDataProtection().SetDefaultKeyLifetime(TimeSpan.FromDays(7));

2.

在 Windows 下, Key 默认会使用 Windows DPAPI 进行加密.

自定义 xml 存放路径和加密 Key 的方式

自定义 xml 存放路径

serviceCollection.AddDataProtection()

    .PersistKeysToFileSystem(new DirectoryInfo(AppContext.BaseDirectory + @"..\..\..\DataProtection-Keys"));

通过 PersistKeysToFileSystem 可以指定 xml 存放的位置.

注: 一旦设置了 PersistKeysToFileSystem, Key 就不自动加密了.

我们可以设置 ProtectKeysWithDpapi 让它用回 default 的 Windows Dpapi 来加密 Key

serviceCollection.AddDataProtection()

    .PersistKeysToFileSystem(new DirectoryInfo(AppContext.BaseDirectory + @"..\..\..\DataProtection-Keys"))

    .ProtectKeysWithDpapi();

自定义加密 Key 方式

除了用 Windows Dpapi, 也可以用 certificate .pfx 来加密.

var rootPath = $@"{AppContext.BaseDirectory}..\..\..\";

var certificatePath = rootPath + "certificate.pfx";

if (!System.IO.File.Exists(certificatePath))

{

    // create certificate

    using var algorithm = RSA.Create(keySizeInBits: 2048);

    var subject = new X500DistinguishedName($"CN=DataProtectionKey");

    var request = new CertificateRequest(subject, algorithm, HashAlgorithmName.SHA256, RSASignaturePadding.Pss);

    var newCertificate = request.CreateSelfSigned(

        notBefore: DateTimeOffset.UtcNow,

        notAfter: DateTimeOffset.UtcNow.AddYears(2)

    );

    var pfxBytes = newCertificate.Export(X509ContentType.Pfx, "my password");

    File.WriteAllBytes(certificatePath, pfxBytes);

}

var rowData = File.ReadAllBytes(certificatePath);

var certificate = new X509Certificate2(rowData, "my password");

var serviceCollection = new ServiceCollection();

serviceCollection.AddDataProtection()

    .PersistKeysToFileSystem(new DirectoryInfo(AppContext.BaseDirectory + @"..\..\..\DataProtection-Keys"))

    .ProtectKeysWithCertificate(certificate);

Key Rotation

密码要定期换才安全.

serviceCollection.AddDataProtection()

    .PersistKeysToFileSystem(new DirectoryInfo(AppContext.BaseDirectory + @"..\..\..\DataProtection-Keys"))

    .ProtectKeysWithCertificate(certificate)

    .UnprotectKeysWithAnyCertificate(certificate1, certificate2);

通过 UnprotectKeysWithAnyCertificate 可以插入过期的 Key, 这些用于 unprotect 以前加密的 protected value. 而 ProtectKeysWithCertificate 则负责加密解密最新的 protected value.

保存 xml 到 Azure Storage

既然我们可以自定义存放路径, 那在 Production 时就应该进来将程序和密码分开保存.

Azure Storage 是一个不错的选择.

创建 Storage Account

az storage account create --name "stgdataprotection" --resource-group "Stooges" --location "Southeast Asia" --sku "Standard_GRS" --kind "StorageV2"

get storage account connection string

az storage account show-connection-string --name "stgdataprotection" --resource-group "Stooges"

connection string 很长, 权限很大, 属于 secret level 不要外泄哦.

创建 container

az storage container create --name "security" --connection-string "your connection string"

create blob and upload key.xml

az storage blob upload --file "C:\keatkeat\my-projects\asp.net core\7.0\DataProtection\DataProtectionConsole\key.xml" --container-name "security" --name "data-protection\key.xml" --connection-string "your connection string"

这个 key.xml 是一个框来的. 和本地不同, 往后每一次新的 Key, Data Protection 不会自动创建新的 xml, 而是不断的往这个 key.xml 里面添加新的 Key

key.xml 长这样.

<?xml version="1.0" encoding="utf-8"?>

<repository></repository>

后来长这样

<?xml version="1.0" encoding="utf-8"?>

<repository>

  <key id="xxx">...</key>

  <key id="yyy">...</key>

  <key id="zzz">...</key>

</repository>

Connect Data Protection to Azure Storage

add package

Azure.Extensions.AspNetCore.DataProtection.Blobs

program.cs

serviceCollection.AddDataProtection()

    .PersistKeysToAzureBlobStorage(

        connectionString: "your connection string",

        containerName: "security",

        blobName: "data-protection/key.xml"

    )

    .ProtectKeysWithDpapi();

提醒: connection string 是敏感信息. 记得使用 Users Secret 来管理.

使用 Azure Key Vault Key 作为 Data Protection 加密的 Key

用来加密 Data Protection Key 的 certificate 也是敏感信息, 虽然放在 store 里面已经有一定的安全了, 但是我们也可以选择使用 Azure Key Vault 服务来管理 Key.

创建 Key Vault

az keyvault create --name "StgDataProtection-KV" --resource-group "Stooges" --location "Southeast Asia"

如果有做 Secret 了也可以公用, 不需要做 2 个哦.

创建 Key

az keyvault key create --name "DataProtectionKey" --vault-name "StgDataProtection-KV" --kty RSA

让 VM 有权限访问 Key

az keyvault set-policy --name "StgDataProtection-KV" --object-id "your vm object id" --key-permissions all

为了方便我直接 allow 所有 permission, 具体 Data Protection 需要用到多少我也不清楚, az keyvault set-policy --help 可以查看所有 permission

add package

dotnet add package Azure.Extensions.AspNetCore.DataProtection.Keys

dotnet add package Azure.Identity

program.cs

serviceCollection.AddDataProtection()

    .PersistKeysToAzureBlobStorage(

        connectionString: "connection string",

        containerName: "security",

        blobName: "data-protection/key.xml"

    )

    .ProtectKeysWithAzureKeyVault(

        new Uri("https://stgdataprotection-kv.vault.azure.net/keys/DataProtectionKey/411111aaf3174ec4b5ac4111afd9add8"),

        new DefaultAzureCredential()

    );

通过 CLI 可以获取到 Key 的 URI

az keyvault key show --name "DataProtectionKey" --vault-name "StgDataProtection-KV" --query 'key.kid' -o tsv

另外, 非 Azure VM 也是可以用 Client App 的方式访问 Key, 上一篇教过了, 这篇就不再给例子了.

Key Rotation

Azure Key 支持 ratation. ProtectKeysWithAzureKeyVault 内部会替我们处理好 UnprotectKeysWithAnyCertificate, 我们直接开启 rotation 就可以了.

rotation.json

{

  "lifetimeActions": [

    {

      "action": "Rotate",

      "timeAfterCreate": "P7D",

      "timeBeforeExpiry": null

    }

  ]

}

Azure CLI

az keyvault key rotation-policy update --vault-name "StgDataProtection-KV" --name "DataProtectionKey" --value "C:\Users\keatk\Desktop\rotation.json"

注: --value 可以放 .json 路径也可以直接放 json value. 如果放路劲的话, 确保一定不要有空格, 不然它会以为你放的是 value, 那就解析错误了.

查看

az keyvault key rotation-policy show --vault-name "StgDataProtection-KV" --name "DataProtectionKey"

set expiryTime

by default Key 是永远都可以用的, 如果你希望让它有过期的概念可以这样 set

{

  "lifetimeActions": [

    {

      "action": "Rotate",

      "timeAfterCreate": "P7D",

      "timeBeforeExpiry": null

    },

    {

      "action": "Notify",

      "timeAfterCreate": null,

      "timeBeforeExpiry": "P30D"

    }

  ],

  "attributes": {

    "expiryTime": "P2Y"

  }

}

注意哦, 一旦过期了就表示无法解密之前加密的 value 了哦. 通常是不需要让它过期的. 因为我们做了 rotation 已经很安全了.

Key 和 Key 傻傻分不清

Data Protection 的 Key (简称 DP Key) 是用来对数据做对称加密的. 这个 DP Key 要定期换, 有 rotation 概念, Data Protection 会负责.

DP Key 本身也需要被加密, 通常使用非对称加密. 所有又需要一个 certificate. 而这个 certificate 也需要有 rotation 概念, 只要是密码都需要定期换才安全.

我们可以用 Azure Key Vault 的 Key (简称 AZ Key) 作为这个 certification.

所以 AZ Key 用非对称加密来加密 DP Key, 而 DP Key 用对称加密来加密 value.

它们两个 Key 都有 rotation 概念.

Azure Key Vault 小迷糊, 解答

参考: Azure Key Vault keys, secrets and certificates overview

Azure Key Vault 有 3 个主要 services. 分别是

保存 Secret, 保存 Key, 保存 Certification

Secret 通常用于保存各做小密码

Key 通常用于保存非对称加密/签名的 Key

Certificate 在 Key 的基础上做了一些自动 renew 的功能, 本质上和 Key 的用途是一样的.

Azure VM connect to Key Vault 是不需要任何密码在本机上的 (它 build-in 了 connect 的方式, 所以这个方案可以算是最安全的)

非 Azure VM connect to Key Vault 则需要先 connect to Client App, 而 connect Client App 最少需要一个 certificate 在本机 store 里. 所以比起 Azure VM 多了一点点点的隐患.

程序其余要地方, 要用到小密码, Key, Certificate 的时候, 统统使用 Key Vault 就对了.

具体例子

Secret 看这篇 ASP.NET Core – User Secrets & Azure Key Vault

Key 看本篇 ASP.NET Core – Data Protection & Azure Storage + Azure Key Vault

Certificate 看这篇 Azure – Key Vault Certificate