TorchScript神经网络集成技术

TorchScript神经网络集成技术

create_torchscript_neuropod

将TorchScript模型打包为neuropod包。

create_torchscript_neuropod(

neuropod_path,

model_name,

input_spec,

output_spec,

module = None,

module_path = None,

input_tensor_device = None,

default_input_tensor_device = GPU,

custom_ops = [],

package_as_zip = True,

test_input_data = None,

test_expected_out = None,

persist_test_data = True,

)

参数

neuropod_path

neuropod输出路径

model_name

model名称

input_spec

指定模型输入的dict列表。对于每个输入，如果shape设置为None，则不对该形状进行验证。如果shape是元组，则根据该元组验证输入的维度。任何维度的值为“无”表示将不检查该维度。数据类型可以是任何有效的numpy数据类型字符串。

Example:

[

{"name": "x", "dtype": "float32", "shape": (None,)},

{"name": "y", "dtype": "float32", "shape": (None,)},

]

output_spec

指定模型输出的dict列表。有关详细信息，请参阅input_spec参数的文档。

Example:

[

    {"name": "out", "dtype": "float32", "shape": (None,)},

]

module

default: None

PyTorch脚本模块的实例。此模型应将输出作为字典返回。如果未提供，则必须设置模块路径。

For example, a model may output something like this:

{

    "output1": value1,

    "output2": value2,

}

module_path

default: None

已使用导出的ScriptModule的路径torch.jit.save保存. 如果未提供，则必须设置模块。

input_tensor_device

default: None

dict将输入张量名称映射到模型希望它们在其上的设备。这可以是GPU或CPU。此映射中未指定的输入规格input_spec中的任何张量都将使用下面指定的默认输入张量设备default_input_tensor_device。             

如果在推断时选择了GPU，则在运行模型之前，神经网络集成软件会将张量移动到适当的设备。否则，它将尝试在CPU上运行模型，并将所有张量（和模型）移到CPU上。             

有关更多信息，请参阅load_neuropod的文档字符串。

Example:

{"x": "GPU

default_input_tensor_device

default: GPU

输入张量的默认设备应该打开。这可以是GPU或CPU。

custom_ops

default: []

要包含在打包的neuropod中的自定义op共享库的路径列表。

注意：包括定制操作将您的neuropod绑定到定制操作为之构建的特定平台（如Mac、Linux）。用户有责任确保为正确的平台构建自定义操作。

Example:

["/path/to/my/custom_op.so"]

package_as_zip

default: True

是将neuropod打包为一个文件还是一个目录。

test_input_data

default: None

可选样本输入数据。这是一个将输入名称映射到值的dict。如果提供了这一点，则在包装后立即在隔离环境中运行推断，以确保成功创建了神经网络集成软件。如果提供了预期的测试test_expected_out，则必须提供。

如果推断失败，则引发ValueError。

Example:

{

    "x": np.arange(5),

    "y": np.arange(5),

}

test_expected_out

default: None

可选的预期输出。如果模型推断的输出与预期的输出不匹配，则引发ValueError。

Example:

{

    "out": np.arange(5) + np.arange(5)

}

persist_test_data

default: True

可选地将测试数据保存在包装好的神经网络集成软件内。