Pytorch1.3源码解析-第一篇

pytorch$ tree -L 1
.
├── android
├── aten
├── benchmarks
├── binaries
├── c10
├── caffe2
├── CITATION
├── cmake
├── CMakeLists.txt
├── CODEOWNERS
├── CONTRIBUTING.md
├── docker
├── docs
├── ios
├── LICENSE
├── Makefile
├── modules
├── mypy-files.txt
├── mypy.ini
├── mypy-README.md
├── NOTICE
├── README.md
├── requirements.txt
├── scripts
├── setup.py
├── submodules
├── test
├── third_party
├── tools
├── torch
├── ubsan.supp
└── version.txt

17 directories, 15 files

解读如下：

.

├── android

├── aten(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)

├── benchmarks (PyTorch Benchmarks)

├── binaries (用于移动端基准测试，在PEP中运行pytorch移动基准测试，Run pytorch mobile benchmark in PEP)

├── c10(c10-Caffe Tensor Library，核心Tensor实现（手机端+服务端）)

├── caffe2 (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目)

├── cmake (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test)

├── ios (与性能测试有关脚本)

├── modules (与iOS相关)

├── scripts (与iOS应用测试相关，增加 benchmark code to iOS TestApp)

├── submodules (Re-sync with internal repository)

├── third_party (谷歌、Facebook、NVIDIA、Intel等开源的第三方库)

├── tools (用于PyTorch构建的脚本)

├── torch (TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)

细节 展开2级目录

$ tree -L 2
.
├── android
│       ├── build.gradle
│       ├── gradle
│       ├── gradle.properties
│       ├── libs
│       ├── pytorch_android
│       ├── pytorch_android_torchvision
│       ├── run_tests.sh
│       └── settings.gradle
├── aten
│       ├── CMakeLists.txt
│       ├── conda
│       ├── src
│       └── tools
├── benchmarks
│       ├── fastrnns
│       ├── framework_overhead_benchmark
│       ├── operator_benchmark
│       └── README.md
├── binaries
│       ├── at_launch_benchmark.cc
│       ├── bench_gen
│       ├── benchmark_args.h
│       ├── benchmark_helper.cc
│       ├── benchmark_helper.h
│       ├── caffe2_benchmark.cc
│       ├── CMakeLists.txt
│       ├── convert_and_benchmark.cc
│       ├── convert_caffe_image_db.cc
│       ├── convert_db.cc
│       ├── convert_encoded_to_raw_leveldb.cc
│       ├── convert_image_to_tensor.cc
│       ├── core_overhead_benchmark.cc
│       ├── core_overhead_benchmark_gpu.cc
│       ├── db_throughput.cc
│       ├── inspect_gpu.cc
│       ├── intra_inter_benchmark.cc
│       ├── make_cifar_db.cc
│       ├── make_image_db.cc
│       ├── make_mnist_db.cc
│       ├── parallel_info.cc
│       ├── predictor_verifier.cc
│       ├── print_core_object_sizes_gpu.cc
│       ├── print_registered_core_operators.cc
│       ├── run_plan.cc
│       ├── run_plan_mpi.cc
│       ├── speed_benchmark.cc
│       ├── speed_benchmark_torch.cc
│       ├── split_db.cc
│       ├── tsv_2_proto.cc
│       ├── tutorial_blob.cc
│       └── zmq_feeder.cc
├── c10
│       ├── CMakeLists.txt
│       ├── core
│       ├── cuda
│       ├── hip
│       ├── macros
│       ├── test
│       └── util
├── caffe2
│       ├── c2_aten_srcs.bzl
│       ├── CMakeLists.txt
│       ├── contrib
│       ├── core
│       ├── cuda_rtc
│       ├── db
│       ├── distributed
│       ├── experiments
│       ├── ideep
│       ├── image
│       ├── __init__.py
│       ├── mobile
│       ├── mpi
│       ├── observers
│       ├── onnx
│       ├── operators
│       ├── opt
│       ├── perfkernels
│       ├── predictor
│       ├── proto
│       ├── python
│       ├── quantization
│       ├── queue
│       ├── README.md
│       ├── release-notes.md
│       ├── requirements.txt
│       ├── serialize
│       ├── sgd
│       ├── share
│       ├── test
│       ├── transforms
│       ├── utils
│       ├── VERSION_NUMBER
│       └── video
├── CITATION
├── cmake
│       ├── BuildVariables.cmake
│       ├── Caffe2Config.cmake.in
│       ├── Caffe2ConfigVersion.cmake.in
│       ├── cmake_uninstall.cmake.in
│       ├── Codegen.cmake
│       ├── Dependencies.cmake
│       ├── External
│       ├── GoogleTestPatch.cmake
│       ├── iOS.cmake
│       ├── MiscCheck.cmake
│       ├── Modules
│       ├── Modules_CUDA_fix
│       ├── ProtoBuf.cmake
│       ├── ProtoBufPatch.cmake
│       ├── public
│       ├── Summary.cmake
│       ├── TorchConfig.cmake.in
│       ├── TorchConfigVersion.cmake.in
│       ├── Utils.cmake
│       └── Whitelist.cmake
├── CMakeLists.txt
├── CODEOWNERS
├── CONTRIBUTING.md
├── docker
│       ├── caffe2
│       └── pytorch
├── docs
│       ├── caffe2
│       ├── cpp
│       ├── libtorch.rst
│       ├── make.bat
│       ├── Makefile
│       ├── requirements.txt
│       └── source
├── ios
│       ├── LibTorch.h
│       ├── LibTorch.podspec
│       ├── README.md
│       └── TestApp
├── LICENSE
├── Makefile
├── modules
│       ├── CMakeLists.txt
│       ├── detectron
│       ├── module_test
│       ├── observers
│       └── rocksdb
├── mypy-files.txt
├── mypy.ini
├── mypy-README.md
├── NOTICE
├── README.md
├── requirements.txt
├── scripts
│       ├── add_apache_header.sh
│       ├── apache_header.txt
│       ├── apache_python.txt
│       ├── appveyor
│       ├── build_android.sh
│       ├── build_host_protoc.sh
│       ├── build_ios.sh
│       ├── build_local.sh
│       ├── build_mobile.sh
│       ├── build_pytorch_android.sh
│       ├── build_raspbian.sh
│       ├── build_tegra_x1.sh
│       ├── build_tizen.sh
│       ├── build_windows.bat
│       ├── diagnose_protobuf.py
│       ├── fbcode-dev-setup
│       ├── get_python_cmake_flags.py
│       ├── model_zoo
│       ├── onnx
│       ├── proto.ps1
│       ├── read_conda_versions.sh
│       ├── README.md
│       ├── remove_apache_header.sh
│       ├── run_mobilelab.py
│       ├── temp.sh
│       └── xcode_build.rb
├── setup.py
├── submodules
│       └── nervanagpu-rev.txt
├── test
│       ├── backward_compatibility
│       ├── bottleneck
│       ├── common_cuda.py
│       ├── common_device_type.py
│       ├── common_distributed.py
│       ├── common_methods_invocations.py
│       ├── common_nn.py
│       ├── common_quantization.py
│       ├── common_quantized.py
│       ├── common_utils.py
│       ├── cpp
│       ├── cpp_api_parity
│       ├── cpp_extensions
│       ├── custom_operator
│       ├── data
│       ├── dist_autograd_test.py
│       ├── dist_utils.py
│       ├── error_messages
│       ├── expect
│       ├── expecttest.py
│       ├── HowToWriteTestsUsingFileCheck.md
│       ├── hypothesis_utils.py
│       ├── jit
│       ├── jit_utils.py
│       ├── onnx
│       ├── optim
│       ├── rpc_test.py
│       ├── run_test.py
│       ├── simulate_nccl_errors.py
│       ├── test_autograd.py
│       ├── test_c10d.py
│       ├── test_c10d_spawn.py
│       ├── test_cpp_api_parity.py
│       ├── test_cpp_extensions.py
│       ├── test_cuda_primary_ctx.py
│       ├── test_cuda.py
│       ├── test_dataloader.py
│       ├── test_data_parallel.py
│       ├── test_dist_autograd_fork.py
│       ├── test_dist_autograd_spawn.py
│       ├── test_distributed.py
│       ├── test_distributions.py
│       ├── test_docs_coverage.py
│       ├── test_expecttest.py
│       ├── test_fake_quant.py
│       ├── test_function_schema.py
│       ├── test_indexing.py
│       ├── test_jit_disabled.py
│       ├── test_jit_fuser.py
│       ├── test_jit.py
│       ├── test_jit_py3.py
│       ├── test_jit_string.py
│       ├── test_logging.py
│       ├── test_mkldnn.py
│       ├── test_module
│       ├── test_multiprocessing.py
│       ├── test_multiprocessing_spawn.py
│       ├── test_namedtensor.py
│       ├── test_namedtuple_return_api.py
│       ├── test_nccl.py
│       ├── test_nn.py
│       ├── test_numba_integration.py
│       ├── test_optim.py
│       ├── test_qat.py
│       ├── test_quantization.py
│       ├── test_quantized_models.py
│       ├── test_quantized_nn_mods.py
│       ├── test_quantized.py
│       ├── test_quantized_tensor.py
│       ├── test_quantizer.py
│       ├── test_rpc_fork.py
│       ├── test_rpc_spawn.py
│       ├── test_sparse.py
│       ├── test_tensorboard.py
│       ├── test_throughput_benchmark.py
│       ├── test_torch.py
│       ├── test_type_hints.py
│       ├── test_type_info.py
│       ├── test_type_promotion.py
│       └── test_utils.py
├── third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库）
│       ├── benchmark（谷歌开源的benchmark库）
│       ├── cpuinfo（Facebook开源的cpuinfo，检测cpu信息）
│       ├── cub（NVIDIA开源的CUB is a flexible library of cooperative threadblock primitives and other utilities for CUDA kernel programming）
│       ├── eigen（线性代数矩阵运算库）
│       ├── fbgemm（Facebook开源的低精度高性能的矩阵运算库，目前作为caffe2 x86的量化运算符的backend）
│       ├── foxi（ONNXIFI with Facebook Extension）
│       ├── FP16（Conversion to/from half-precision floating point formats）
│       ├── FXdiv（C99/C++ header-only library for division via fixed-point multiplication by inverse）
│       ├── gemmlowp（谷歌开源的矩阵乘法运算库Low-precision matrix multiplication，https://github.com/google/gemmlowp）
│       ├── gloo（Facebook开源的跨机器训练的通信库Collective communications library with various primitives for multi-machine training）
│       ├── googletest（谷歌开源的UT框架）
│       ├── ideep（Intel开源的使用MKL-DNN做的神经网络加速库）
│       ├── ios-cmake（用于ios的cmake工具链文件）
│       ├── miniz-2.0.8（数据压缩库，Miniz is a lossless, high performance data compression library in a single source file）
│       ├── nccl（NVIDIA开源的多GPU通信的优化原语，Optimized primitives for collective multi-GPU communication）
│       ├── neon2sse（与ARM有关，intende to simplify ARM->IA32 porting）
│       ├── NNPACK（多核心CPU加速包用于神经网络，Acceleration package for neural networks on multi-core CPUs）
│       ├── onnx（Open Neural Network Exchange，Facebook开源的神经网络模型交换格式，目前Pytorch、caffe2、ncnn、coreml等都可以对接）
│       ├── onnx-tensorrt（ONNX-TensorRT: TensorRT backend for ONNX）
│       ├── protobuf（谷歌开源的protobuf）
│       ├── psimd（便携式128位SIMD内部函数，Portable 128-bit SIMD intrinsics）
│       ├── pthreadpool（用于C/C++的多线程池，pthread-based thread pool for C/C++）
│       ├── pybind11（C ++ 11和Python之间的无缝可操作性支撑库，Seamless operability between C++11 and Python）
│       ├── python-enum（Python标准枚举模块，Mirror of enum34 package (PeachPy dependency) from PyPI to be used in submodules）
│       ├── python-peachpy（用于编写高性能汇编内核的Python框架，PeachPy is a Python framework for writing high-performance assembly kernels）
│       ├── python-six（Python 2 and 3兼容性库）
│       ├── QNNPACK（Facebook开源的面向移动平台的神经网络量化加速库）
│       ├── README.md
│       ├── sleef（SIMD Library for Evaluating Elementary Functions，SIMD库，用于评估基本函数）
│       ├── tbb（Intel开源的官方线程构建Blocks,Official Threading Building Blocks (TBB)）
│       └── zstd（（Facebook开源的Zstandard，快速实时压缩算法库）
├── tools
│       ├── amd_build
│       ├── aten_mirror.sh
│       ├── autograd
│       ├── build_libtorch.py
│       ├── build_pytorch_libs.py
│       ├── build_variables.py
│       ├── clang_format.py
│       ├── clang_tidy.py
│       ├── docker
│       ├── download_mnist.py
│       ├── flake8_hook.py
│       ├── generated_dirs.txt
│       ├── git_add_generated_dirs.sh
│       ├── git-pre-commit
│       ├── git_reset_generated_dirs.sh
│       ├── __init__.py
│       ├── jit
│       ├── pyi
│       ├── pytorch.version
│       ├── README.md
│       ├── setup_helpers
│       └── shared
├── torch
│       ├── abi-check.cpp
│       ├── autograd
│       ├── backends
│       ├── _classes.py
│       ├── CMakeLists.txt
│       ├── __config__.py
│       ├── contrib
│       ├── csrc
│       ├── cuda
│       ├── custom_class.h
│       ├── distributed
│       ├── distributions
│       ├── extension.h
│       ├── for_onnx
│       ├── functional.py
│       ├── __future__.py
│       ├── hub.py
│       ├── __init__.py
│       ├── __init__.pyi.in
│       ├── jit
│       ├── _jit_internal.py
│       ├── legacy
│       ├── lib
│       ├── multiprocessing
│       ├── _namedtensor_internals.py
│       ├── nn
│       ├── onnx
│       ├── _ops.py
│       ├── optim
│       ├── py.typed
│       ├── quantization
│       ├── quasirandom.py
│       ├── random.py
│       ├── README.txt
│       ├── script.h
│       ├── serialization.py
│       ├── _six.py
│       ├── sparse
│       ├── _storage_docs.py
│       ├── storage.py
│       ├── _tensor_docs.py
│       ├── tensor.py
│       ├── _tensor_str.py
│       ├── testing
│       ├── _torch_docs.py
│       ├── utils
│       ├── _utils_internal.py
│       └── _utils.py
├── ubsan.supp
└── version.txt

148 directories, 219 files

其中 第三方库：third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库）：

├── third_party（谷歌、Facebook、NVIDIA、Intel等开源的第三方库）

│       ├── benchmark（谷歌开源的benchmark库）

│       ├── cpuinfo（Facebook开源的cpuinfo，检测cpu信息）

│       ├── cub（NVIDIA开源的CUB is a flexible library of cooperative threadblock primitives and other utilities for CUDA kernel programming）

│       ├── eigen（线性代数矩阵运算库）

│       ├── fbgemm（Facebook开源的低精度高性能的矩阵运算库，目前作为caffe2 x86的量化运算符的backend）

│       ├── foxi（ONNXIFI with Facebook Extension）

│       ├── FP16（Conversion to/from half-precision floating point formats）

│       ├── FXdiv（C99/C++ header-only library for division via fixed-point multiplication by inverse）

│       ├── gemmlowp（谷歌开源的矩阵乘法运算库Low-precision matrix multiplication，https://github.com/google/gemmlowp）

│       ├── gloo（Facebook开源的跨机器训练的通信库Collective communications library with various primitives for multi-machine training）

│       ├── googletest（谷歌开源的UT框架）

│       ├── ideep（Intel开源的使用MKL-DNN做的神经网络加速库）

│       ├── ios-cmake（用于ios的cmake工具链文件）

│       ├── miniz-2.0.8（数据压缩库，Miniz is a lossless, high performance data compression library in a single source file）

│       ├── nccl（NVIDIA开源的多GPU通信的优化原语，Optimized primitives for collective multi-GPU communication）

│       ├── neon2sse（与ARM有关，intende to simplify ARM->IA32 porting）

│       ├── NNPACK（多核心CPU加速包用于神经网络，Acceleration package for neural networks on multi-core CPUs）

│       ├── onnx（Open Neural Network Exchange，Facebook开源的神经网络模型交换格式，目前Pytorch、caffe2、ncnn、coreml等都可以对接）

│       ├── onnx-tensorrt（ONNX-TensorRT: TensorRT backend for ONNX）

│       ├── protobuf（谷歌开源的protobuf）

│       ├── psimd（便携式128位SIMD内部函数，Portable 128-bit SIMD intrinsics）

│       ├── pthreadpool（用于C/C++的多线程池，pthread-based thread pool for C/C++）

│       ├── pybind11（C ++ 11和Python之间的无缝可操作性支撑库，Seamless operability between C++11 and Python）

│       ├── python-enum（Python标准枚举模块，Mirror of enum34 package (PeachPy dependency) from PyPI to be used in submodules）

│       ├── python-peachpy（用于编写高性能汇编内核的Python框架，PeachPy is a Python framework for writing high-performance assembly kernels）

│       ├── python-six（Python 2 and 3兼容性库）

│       ├── QNNPACK（Facebook开源的面向移动平台的神经网络量化加速库）

│       ├── README.md

│       ├── sleef（SIMD Library for Evaluating Elementary Functions，SIMD库，用于评估基本函数）

│       ├── tbb（Intel开源的官方线程构建Blocks,Official Threading Building Blocks (TBB)）

│       └── zstd（（Facebook开源的Zstandard，快速实时压缩算法库）

Pytorch核心分为5大块：

1. c10(c10-Caffe Tensor Library，核心Tensor实现（手机端+服务端）)

2. aten(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)

3. caffe2 (TensorRT 6.0 support and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目)

4. torch (TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)

5. third_party (谷歌、Facebook、NVIDIA、Intel等开源的第三方库)

具体详情如下：

c10下的核心部件(c10-Caffe Tensor Library，最核心Tensor实现（手机端+服务端）。请注意，C10库应保持最小的依赖关系-特别是，它不应该依赖于任何特定于实现或后端的库。它尤其不应依赖于任何生成的protobuf头文件，因为protobuf头文件将可传递性地迫使一个人链接到特定的protobuf版本)，具体包括如下：

├── c10

│       ├── CMakeLists.txt

│       ├── core

│       ├── cuda

│       ├── hip

│       ├── macros

│       ├── test

│       └── util

Aten下的核心部件(aten -A TENsor library for C++11,PyTorch的C++ tensor library，aten有大量的代码是来声明和定义Tensor运算相关的逻辑)：

$ tree -L 2

.

├── CMakeLists.txt

├── conda

│    ├── build.sh

│    └── meta.yaml

├── src

│    ├── ATen

│    ├── README.md

│    ├── TH

│    ├── THC

│    ├── THCUNN

│    └── THNN

└── tools

├── run_tests.sh

├── test_install.sh

└── valgrind.sup

8 directories, 7 files

其中，Aten/ src下

该目录包含PyTorch低级别的tensor libraries库，同时新的C++版Aten被构建，这些低级别的tensor libraries库可以追溯到最原始的Torch项目，该目录包含库如下：

* TH = TorcH

* THC = TorcH Cuda

* THCS = TorcH Cuda Sparse (now defunct)—不使用了

* THCUNN = TorcH CUda Neural Network (see cunn)

* THNN = TorcH Neural Network

* THS = TorcH Sparse (now defunct) —不使用了

caffe2模块

Caffe2是一个轻量级，模块化和可扩展的深度学习框架。支持TensorRT 6.0 (优化加速) and PyTorch->ONNX->TRT6 unit test。为了复用，2018年4月Facebook宣布将Caffe2的仓库合并到了PyTorch的仓库,从用户层面来复用包含了代码、CI、部署、使用、各种管理维护等。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定），基本上来自旧的caffe2项目。

torch下核心部件(TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义。理想情况下，根本不会安装这些标头。相反，应该使用公共函数（在类似THTensor.h的头文件中，而不是THTensor.hpp的头文件中）来操纵这些结构。但是，在Torch / csrc中有一些地方违反了这种抽象。它们头文件有指向此注释的指针。当重构THTensor的核和相关结构时，必须重构每个站点。其中，PyTorch会使用tools/setup_helpers/generate_code.py来动态生成)：

.

├── autograd (梯度处理)

├── backends (后向处理，包含cuda、cudnn、mkl、mkldnn、openmp和quantized库)

├── csrc (csrc目录包含与Python集成有关的所有代码。这与lib（它包含与Python无关的Torch库）形成对比。csrc取决于lib，反之则不然。具体包含api、autograd、cuda、distributed、generic、jit、multiprocessing、onnx、tensor和utils)

├── cuda (cuda)

├── distributed (分布式处理，包括autograd)

├── distributions

├── jit (用于最优性能编译)

├── legacy (低于0.5版本才有)

├── lib (它包含与Python无关的Torch库，具体包括：c10d、libshm和libshm_windows)

├── multiprocessing (cuda多线程处理)

├── nn (与神经网络有关的操作与声明，具体包括backends、intrinsic、modules、parallel、qat、quantized和utils)

├── onnx (模型交换格式)

├── optim (优化)

├── quantization (量化)

├── utils (具体包括backcompat、bottleneck、data、ffi、hipify和tensorboard)

third_party三方模块

谷歌、Facebook、NVIDIA、Intel等开源的第三方库，具体包含请见前文。

分层的视角看待：

1           第一层C10： 最核心的Tensor实现，手机端、服务端都用；

2           第二层ATen + TH*： Tensor算法的实现，由ATen和TH*组成这一层面；这一层依赖上一层（第一层）。目前已将ATen 某些core往C10上移植，并且将Torch往ATen上移植；

3           第三层Caffe2： 是一个轻量级，模块化和可扩展的深度学习框架。支持TensorRT 6.0 (优化加速) and PyTorch->ONNX->TRT6 unit test。caffe2中network、operators等的实现，会生成libcaffe2.so、libcaffe2_gpu.so、caffe2_pybind11_state.cpython-37m-x86_64-linux-gnu.so（caffe2 CPU Python 绑定）、caffe2_pybind11_state_gpu.cpython-37m-x86_64-linux-gnu.so（caffe2 CUDA Python 绑定）；基本上来自于旧的caffe2项目，这一层依赖上一层（第二层）；

4           第四层Torch，PyTorch的实现，TH / THC提供了一些hpp头文件，它们是标准的C ++头文件，而不是C头文件。pytorch的variable、autograd、jit、onnx、distribute、model接口、python接口等都在这里声明定义，这一层会生成libtorch.so和libtorch_python.so（Python绑定），依赖ATen+TH*（第二层），不过因为ATen+TH*的逻辑被封装在了libcaffe2.so，因此这一层要直接依赖上一层（第三层）。

5           其他，如hird_party三方库：谷歌、Facebook、NVIDIA、Intel等开源的第三方库，用于支撑ATen + TH*、Caffe2和Torch。