Ascend Extension for PyTorch插件

简介

本项目开发了名为torch_npu的Ascend Extension for PyTorch插件，使昇腾NPU可以适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。

昇腾为基于华为昇腾处理器和软件的行业应用及服务提供全栈AI计算基础设施。您可以通过访问昇腾社区，了解关于昇腾的更多信息。

安装

使用二进制文件进行安装

我们为用户提供可以快速安装torch_npu的whl安装包。在安装torch_npu之前，您需要先安装CANN软件。昇腾辅助软件中有更多关于CANN的版本信息。请参考CANN安装指南获取CANN安装包。

1. 安装PyTorch

通过 pip 安装 PyTorch。

aarch64:

pip3 install torch==2.1.0

x86:

pip3 install torch==2.1.0+cpu  --index-url https://download.pytorch.org/whl/cpu

若使用pip命令安装失败，请使用下载链接或进入PyTorch官方网站进行查询下载对应版本。

架构	Python版本	下载链接
x86	Python3.8	下载链接
x86	Python3.9	下载链接
x86	Python3.10	下载链接
aarch64	Python3.8	下载链接
aarch64	Python3.9	下载链接
aarch64	Python3.10	下载链接

2. 安装torch_npu依赖

运行以下命令安装依赖。

pip3 install pyyaml
pip3 install setuptools

3. 安装torch_npu

pip3 install torch-npu==2.1.0.post3

如需要保存安装日志，可在pip3 install命令后面加上参数 --log <PATH>，并对您指定的目录<PATH>做好权限管控。

使用源代码进行安装

某些特殊场景下，用户可能需要自行编译torch_npu。可以根据昇腾辅助软件表和PyTorch与Python版本配套表选择合适的分支。推荐使用Docker镜像编译torch_npu，可以通过以下步骤获取(建议只挂载工作路径，并避开系统路径，以降低安全风险), 生成的.whl文件路径为./dist/：

1. 克隆torch_npu代码仓

   git clone https://gitee.com/ascend/pytorch.git -b v2.1.0-6.0.rc1 --depth 1
   

2. 构建镜像

   cd pytorch/ci/docker/{arch} # {arch} for X86 or ARM
   docker build -t manylinux-builder:v1 .
   

3. 进入Docker容器

   docker run -it -v /{code_path}/pytorch:/home/pytorch manylinux-builder:v1 bash
   # {code_path} is the torch_npu source code path
   

4. 编译torch_npu

   以Python 3.8 为例。

   cd /home/pytorch
   bash ci/build.sh --python=3.8
   

卸载

Pytorch框架训练环境的卸载可以参考昇腾官方文档。

torch_npu的卸载只需执行命令：

pip3 uninstall torch_npu

如需要保存卸载日志，可在pip3 uninstall命令后面加上参数 --log <PATH>，并对您指定的目录<PATH>做好权限管控。

入门

前提

运行以下命令初始化CANN环境变量。

# Default path, change it if needed.
source /usr/local/Ascend/ascend-toolkit/set_env.sh

快速验证

可以通过以下样例快速体验昇腾NPU。

import torch
import torch_npu

x = torch.randn(2, 2).npu()
y = torch.randn(2, 2).npu()
z = x.mm(y)

print(z)

PyTorch与Python版本配套表

PyTorch版本	Python版本
PyTorch1.11.0	Python3.7.x(>=3.7.5), Python3.8.x, Python3.9.x, Python3.10.x
PyTorch2.1.0	Python3.8.x, Python3.9.x, Python3.10.x
PyTorch2.2.0	Python3.8.x, Python3.9.x, Python3.10.x

昇腾辅助软件

PyTorch Extension版本号采用{PyTorch版本}-{昇腾版本}命名规则，前者为PyTorch Extension匹配的PyTorch版本，后者用于匹配CANN版本，详细匹配如下：

CANN版本	支持的PyTorch版本	支持的Extension版本	Gitee分支	AscendHub镜像版本/名称(链接)
CANN 8.0.RC1	2.2.0	2.2.0	v2.2.0-6.0.rc1	–
	2.1.0	2.1.0.post3	v2.1.0-6.0.rc1	–
	1.11.0	1.11.0.post11	v1.11.0-6.0.rc1	–
CANN 7.0.0	2.1.0	2.1.0	v2.1.0-5.0.0	–
	2.0.1	2.0.1.post1	v2.0.1-5.0.0	–
	1.11.0	1.11.0.post8	v1.11.0-5.0.0	–
CANN 7.0.RC1	2.1.0	2.1.0.rc1	v2.1.0-5.0.rc3	–
	2.0.1	2.0.1	v2.0.1-5.0.rc3	–
	1.11.0	1.11.0.post4	v1.11.0-5.0.rc3	–
CANN 6.3.RC3.1	1.11.0	1.11.0.post3	v1.11.0-5.0.rc2.2	–
CANN 6.3.RC3	1.11.0	1.11.0.post2	v1.11.0-5.0.rc2.1	–
CANN 6.3.RC2	2.0.1	2.0.1.rc1	v2.0.1-5.0.rc2	–
	1.11.0	1.11.0.post1	v1.11.0-5.0.rc2	23.0.RC1-1.11.0
	1.8.1	1.8.1.post2	v1.8.1-5.0.rc2	23.0.RC1-1.8.1
CANN 6.3.RC1	1.11.0	1.11.0	v1.11.0-5.0.rc1	–
	1.8.1	1.8.1.post1	v1.8.1-5.0.rc1	–
CANN 6.0.1	1.5.0	1.5.0.post8	v1.5.0-3.0.0	22.0.0
	1.8.1	1.8.1	v1.8.1-3.0.0	22.0.0-1.8.1
	1.11.0	1.11.0.rc2（beta)	v1.11.0-3.0.0	–
CANN 6.0.RC1	1.5.0	1.5.0.post7	v1.5.0-3.0.rc3	22.0.RC3
	1.8.1	1.8.1.rc3	v1.8.1-3.0.rc3	22.0.RC3-1.8.1
	1.11.0	1.11.0.rc1（beta)	v1.11.0-3.0.rc3	–
CANN 5.1.RC2	1.5.0	1.5.0.post6	v1.5.0-3.0.rc2	22.0.RC2
	1.8.1	1.8.1.rc2	v1.8.1-3.0.rc2	22.0.RC2-1.8.1
CANN 5.1.RC1	1.5.0	1.5.0.post5	v1.5.0-3.0.rc1	22.0.RC1
	1.8.1	1.8.1.rc1	v1.8.1-3.0.rc1	–
CANN 5.0.4	1.5.0	1.5.0.post4	2.0.4.tr5	21.0.4
CANN 5.0.3	1.8.1	1.5.0.post3	2.0.3.tr5	21.0.3
CANN 5.0.2	1.5.0	1.5.0.post2	2.0.2.tr5	21.0.2

建议与交流

欢迎大家为社区做贡献。如果有任何疑问或建议，请提交gitee Issues，我们会尽快回复。感谢您的支持。

分支维护策略

AscendPyTorch版本分支的维护阶段如下：

状态	时间	说明
计划	1—3 个月	计划特性
开发	3 个月	开发特性
维护	6-12 个月	合入所有已解决的问题并发布版本，针对不同的PyTorch版本采取不同的维护策略，常规版本和长期支持版本维护周期分别为6个月和12个月
无维护	0—3 个月	合入所有已解决的问题，无专职维护人员，无版本发布
生命周期终止（EOL）	N/A	分支不再接受任何修改

PyTorch版本维护策略

PyTorch版本	维护策略	当前状态	发布时间	后续状态	EOL日期
2.2.0	常规版本	维护	2024/04/01	预计2024/10/15起无维护
2.1.0	长期支持	维护	2023/10/15	预计2024/10/15起无维护
2.0.1	常规版本	EOL	2023/7/19		2024/3/14
1.11.0	长期支持	维护	2023/4/19	预计2024/4/19起无维护
1.8.1	长期支持	EOL	2022/4/10		2023/4/10
1.5.0	长期支持	EOL	2021/7/29		2022/7/29

安全声明

Ascend Extension for PyTorch插件 安全声明

参考文档

有关安装指南、模型迁移和训练/推理教程和API列表等更多详细信息，请参考昇腾社区Ascend Extension for PyTorch。

文档名称	文档链接
安装指南	参考链接
网络模型迁移和训练	参考链接
算子适配	参考链接
API清单（PyTorch原生接口与自定义接口）	参考链接

许可证

Ascend Extension for PyTorch插件使用BSD许可证。详见LICENSE文件。

方案一

下面是在 Linux 服务器上配置 OpenVPN 客户端、设置路由以及保证应用通过 VPN 隧道访问 ChatGPT API 的一般步骤和命令。请注意，在进行以下操作之前，请确保您拥有阿里云服务器的 root 权限或 sudo 权限，以及加拿大 OpenVPN 服务器的必要配置文件。

步骤 1: 安装 OpenVPN 客户端
在您的阿里云服务器上安装 OpenVPN 客户端：

sudo apt-get update  # 如果是基于 Debian 的系统
sudo apt-get install openvpn

或者

sudo yum update  # 如果是基于 RHEL 的系统
sudo yum install openvpn

步骤 2: 配置 OpenVPN 客户端
将从加拿大 OpenVPN 服务器获取的配置文件（通常是 .ovpn 文件）传输到阿里云服务器。
启动 OpenVPN 客户端，连接到服务器：

sudo openvpn --config /path/to/your/vpnconfig.ovpn

确保将 /path/to/your/vpnconfig.ovpn 替换为您的实际配置文件路径。这条命令将启动 OpenVPN 并尝试连接到您的加拿大 VPN 服务器。

步骤 3: 路由设置
修改 OpenVPN 配置文件以添加路由。打开 .ovpn 文件，添加类似以下行来指定路由：

route ChatGPT_API_IP 255.255.255.255 vpn_gateway

将 ChatGPT_API_IP 替换为 ChatGPT API 的实际 IP 地址，vpn_gateway 通常会自动设置为通过 VPN 连接的默认网关。

或者，您也可以在 OpenVPN 连接后通过命令行手动添加路由：

sudo ip route add ChatGPT_API_IP/32 via VPN_GATEWAY_IP dev tun0

将 ChatGPT_API_IP 替换为 ChatGPT API 的 IP 地址，VPN_GATEWAY_IP 替换为您 VPN 的网关 IP，tun0 是 OpenVPN 使用的默认网络接口，如果您的配置不同，请相应调整。

步骤 4: 验证连接
一旦 OpenVPN 客户端启动并且路由设置完成，您可以使用 ping 命令或类似的网络工具来测试 VPN 连接和路由是否正确：

ping ChatGPT_API_IP

也可以查看路由表确保新路由已经设置：

ip route show

步骤 5: 应用配置
确保您的应用在发起到 ChatGPT API 的请求时，不需要任何特别的配置，因为操作系统的路由表已经指示了通过 VPN 隧道转发到 ChatGPT API 的流量。

步骤 6: 持久化 VPN 连接
为了确保 VPN 连接在服务器重启后自动启动，您可以将 OpenVPN 连接命令添加到系统的启动脚本中，如 rc.local 或使用系统的服务管理器（如 systemd）创建一个服务。

这里的步骤和命令提供了一般的指南，具体的命令可能会根据您的 Linux 发行版和 OpenVPN 配置有所不同。此外，确保您具有连接到 OpenVPN 服务器所需的所有凭据和权限。

方案二

要设置加拿大服务器作为反向代理服务器并转发请求到 ChatGPT API，你可以使用 Nginx 或 Apache。下面以 Nginx 为例，提供详细的配置步骤和命令。

Nginx 反向代理配置
步骤 1: 安装 Nginx

在加拿大的服务器上安装 Nginx：

sudo apt update  # 对于 Debian/Ubuntu 系统
sudo apt install nginx

或者对于 RHEL/CentOS 系统

sudo yum update
sudo yum install nginx

步骤 2: 配置 Nginx 作为反向代理

创建一个新的 Nginx 配置文件或编辑现有的站点配置文件：

sudo nano /etc/nginx/sites-available/chatgpt-proxy

在配置文件中添加以下内容：

server {
    listen 80;
    server_name your-canadian-server.com;  # 替换为你加拿大服务器的域名或IP

    location / {
        proxy_pass https://api.openai.com/v1/;  # ChatGPT API 的 URL
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

启用配置并测试：

sudo ln -s /etc/nginx/sites-available/chatgpt-proxy /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl restart nginx

步骤 3: 配置 SSL/TLS

使用 Let’s Encrypt 提供的 certbot 工具来自动获取和安装 SSL 证书：

sudo apt install certbot python3-certbot-nginx  # 对于 Debian/Ubuntu 系统

或者

sudo yum install certbot python3-certbot-nginx  # 对于 RHEL/CentOS 系统

sudo certbot --nginx -d your-canadian-server.com  # 用实际域名替换
Certbot 会自动处理证书的获取和安装，并修改 Nginx 配置以启用 HTTPS。

步骤 4: (可选) 设置 API 认证

如果需要，你可以在 Nginx 配置中添加基本认证：

location / {
    # ...其他配置保持不变...

    auth_basic "Restricted Content";
    auth_basic_user_file /etc/nginx/.htpasswd;  # 路径到密码文件
}

创建密码文件并设置用户和密码：

sudo apt-get install apache2-utils  # 安装 htpasswd 工具
sudo htpasswd -c /etc/nginx/.htpasswd username  # 用实际用户名替换

步骤 5: 修改阿里云应用配置

在阿里云服务器上的应用中，你需要将所有指向 ChatGPT API 的请求修改为通过你的加拿大服务器反向代理的 URL。

例如，如果你的加拿大服务器域名是 your-canadian-server.com，应用中的 API 请求 URL 应更改为：

https://your-canadian-server.com/v1/...  # 具体路径根据实际请求调整

注意事项
确保在配置 Nginx 或应用时替换所有的占位符（如 your-canadian-server.com 和 username）为实际的值。
使用 SSL/TLS 时，确保你的域名已正确解析到加拿大服务器的 IP 地址，并且端口 80 和 443 在服务器上是开放的。
测试配置更改后的应用以确保它可以通过加拿大服务器正确访问 ChatGPT API

方案三

要通过 SSH 隧道来转发请求到 ChatGPT API，你需要在阿里云服务器上执行以下步骤：

步骤 1: 建立 SSH 隧道
在阿里云服务器上，使用 SSH 命令建立一个隧道。这个隧道将本地端口转发到加拿大服务器上的端口，然后由加拿大服务器转发到 ChatGPT API。

执行以下命令以建立隧道：

ssh -L [本地端口]:api.openai.com:443 [用户]@[加拿大服务器IP] -N -f

[本地端口]：这是阿里云服务器上的本地端口号，选择一个未被使用的端口，例如 8080。
api.openai.com:443：这是 ChatGPT API 的域名和端口。
[用户]：这是你在加拿大服务器上的用户名。
[加拿大服务器IP]：这是加拿大服务器的公网 IP 地址。
-N 告诉 SSH 客户端不执行远程命令，只进行端口转发。
-f 告诉 SSH 客户端在后台运行。
例如：

ssh -L 8080:api.openai.com:443 myuser@198.51.100.0 -N -f

这条命令将在后台创建一个 SSH 隧道，把阿里云服务器上的 8080 端口的流量转发到 api.openai.com 的 443 端口上。
步骤 2: 测试端口转发
测试本地端口转发是否工作正常：

curl -v https://localhost:8080/v1/engines -H "Authorization: Bearer YOUR_OPENAI_API_KEY"

这个命令应该返回 ChatGPT API 的响应。确保将 YOUR_OPENAI_API_KEY 替换为你的实际 OpenAI API 密钥。

步骤 3: 修改应用配置
修改你在阿里云服务器上的应用配置，把所有指向 ChatGPT API 的请求改为通过本地端口：

https://localhost:8080/v1/...

这样，当你的应用尝试连接到 ChatGPT API 时，实际上它将通过 SSH 隧道发送请求。

注意事项
请确保你的阿里云服务器上的防火墙配置允许本地端口（例如 8080）的流量。
你可能需要在加拿大服务器上配置 SSH 以允许端口转发。
在生产环境中使用 SSH 隧道时，可能需要考虑使用更稳健的方法来保持隧道的持续运行，如使用 autossh。
由于使用了 -f 参数，SSH 命令会在后台运行。如果需要终止隧道，你可以找到对应的 SSH 进程并杀掉它，或者关闭监听本地端口的 SSH 隧道。