Ubuntu下从源码编译

    • 64位操作系统
    • Ubuntu 14.04 /16.04 /18.04
    • Python 2.7/3.5/3.6/3.7
    • pip或pip3 >= 9.0.1
    • 如果您的计算机有NVIDIA® GPU,并且满足以下条件,推荐编译GPU版的PaddlePaddle

      • CUDA 工具包9.0配合cuDNN v7
      • CUDA 工具包8.0配合cuDNN v7
      • CUDA 工具包8.0配合cuDNN v5
      • GPU运算能力超过1.0的硬件设备

    在Ubuntu的系统下有2种编译方式:

    • Docker源码编译(暂不支持Ubuntu18.04下GPU版本)
    • 本机源码编译

    是一个开源的应用容器引擎。使用Docker,既可以将PaddlePaddle的安装&使用与系统环境隔离,也可以与主机共享GPU、网络等资源

    使用Docker编译PaddlePaddle,您需要:

    • 在本地主机上安装Docker

    • 如需在Linux开启GPU支持,请

    请您按照以下步骤安装:

    • 进入Paddle目录下: cd Paddle

    • 创建并进入满足编译环境的Docker容器:

    docker run —name paddle-test -v $PWD:/paddle —network=host -it hub.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash

    —name paddle-test为您创建的Docker容器命名为paddle-test,-v $PWD:/paddle 将当前目录挂载到Docker容器中的/paddle目录下(Linux中PWD变量会展开为当前路径的绝对路径),-it 与宿主机保持交互状态,hub.baidubce.com/paddlepaddle/paddle:latest-dev 使用名为hub.baidubce.com/paddlepaddle/paddle:latest-dev的镜像创建Docker容器,/bin/bash 进入容器后启动/bin/bash命令。

    • 进入Docker后进入paddle目录下:

    cd paddle

    • 切换到较稳定release分支下进行编译:

    git checkout [分支名]

    例如:

    git checkout release/1.2

    注意:python3.6、python3.7版本从release/1.2分支开始支持

    • 创建并进入/paddle/build路径下:

    mkdir -p /paddle/build && cd /paddle/build

    • 使用以下命令安装相关依赖:

    注意:以上用Python3.5命令来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7

    安装protobuf 3.1.0。

    apt install patchelf

    • 执行cmake:

    具体编译选项含义请参见

    请注意修改参数-DPY_VERSION为您希望编译使用的python版本, 例如-DPY_VERSION=3.5表示python版本为3.5.x

    • 编译CPU版本PaddlePaddle

    cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=OFF -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release

    • 编译GPU版本PaddlePaddle

    cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release

    • 执行编译:

    make -j$(nproc)

    使用多核编译

    • 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包: cd /paddle/build/python/dist

    • 在当前机器或目标机器安装编译好的.whl包:

    注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7

    恭喜,至此您已完成PaddlePaddle的编译安装。您只需要进入Docker容器后运行PaddlePaddle,即可开始使用。更多Docker使用请参见Docker官方文档

    本机编译

    • 检查您的计算机和操作系统是否符合我们支持的编译标准: uname -m && cat /etc/*release

    • 更新apt的源: , 并提前安装

    • 我们支持使用virtualenv进行编译安装,首先请使用以下命令创建一个名为paddle-venv的虚环境:

      • a. 安装Python-dev:
    • b. 安装pip: (请保证拥有9.0.1及以上版本的pip):
    • c. 安装虚环境virtualenv以及virtualenvwrapper并创建名为paddle-venv的虚环境:

      • apt install virtualenvpip install virtualenvpip3 install virtualenv
      • apt install virtualenvwrapperpip install virtualenvwrapperpip3 install virtualenvwrapper
      • 找到virtualenvwrapper.shfind / -name virtualenvwrapper.sh
      • 查看virtualenvwrapper.sh中的安装方法: cat virtualenvwrapper.sh, 该shell文件中描述了步骤及命令
      • 按照virtualenvwrapper.sh中的描述,安装virtualwrapper
      • 创建名为paddle-venv的虚环境: mkvirtualenv paddle-venv
        注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7
    • 进入虚环境:workon paddle-venv

    • 执行编译前请您确认在虚环境中安装有编译依赖表中提到的相关依赖:

      • 这里特别提供patchELF的安装方法,其他的依赖可以使用apt install或者 后跟依赖名称和版本安装:

    apt install patchelf

    不能使用apt安装的用户请参见patchElF github

    • 将PaddlePaddle的源码clone在当下目录下的Paddle的文件夹中,并进入Padde目录下:

    • 切换到较稳定release分支下进行编译,将中括号以及其中的内容替换为目标分支名

    git checkout [分支名]

    例如:

    git checkout release/1.2

    • 并且请创建并进入一个叫build的目录下:

    mkdir build && cd build

    • 执行cmake:

    具体编译选项含义请参见

    • 对于需要编译CPU版本PaddlePaddle的用户:
    • 对于需要编译GPU版本PaddlePaddle的用户:(仅支持ubuntu16.04/14.04)

      • 请确保您已经正确安装nccl2,或者按照以下指令安装nccl2(这里提供的是ubuntu 16.04,CUDA9,cuDNN7下nccl2的安装指令),更多版本的安装信息请参考NVIDIA官方网站: i. wget ii. dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb iii. sudo apt-get install -y libnccl2=2.2.13-1+cuda9.0 libnccl-dev=2.2.13-1+cuda9.0

      • 如果您已经正确安装了nccl2,就可以开始cmake了:(For Python3: 请给PY_VERSION参数配置正确的python版本)

    For Python2: cmake .. -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=ReleaseFor Python3: cmake .. -DPY_VERSION=3.5 -DWITH_FLUID_ONLY=ON -DWITH_GPU=ON -DWITH_TESTING=OFF -DCMAKE_BUILD_TYPE=Release

    注意:以上涉及Python3的命令,用Python3.5来举例,如您的Python版本为3.6/3.7,请将上述命令中的Python3.5改成Python3.6/Python3.7

    • 使用以下命令来编译:

    make -j$(nproc)

    • 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包: cd /paddle/build/python/dist

    • 在当前机器或目标机器安装编译好的.whl包:

    pip install (whl包的名字)pip3 install (whl包的名字)

    恭喜,至此您已完成PaddlePaddle的编译安装

    安装完成后您可以使用:pythonpython3 进入Python解释器,然后使用import paddle.fluid 验证是否安装成功。

    请使用以下命令卸载PaddlePaddle:

    • CPU版本的PaddlePaddle: pip uninstall paddlepaddlepip3 uninstall paddlepaddle

    • GPU版本的PaddlePaddle: 或 pip3 uninstall paddlepaddle-gpu

    使用Docker安装PaddlePaddle的用户,请进入包含PaddlePaddle的容器中使用上述命令,注意使用对应版本的pip