【Tensorflow2.0】Tensorflow2.x的安装教程 您所在的位置:网站首页 python使用pip安装包时遇到问题无法安装时解决方法和思路 【Tensorflow2.0】Tensorflow2.x的安装教程

【Tensorflow2.0】Tensorflow2.x的安装教程

2022-11-29 22:31| 来源: 网络整理| 查看: 265

文章目录 Anaconda 可以使tensorflow的安装变的简单1. 首先安装anaconda2. 创建一个环境3. 激活创建的环境4. 测试是否安装成功

Anaconda 可以使tensorflow的安装变的简单

昨天tensorflow 开发者大会刚开完,会上发布了关于 TensorFlow 2.0,TensorFlow Lite,TensorFlow.js,Swift for TensorFlow,TFX 等产品生态体系的最新更新和首次发布的内容,2019年仍会支持tensorflow1.x,但是我们相信,版本的升级会带来易用性和使用性能的提升,特别是tensorflow1.x 开发api的混乱,有slim、tf.layers, tf.contrib 后期版本有tf.keras ,还有读数据方式,都特别麻烦,所以本文章基于linux系统提供安装方法(Windows系统安装anaconda以后也可以使用该教程)。

插播:很荣幸本文于2020年11月5日被Tensorflow官方社区收录,欢迎去社区逛逛

1. 首先安装anaconda

这个直接官网去下载就可以了,可以是安装anaconda 或miniconda,我选择miniconda,这样不会把大量用不到的python包都安装了,而是根据需求,后期自己安装。 下载miniconda ,基本一路回车安装完成就可以,然后配置下载源来使⽤国内镜像加速下载: (时代在变化,社会在发展,anaconda不再有国内的加速镜像,所以以下添加清华源的命令就不要执行了!!,用默认的官方源也是可以使用的,更改于2019年7月2日 )清华源又可以用了

#优先命名用清华conda 镜像 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/ # 搜索时显示通道地址 conda config --set show_channel_urls yes 2. 创建一个环境

用来安装tensorflow2.0以及相关的python packages.

#加上cudatoolkit and cudnn这样不论你的机器原来装的是否合适,都可以用tensorflow2.0gpu版本 conda create -n tf2 python=3.6 3. 激活创建的环境

安装tensorflow2.0

#激活环境 source activate tf2 #对于GPU版的安装,为保证不论原始linux环境是什么样的都可以安装,如果原系充已经符合,以下命令不用执行 conda install cudatoolkit=10 cudnn=7.6 #目前tf2.0不支持cuda10.1(对应cudnn7.6),官网要求cuda=10,cudnn>7.4 #对于CPU版本,上边这行命令是不需要执行的 #接下来安装tensorflow 有多种情形 conda install tensorflow #安装tensorflow cpu稳定版本 conda install tensorflow-gpu#安装ensorflow gpu稳定版本 #使用这前可以使用 conda serach tensorflo 或conda search tensorflow-gpu来查询都有那些版本 #可以初装指定版本 conda install tensorflow=1.5 tensorflow 1.5版本 #如果安装错了可以使用conda uninstall tensorflow卸载后再重新安装 #接下来是要安装是新的tensorflow版本,conda环境使用pip同样生效 pip install tf-nightly #cpu 版本 pip install tf-nightly-gpu#GPU版本 #本人网上查了具体的版本 pip install tf-nightly-2.0-preview#Install tf 2.0 preview CPU version pip install tf-nightly-gpu-2.0-preview#Install tf 2.0 preview GPU version

关于conda安装cuda和cudnn,当nvidia发布新的cuda和cudnn版本时,conda还无法安装较新版本,只有旧版本。此时的解决方法是:

conda search cudatoolkit -c conda-forge conda search cudnn -c conda-forge #选择conda-forge 来搜索,会获得较新版本的cuda和cudnn

在这里插入图片描述 对于cudnn同理。 2022年10月24日更新 最近tensorflow2更新到了2.10版本,这里更新一下安装方法。 pip 安装方法参见:https://github.com/tensorflow/tensorflow/issues/57679 conda 安装方法:

conda create -n tf python=3.9 conda install cudatoolkit=11.3 cudnn=8.4 -c conda-forge conda install -c nvidia cuda-nvcc_linux-64 conda install tensorflow-gpu=2.10 -c conda-forge

以上便完成安装,测试代码有:

import tensorflow as tf print('tf.version:',tf.__version__) print('list devices') print(tf.config.list_physical_devices()) print("test lstm:") a = tf.random.normal([1,6,3]) l = tf.keras.layers.LSTM(9) o = l(a) print("test cnn") b = tf.random.normal([1,9,9,3]) c = tf.keras.layers.Conv2D(10,3) d=c(b)

执行结果: 在这里插入图片描述 所以一个可行的安装是: cudatoolkit=11.3.1,cudnn=8.4.1.50,cuda-nvcc=11.8.89,and python=3.9 同样的操作cudatoolkit=11.2是不成功的;对于cuda-nvcc,可以解决报错: Couldn’t get ptxas version string: INTERNAL: Couldn’t invoke ptxas --version 在这里插入图片描述 本次更新完成。

以下于2019年7月2日更新部分,最近tensorflow2.0的由alpha到了beat版本,所以更新一下最新的安装方法(基础环境的搭建不变)

pip install --upgrade pip pip install --upgrade tensorflow==2.0.0-beta1 #只是CPU版本 pip install --upgrade tensorflow-gpu==2.0.0-beta1#GPU 版本的 #关于测试安装是否成功的测试,与原来是一样的 #会输出2.0.0-beta1

于2019年8月24日再更,今早tensorflow再次更新:

pip install tensorflow==2.0.0rc0 # cpu version pip install tensorflow-gpu==2.0.0rc0 #gpu version #最近有了更新rc1版本更新,日期没有记 pip install tensorflow==2.0.0rc1 # cpu version pip install tensorflow-gpu==2.0.0rc1 #gpu version #tensorflow rc2版本更新于2019年9月25日,感觉正式版很快就要来了 #安装方法同上,更新内容参见https://github.com/tensorflow/tensorflow/releases/tag/v2.0.0-rc2 #卸载旧版 pip uninstall tensorflow-gpu pip install tensorflow-gpu==2.0.0rc2

rc的release candidate的意思,基本上是最后的可用于生产的版本,但仍然是测试。感觉有好多特性都有更新,具体的更新内容参见github上官方文档 以上就完成了tensorflow2.0的安装 2019年10月1日更新:tensorflow2.0版本正式发布,安装方法:

pip install --upgrade pip pip install tensorflow-gpu==2.0.0

2019年10月25日更新,从今天开始,conda支持安装tensorflow2.0,有点小舒服。

conda search tensorflow #搜cpu版 conda search tensorflow-gpu#搜GPU版 #大家可以按需安装 conda install tensorflow-gpu=2.0.0 #各种必备包自动安装,

用conda 安装最好,可以判断所有安装包的版本间的兼容性,如果能安装那么肯定是兼容的。 官网cuda和cudnn要求如下: 在这里插入图片描述 linux上驱动要大于410.x,cuda版本只能是10,cudnn版本要大于7.4.

2020年1月10日再更,tensorflow2.1正式发布,有几点更新:

pip默认安装GPU版本,也就是说pip install tensorflow 与pip install tensorflow-gpu相同tensorflow2.1 支持 cuda 10.1和cudnn 7.6,也就是说在以后可以在同一个环境中同时安装tensorflow(2.1),pytorch(1.3.1),mxnet(1.5.1),因为这三深度学习库都支持cuda 10.1. 在这里插入图片描述 具体安装方法: conda create -n dl python=3.6 conda activate dl conda install cudatoolkit=10.1 cudnn=7.6 pip install tensorflow-gpu #安装tensorflow pip install torch===1.3.1 torchvision===0.4.2 -f https://download.pytorch.org/whl/torch_stable.html pip install mxnet-cu101 #三个深度学习库都初装成功 pip install jupyterlab pandas matplotlib pydot scikit-learn seaborn scikit-image opencv-contrib-python

发现个问题,用pip安装的tensorflow2.1需要一个 libnvinfer.so的文件,这个是tensorrt的东西,不装tensorrt会报错: 在这里插入图片描述 按照官方教程安装一下就可以,我是用的tar包安装的,版本tensorrt6.其中 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH: 这个命令写到当前用户.bashrc中就可以,然后source一下(如果用deb包安装可以省去改变环境变量这个工作)。 再次进入dl环境,所有pip 安装的内容都不用加sudo. 到此,使用这三个深度学习库都是没有什么问题的。

import tensorflow as tf import torch import mxnet as mx from mxnet.runtime import feature_list print(mx.test_utils.list_gpus()) print(feature_list()) #会输出:[✔ CUDA, ✔ CUDNN, ✔ NCCL, ✔ CUDA_RTC, ✖ TENSORRT, ✔ CPU_SSE, ✔ CPU_SSE2, ✔ CPU_SSE3, ✔ CPU_SSE4_1, ✔ CPU_SSE4_2, ✖ CPU_SSE4A, ✔ CPU_AVX, ✖ CPU_AVX2, ✔ OPENMP, ✖ SSE, ✔ F16C, ✖ JEMALLOC, ✔ BLAS_OPEN, ✖ BLAS_ATLAS, ✖ BLAS_MKL, ✖ BLAS_APPLE, ✔ LAPACK, ✔ MKLDNN, ✔ OPENCV, ✖ CAFFE, ✖ PROFILER, ✔ DIST_KVSTORE, ✖ CXX14, ✖ INT64_TENSOR_SIZE, ✔ SIGNAL_HANDLER, ✖ DEBUG, ✖ TVM_OP] print(torch.cuda.is_available()) print(torch.backends.cudnn.version()) print(tf.test.is_gpu_available())

在这里插入图片描述 可以看到,三个深度学习库都 可以使用GPU,标红的地方有一个是我们提前安装的包。

#在tensorflow2.1验证是否有gpu进,系统提示deprecated tf.test.is_gpu_available()#不用了 tf.test.is_built_with_cuda()#是否支持NVIdia GPU tf.test.is_built_with_rocm()#是否支持AMD的显卡 tf.test.is_built_with_gpu()#NVIDIA或AMD是否有一家的支持

在这里插入图片描述 另外,安装tensorrt需要pycuda,所以还要安装有几个额外包,这样在conda环境中才可以用pip安装pycuda.

conda install -c nvidia nvcc_linux-64=10.1 conda install -c conda-forge cudatoolkit-dev=10.1

执行这两个命令才可以安装pycuda

pip install pycuda

如果cudatoolkit是从Nvidia官网下载后按照这里所述方式安装的,上边这两条命令是不需要的。 再次补充 最近遇到一些其它问题,安装cuda10没报错但是tensorflow不能使用,这是因为系统显卡驱动太低,不匹配比较新的cuda10,唯一需要做的就是更新显卡驱动。每个版本的cuda都有显卡驱动的最低要求,如下表(参考官网说明): 在这里插入图片描述 可以看到,cuda10的最低版本的要求是410.48。查看原系统的显卡驱动的方法是在shell中输入: nvidia-smi(原系统安装有cuda toolkit才会有该命令) 在这里插入图片描述 本人电脑上当前版本是384.98,最高可安装cuda版本是9.0,而cuda9最高支持到tensorflow1.12。 cuda版本与tensorflow版本对应关系如下表(参考官网说明): 在这里插入图片描述 显卡驱动安装或更新以及cuda toolkitt和cudnn的系统完装方法参见博客。 2020年5月7日更新 今天,tensorflow2.2正式版发布,更新内容参见github,另外,Keras官网改版了,界面全新,更加接近tf2,可以快乐的学习了。 tensorflow2.2安装方法:

conda create -n dl python=3.7 conda activate dl conda install cudatoolkit=10.1 cudnn=7.6.5 #tensorflow的安装也方便没啥警告 pip install tensorflow-gpu -i https://pypi.douban.com/simple #到目前(2020年5月7日)最新的pytorch gpu版本也可以安装 pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.douban.com/simple

2021年5月25日更新 随着tf2.x版本的逐渐更新发布,安装方法整体思路可以参考上文,最主要的是显卡驱动的更新,配套cuda版本的更新,cudnn的更新,python版本的要求(这个建议不要选择最新的,除非从源码安装),按照本文的内容,不难找到相关版本要求及安装方法,因此,在没有大的改动时,本文将暂时保持稳定。未来有大的变动时,会进行更新。

4. 测试是否安装成功

有两种方法

方法一: import tensorflow as tf print(tf.__version__) #输出'2.0.0-alpha0' print(tf.test.is_gpu_available()) #会输出True,则证明安装成功

2022年6月26日更新

#新版本的tf把tf.test.is_gpu_available()换成如下命令 tf.config.list_physical_devices('GPU')

在这里插入图片描述

方法二: import tensorflow as tf with tf.device('/GPU:0'): a = tf.constant(3)

在这里插入图片描述

方法三: #输入python,进入python环境 import tensorflow as tf #查看tensorflow版本 print(tf.__version__) #输出'2.0.0-alpha0' #测试GPU能否调用,先查看显卡使用情况 import os os.system("nvidia-smi") #调用显卡 @tf.function def f(): pass f() #这时会打印好多日志,我电脑上还有warning,感觉不影响 #再次查询显卡 os.system("nvidia-smi") 可以对比两次使用情况

在这里插入图片描述

建意3种测试方法都试一下,有时第一种方法成功,真正建模型进行训练时确会报错,所在最好都试一下。 好了,测试使用的过程也完成了,小伙伴们可以玩起来呀 这里顺便提一下用来tensorflow 学习的资源

吴恩达的课程cousera上会有一系列课程,会在2019年逐步完成TensorFlow: From Basics to Mastery udacity 上的课基于Tensorflow的深度学习Intro to TensorFlow for Deep Learning 这个也要可以上外网 Cousera伦顿帝国理工学院的tensorflow2 入门,这们课是2020年1月左右发布的 Cousera上伦顿帝国理工学院的tensorflow2深入课程,这们课是2020年3月左右发布的 简单粗暴 TensorFlow 2,这是tensorflow官方指定的中国的教程,还是不错的。

引用文章 1 https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/ 2 https://medium.com/tensorflow/test-drive-tensorflow-2-0-alpha-b6dd1e522b01 需要科学上网 3 https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html 4 https://www.tensorflow.org/install/source#install_python_and_the_tensorflow_package_dependencies



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有