本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2024-11(2)

初学者学习深度学习,不得不会的Google Colab基本操作

发布于2021-05-30 20:41     阅读(1015)     评论(0)     点赞(23)     收藏(4)


@Author:Runsen

最近,一直在学习Google Colab。可以来说,学习Ai,入门就是Google Colab

Google Colab

Google Colab是Google 的一个免费的基于Jupyter的环境,它使我们能够创建Jupyter编程笔记本来编写和执行Python以及其他基于Python的第三方工具和机器学习框架,例如Pandas ,PyTorch,Tensorflow,Keras,Monk,OpenCV等。

Google Colab具有独特且重要的功能:

  • 它提供了免费的Jupyter笔记本环境。
  • 它带有预装的软件包。
  • 它完全托管在Google Cloud上。
  • 它提供基于浏览器的Jupyter笔记本。
  • 它完全免费,并提供GPU和TPU功能

启动Google Colab

可以使用 Colab 在 Web 浏览器上直接执行 Python 代码。我们可以使用以下网址启动它:

https://colab.research.google.com/notebooks/intro.ipynb?utm_source=towardsai.net&utm_medium=referral&utm_campaign=marketing&utm_term=google+colab&utm_content=google+colab

它提供了创建笔记本以及从不同来源上载的选项,例如:

  • GitHub
  • Google云盘
  • 本地电脑

从GitHub上传笔记本

可以使用其项目的URL或搜索组织或用户,直接从Github上传Python代码。以下步骤重点介绍了如何使用Github URL上传项目:

  • 启动Google Colab。
  • 从弹出框中选择GitHub选项卡。

输入GitHub的项目URL并搜索以获取代码

它将一键上传完整的代码到 Google Colab notebook。


同样,可以通过按名称,日期,所有者或修改日期过滤保存的笔记本,直接从Google云端硬盘上传代码。

Kaggle上传数据

来自Kaggle的数据可以直接上传到Colab进行处理。需要Kaggle的API令牌才能完成数据导入。

从Kaggle生成API令牌的步骤

  • 打开Kaggle

  • 转至“我的账户”

  • 向下滚动到“ API”部分

  • 点击“创建新的API令牌”。它将生成一个新令牌并下载一个名为“ kaggle.json ”的JSON文件。
    “ kaggle.json”文件包含用户名和密钥,例如:

在这里插入图片描述

从Kaggle上传数据的步骤,将“ kaggle.json”文件保存在本地计算机上。

安装Kaggle软件包

!pip install  kaggle

导入包:

from google.colab import files

上载本地文件“ kaggle.json”

files.upload()

在这里插入图片描述
检查Colab笔记本是否与Kaggle正确连接。

!kaggle datasets list

Kaggle下载数据

!kaggle competitions download -c competitive-data-science-predict-future-sales<比赛名称>

Google云端硬盘读取文件

Google Colab也提供从Google Drive读取数据的功能。

导入包

import glob
import pandas as pd
from google.colab import drive
drive.mount('/gdrive')

这将要求Google驱动授权码。

单击链接并生成授权码。

读取CSV文件

file_path = glob.glob("/gdrive/My Drive/***.csv")for file in file_path:
    df = pd.read_csv(file)
    print(df)

使用硬件加速器GPU

在Colab中设置硬件加速器GPU
设置GPU的步骤:

  • 转到运行时→更改运行时类型。
  • 从弹出窗口中选择“ GPU”


在 Colab 中检查有关 GPU 的详细信息。

import tensorflow as tf
from tensorflow.python.client import device_lib
Check the GPU accelerator
tf.test.gpu_device_name()

在这里插入图片描述

Google Colab中的TPU

我们使用Tensor处理单元(TPU)在Tensorflow图上进行加速。

在Google Colab中设置TPU的步骤:

运行时菜单→更改运行时

在这里插入图片描述
它需要TensorFlow软件包。在代码下方,实现检查Colab是否设置了TPU加速器?

import tensorflow as tf
try:
    tpu = tf.distribute.cluster_resolver.TPUClusterResolver()  
    print('Running on TPU ', tpu.cluster_spec().as_dict()['worker'])
except ValueError:
    print('Exception')

在这里插入图片描述

其他操作

Colab提供了一些有趣的惊人技巧。简而言之,它们可提供快速的操作。这些命令与%前缀一起使用。

列出所有魔术命令

%lsmagic

在这里插入图片描述
列出本地目录

%ldir

在这里插入图片描述

原文链接:https://blog.csdn.net/weixin_44510615/article/details/117403178



所属网站分类: 技术文章 > 博客

作者:天神下凡

链接:http://www.phpheidong.com/blog/article/86934/64e6d1c12a57bfe106bd/

来源:php黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

23 0
收藏该文
已收藏

评论内容:(最多支持255个字符)