《kaggle小白》如何利用kaggle平台的GPU训练模型

您所在的位置:网站首页 如何训练猪开关门的能力 《kaggle小白》如何利用kaggle平台的GPU训练模型

《kaggle小白》如何利用kaggle平台的GPU训练模型

2024-07-14 08:21:05| 来源: 网络整理| 查看: 265

文章目录

前言

一、kaggle是什么?

二、如何使用kaggle平台的GPU

1.注册账号

2.训练前的工作

3.如何训练模型

总结

前言

最近在做深度学习作业,利用ViT实现CIFAR10图像分类,在自己电脑上跑的太慢了,10个epoch要跑一天,实在是受不了,就在网上到处寻找免费的GPU,goole colab上面的GPU只能使用一会儿,长时间会断开,到第二天才能用,然后就把目光瞄准了kaggle。

一、kaggle是什么?

Kaggle是一个全球知名的数据科学竞赛平台,由Anthony Goldbloom和Ben Hamner于2010年在墨尔本创立,并于2017年被谷歌收购,现成为Google Cloud的一部分。Kaggle为数据科学家、机器学习工程师和学生提供了一个展现和提升技能的舞台,通过参与各类数据建模和机器学习的竞赛,用户可以与全球各地的参赛者一决高下。平台还提供大量的公开数据集、机器学习Notebook和教程,为用户提供了学习和练习数据科学技能的优质环境。同时,Kaggle的竞赛通常由各大企业和研究机构赞助,推动了数据科学领域的研究,并为企业寻找创新解决方案提供了机会。

二、如何使用kaggle平台的GPU

在Kaggle上,每周可以免费使用30个小时的GPU,并且GPU的容量是16G起步。但需要注意的是,一次训练最长持续9个小时,超过时长则会自动停止训练。此外,如果选择保存版本离线训练,那么离线训练的环境也在使用你的GPU免费训练时长。如果不退出Kaggle而是继续开启GPU看着模型训练,那么将会使用两倍的GPU训练时长。

1.注册账号 访问Kaggle网站:打开浏览器,访问Kaggle的官方网站,即https://www.kaggle.com/。点击注册:在网站的右上角,你会看到“Register”按钮,点击它开始注册过程。选择注册方式:Kaggle支持两种注册方式,使用谷歌账号注册或使用邮箱注册。如果你有谷歌账号,可以选择使用谷歌账号进行注册;如果没有,可以选择使用邮箱注册(推荐使用主流且稳定的邮箱,如qq邮箱,避免因邮箱关闭导致Kaggle账号丢失)。 2.训练前的工作

点击页面左侧的加号,新建一个notebook

然后到达新页面,点击右侧的upload,可以上传数据,另外在Session options里面可以选择设备类型(前提是绑定手机号)。

 将数据集和源代码打包上传,设置好名字后,点击create等待上传。

上传成功之后,显示sucess!

3.如何训练模型 在线训练

上传的模型会存储在input文件夹下,因为input目录只可读,而output里面的working目录可读可写,我们需要将它转移到output文件夹中.

import shutil shutil.copytree(r'../input/my-vit', r'./project')

前面是上传模型的路径。后面是output文件夹下的文件名,根据自己的需要来决定。

使用%cd来定位文件夹,在文件夹下使用%ls可以查看文件夹下面的所有文件

%cd /kaggle/working/project/ViT_Code %ls

然后就可以在这个文件夹下面运行代码了,我要运行train.py文件,输入下面这行代码,就可以开始训练了。

!python train.py 离线训练

点击页面右上角的Save version,可以进行离线训练,但是一次训练最多跑9个小时,不过对于我来说已经足够了。如果模型训练时间需要很长时间的,不建议直接在cell中训练,因为一段时间不操作后会掉线。

模型开始进行离线训练。

在项目页面还可以输出日志,便于查看。

总结

被深度学习作业折磨了很久了,自己电脑跑不起来,所以放在了kaggel上面,简单记录了一下,后续有问题会继续跟进。



【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭