Linux Ubuntu 系统如何下载百度云大文件【800G】,不用安装百度云客户端,全命令行操作。
最近在训练大模型,所需数据量很大,部分数据存在百度网盘,大约800G,训练机器是Ubuntu系统,没有界面,只能命令行操作。如果下载到本地,然后上传到训练机器,数据量大,太浪费时间。复制上面的网址到浏览器打开,输入百度账号,密码,短信验证码后会生成一个授权码。将授权码粘贴到此处,回车即可。注意:要等几分钟,我大概等了5分钟,就OK了。注意:保存的目录有讲究,一定要保存在【我的应用数据/hypy】这
·
1. 需求背景
最近在训练大模型,所需数据量很大,部分数据存在百度网盘,大约800G,训练机器是Ubuntu系统,没有界面,只能命令行操作。如果下载到本地,然后上传到训练机器,数据量大,太浪费时间。下面介绍如何在Ubuntu上下载百度网盘里面的大文件。
2. 安装Python环境。
安装Anaconda。
下载:
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
安装:
bash Anaconda3-2024.10-1-Linux-x86_64.sh
3. 安装bypy包
pip install bypy
4. 安装完成后执行以下命令
bypy info
输出结果如下
(base) root@dell:/# bypy info
Please visit:
https://openapi.baidu.com/oauth/2.0/authorize?client_id=q8WE4EpCsau1oS0MplgMKNBn&response_type=code&redirect_uri=oob&scope=basic+netdisk
And authorize this app
Paste the Authorization Code here within 10 minutes.
Press [Enter] when you are done
复制上面的网址到浏览器打开,输入百度账号,密码,短信验证码后会生成一个授权码。将授权码粘贴到此处,回车即可。注意:要等几分钟,我大概等了5分钟,就OK了。
5. 将你要下载的文件保存到你的百度网。
注意:保存的目录有讲究,一定要保存在【我的应用数据/hypy】这个目录下。如果没有保存在这个目录下,后期无法下载。
6. 执行下载命令。
查看下载目录列表:
bypy list
该命令可以查看 目录【我的应用数据/hypy】下有哪些文件夹。
下载目录【我的应用数据/hypy】下的某个文件夹。
bypy downdir coco_train.zip ./
我想把coco_train.zip 下载到当前文件夹。
7. 如果想退出账号,使用其他账号,可以删除本地的配置文件
rm ~/.bypy/bypy.json
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)