Rclone入门对象存储云到云迁移
rclone是一款开源数据传输工具,支持跨云平台文件同步。本文演示了如何在Linux服务器上安装rclone,并配置腾讯云COS和火山引擎TOS的S3协议连接。通过创建配置文件设置访问密钥和端点信息,实现从腾讯云存储桶到火山存储桶的文件复制(使用copy命令)。配置需注意端点地址格式和权限设置,失败时可通过错误提示排查问题。该工具适用于多云环境下的数据迁移场景。
rclone是什么?
一款开源传输工具,类似rsync,常在云产品中做数据传输使用。
假设从腾讯(源端)到火山(目标端)
前期准备
双方的tos,ak,sk,一台linux/windows都行(我这里是Linux-ECS机器演示)
云厂商基本都支持s3协议,这里用s3演示。
腾讯云存储桶:
火山存储桶:
现在将腾讯的rs.txt 通过rclone传递到火山上的test123-temp桶内
ecs安装rclone
curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
速度慢的话,火山有镜像
wget https://tos-tools.tos-cn-beijing.volces.com/third-party/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
Copy binary file
sudo cp rclone /usr/bin/
sudo chown root:root /usr/bin/rclone
sudo chmod 755 /usr/bin/rclone
输入rclone version

配置2边的ak,sk信息(并且要配置tos的权限)
创建配置文件:
(这个是rclone默认去读的文件夹位置,否则用--config)
mkdir -p ~/.config/rclone/
vim ~/.config/rclone/rclone.conf
[config-tos]
type = s3
provider = Other
access_key_id = xx
secret_access_key = xx
region = cn-beijing
disable_http2 = true
force_path_style = false
endpoint = https://tos-cn-shanghai.volces.com
no_check_bucket = true
list_version = 2
[config-cos]
type = s3
provider = TencentCOS
access_key_id = xx
secret_access_key = xx
region = ap-beijing
force_path_style = false
endpoint = https://cos.ap-guangzhou.myqcloud.com
no_check_bucket = true
list_version = 2
改红色位置
config-tos名称,rclone使用命令的时候标识
type 协议名称,s3协议(大多厂商都支持的通用协议)
endpoint 存储桶的标识结构(每个厂商endpoint不一样,去厂商官网搜s3 endpoint)
火山endpoint-s3地址
https://www.volcengine.com/docs/6349/107356
腾讯直接兼容s3协议,相关endpoint如下
对象存储 使用 AWS S3 SDK 访问 COS_腾讯云
cos(腾讯),tos(火山)
检测是否配置成功
rclone config

执行相关脚本
sync代表的是同步存储桶内的所有内容
copy代表的是仅仅复制一部份文件
这里先测试copy,直接copy文件夹(他会把文件夹下的所有文件copy过去,book目录不会copy)
rclone copy -P config-cos:test-1300361641/a1.txt config-tos:test123-temp
rclone 命令 打印 配置源端:存储桶名称/文件名 配置目标端:存储桶名称

如果失败的话,我们假设把源端腾讯云存储桶权限关闭,再测试一下,可以访问
我刚在腾讯云用户列表禁用了用户。
禁用后,会报错

参考地址:Rclone
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)