自建大数据平台，发现迁移数据好慢。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2583 天前的主题，其中的信息可能已经有所发展或是发生改变。

之前一直在阿里云上使用，最近在做数据迁移，工作倒是还算顺利，就是数据太大，拉取好慢。不知道大家都是怎么迁移的，目前我们是使用阿里云 oss 做中转，然后下载到自建集群上。

12 条回复 • 2017-11-16 21:45:16 +08:00

gouchaoer

2017-11-16 14:59:04 +08:00

经验就是一股脑把数据复制到 hdfs 里面，然后导入 spark/hive 最快，都是阿里云内网迁移的话速度应该很快

gouchaoer

2017-11-16 15:00:30 +08:00

我写了一个从数据库迁移到 hive 得，如果是集群迁移到集群得话直接复制 hdfs 比较快吧

gouchaoer

2017-11-16 15:00:37 +08:00

lilongn1

2017-11-16 15:34:46 +08:00

阿里云做大数据不是进去容易出来难吗

findbrick

2017-11-16 15:53:33 +08:00

@gouchaoer 自建机群不是阿里云的是自己的机房
@lilongn1 再难也得出来啊

likuku

2017-11-16 16:24:02 +08:00

问问阿里云是否支持自己寄送硬盘到 IDC，让阿里云直接帮把数据导出到自己硬盘上带走的服务(类似 aws snowball)

icemanpro

2017-11-16 17:05:32 +08:00

@likuku 云市场有这服务。

icemanpro

2017-11-16 17:06:09 +08:00

@likuku 看错了，有导入的。

findbrick

2017-11-16 20:02:26 +08:00

@likuku 亚马逊可以上门对拷开大货车哈哈

WeberXie

2017-11-16 20:12:33 +08:00

带着硬盘直接去机房拷贝吧

findbrick

2017-11-16 21:26:19 +08:00

@WeberXie 几个 T 的数据不至于上门啊

4KMOMhIkocgLELMt

2017-11-16 21:45:16 +08:00 via iPhone

@findbrick 家里 100M 电信宽带每秒下载 12M，一天也能下 1T 咋…