各位 spark 上用的语言是 Python 还是 scala

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2563 天前的主题，其中的信息可能已经有所发展或是发生改变。

我们用的是 Python，但是 python 上还是少了一些功能，比如说 udaf

想问下大家用的是哪个语言，有没有必要从 python 切换到 scala

第 1 条附言 · 2017-12-07 15:37:08 +08:00

用了一段时间 scala 之后觉得对我来说从 python 切换到 scala 是明智的决定

35 条回复 • 2020-03-11 15:03:14 +08:00

echo1937

2017-11-28 07:16:28 +08:00 via iPhone

用的 Java，学习 Scala 的成本有点高

tinybaby365

2017-11-28 07:18:04 +08:00 via iPhone

Scala，越用越喜欢

ihainan

2017-11-28 07:29:42 +08:00 via Android

Scala。

anjunecha

2017-11-28 07:39:43 +08:00 via iPhone

python 和 java 都有，想学 Scala

kuroismith

2017-11-28 07:41:19 +08:00

我们用的 kotlin, scala 学习成本太高了
kotlin 非常容易上手, 写起来至少有 scala 8 成体验

teloti

2017-11-28 07:46:42 +08:00 via iPhone

python+spark 有性能问题，java 和 Scala 靠谱一些，Scala 是 spark 标配

knightdf

2017-11-28 09:58:31 +08:00

必须 scala, 再怎么也得 java，不会选择 python

burnex

2017-11-28 10:00:17 +08:00

网上看大家都用 scala，就用的 scala

lianxiaoyi

2017-11-28 10:54:41 +08:00

python 最简单。。。所以用的 python。。。。。

wusuopuBUPT

2017-11-28 11:22:23 +08:00

Scala，可以用最新的 feature

bnbvb

2017-11-28 11:40:52 +08:00

python 可以，听了前两天 java 迭代计划，新的 feature 出的会比以前快多了，而就新公布的语法糖来看，会跟 scala 之类的语言越长越像(chao de kuai)，学习 scala 动力不足了。

90928yao

2017-11-28 12:08:36 +08:00

@kuroismith kotlin 还是用的 JAVARDD 把，还是有点蹩脚把

bramblex

2017-11-28 12:13:14 +08:00

被 Haskell 虐过的表示...
楼上说学 scala 学习成本高?

ufo22940268

2017-11-28 12:37:49 +08:00 via iPhone

@bnbvb 能不能发个链接给我

bigknife

2017-11-28 13:35:18 +08:00

首选 Scala ！

如果把 Scala 当作 Better Java 其实学起来并不难，仅仅是一些语法上的变换，一旦学会了 Scala 的语法以后，再也不想写 Java 代码了，然后真的理解了为什么那么多人说 Java 非常啰嗦！

如果把编程范式一起也变了（命令式 -> 函数式），那还是有一定难度的，关键是思想的改变，推荐 Scala 的红宝书《 Functional Programming in Scala 》，https://www.manning.com/books/functional-programming-in-scala 网上也有英文的 pdf 版本，国内有一个翻译版，英文好的同学建议看英文版，因为有些东西翻译过来后，感觉怪怪的，不容英文容易懂。

另外我们团队有一个分享视频集合，对大家学习 Scala 有帮助：

?spm=a2hzp.8244740.0.0&f=51304613 如果大家发现里面有什么错误可以跟我交流：bigknife AT outlook.com

bigknife

2017-11-28 13:39:31 +08:00

@bramblex 学会 Haskell，走遍天下都不怕，上通 Scala，下探 Rust