V2EX › VoidChen 的所有回复 › 第 27 页 / 共 40 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 23 24 25 26 27 28 29 30 31 32 ... 40

❮

❯

2018-12-03 15:45:14 +08:00

回复了 Phoa 创建的主题 › 生活 › 19 届毕业生，对未来的生活感到有些迷茫

去一线城市，工资翻倍，多出来的钱养她，让她在一线城市随便找个工作玩

2018-11-30 13:33:59 +08:00

回复了 luozhiyun 创建的主题 › 程序员 › 深耕大数据还是继续深耕 Java

@leiuu 是会用 hive，其他我都用了 1 年了，正在学 scala，scala+spark 一周上手开发，全归功于 java 功底= =

2018-11-30 08:56:06 +08:00

回复了 luozhiyun 创建的主题 › 程序员 › 深耕大数据还是继续深耕 Java

另外现在很多 java 也要会一点大数据的组件了，solr，hbase，redis 那些，自己有空得看一下

2018-11-30 08:53:52 +08:00

回复了 luozhiyun 创建的主题 › 程序员 › 深耕大数据还是继续深耕 Java

给你说个实话，大数据的话 hive 只是冰山一角，我最近从 storm 转 spark，hive 花了 1 天就会用了（我是有用过 hdfs 和 hbase 所以比较快上手，算是一年大数据经验吧）

2018-11-29 08:59:46 +08:00

回复了 zhang0320 创建的主题 › Java › 菜鸟遇到一个关于 spring boot 操作数据库问题，请教一下各位。。

LS 正解，这不是框架的事

2018-11-28 13:37:51 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@wellking01 HBase 呢直接存进去不好查，这里的是源数据，还有一个天作业会每天 0 点读出来做处理，然后再入 hbase 的

2018-11-28 13:34:02 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@libook MongoDB 我也用过哈哈哈，这算数据仓库的内容了？我一直对自己的定义都只是一个后台。。。

2018-11-28 11:09:22 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@cyspy 刚去算了一下，10 分钟也就 144 个文件，好像也能接受。。。因为真实数据得去现场才能试，现在拿测试数据所以搞出来的文件才比较小。。。

2018-11-28 10:48:14 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@mwiker 这批数据会有程序处理的，我保存起来是作为历史数据保存，并加以压缩

2018-11-28 10:47:18 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@wysnylc 数据量一天在 2 亿左右，关系型数据库基本放不下。。或者说性能不好。。。

2018-11-28 10:05:37 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@wleexi 没有，钓鱼 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

2018-11-28 09:59:04 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

2018-11-28 09:58:45 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@sagaxu 是啊，思路是一致的，多出来的就是考虑到分布式上去了，想象成多个 FTP 各自汇总各自的，然后弄成 N 个汇总文件在 N 台机子上

2018-11-28 09:57:02 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

没有在划水，到处找资料，理想状态是能把各块数据尽可能地靠拢，保证每台机有一两块或者多块集合的大文件，这样就可以兼顾存储和方便后续并行计算，现在看看 spark 的 repartation 能不能智能地把新数据往已有的数据块靠拢

2018-11-28 09:54:27 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@lfzyx 现在已经流行自动化测试了，得用 python 写脚本 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

2018-11-28 09:53:03 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@qingfengxm 就是从 kafka 里面读出来的。。存 orc 是为了方便重新读出来和做 hive 外部表

2018-11-28 09:50:47 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@yhxx 我前后端都做过啦，虽然是在大学的时候，另外舍友是个专业的前端，还有一个舍友是 PHP，毕业合租到现在，所以都各种都了解一点 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

2018-11-28 09:49:17 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

@zander1024 没压力就自己学着玩呗，以后总的转架构吧，总要学一下分布式吧 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

2018-11-28 09:44:33 +08:00

回复了 VoidChen 创建的主题 › 程序员 › 原来大家对于后端的认知就是 crud 连接数据库和写业务

168 点击只有一个回复，其实后端的水也是很深的啊，想想如果没有了框架，自己还会什么就知道了

1 ... 23 24 25 26 27 28 29 30 31 32 ... 40

❮

❯