2018Year7Month

使用Sqoop将Oracle数据导入hdfs遇到的问题

案例介绍:原数据表存在Oracle数据库中,表数据量上亿条,业务需求将该数据库中表导入令一台数据库(oracle)表中,原实现采用dblink,但是数据量过大,导致数据传送过慢,甚至是失败。 解决方法…

Azkaban 3.50环境搭建遇坑

Azkaban 3.50环境搭建遇坑来由 由于笔者工作原因,好久没有更新博客,深表歉意。 由于最近接到公司领导要求,需要了解大数据相关技术,由于在学习工程中遇坑无数,也有好多是笔者技术层次原因,总之遇…