博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
oozie开发注意事项
阅读量:6803 次
发布时间:2019-06-26

本文共 1098 字,大约阅读时间需要 3 分钟。

ooziejob执行后

1. job.properties、coordinatior.xml中设置的值都是不可变的,除非将job kill掉,然后重新调度。

oozie job -kill 0000091-180116183039102-oozie-hado-C
oozie job -config job.properties -run

2. workflow.xml、script.q等文件可以通过rerun来重新刷新配置

  所以在开发时,尽量将公共变量放到coordinator.xml,job.properties中,可能变化的变量和值放到workflow.xml中,例如服务器ip、用户账号等

oozie job -rerun 0000092-180116183039102-oozie-hado-C -refresh -action 1-10

3. 通过sqoop导入时,暂时只能导入hdfs文件,不可以直接导入hive表中,总是出现下面错误,还需要进一步测试。

Encountered IOException running import job: java.io.IOException: Cannot run program "hive": java.io.IOException: error=2, No such file or directory

   变通的解决方法:

   带有partition的分区表,在导入hdfs后,通过执行hive添加分区即可解决,在oozie调度中分sqoop action和hive action两个步骤来完成。

${jobTracker}
${nameNode}
${hive_site}
hive_table=dw_stg.${job_name}
partition_dt=${params_dt}
# script.q alter table ${hive_table} add if not exists partition (dt='${partition_dt}');

 

转载地址:http://xauwl.baihongyu.com/

你可能感兴趣的文章
怎么解决浏览器兼容性问题
查看>>
从M个数中随机选出N个数的所有组合,有序,(二)
查看>>
hdu 1540 Tunnel Warfare(线段树区间统计)
查看>>
android 自定义按钮实现 home键 和返回键
查看>>
Android App测试要点
查看>>
深入理解C指针之三:指针和函数
查看>>
android(9)_数据存储和访问3_scard基本介绍
查看>>
eclipse自动部署问题
查看>>
Asp.Net验证码2
查看>>
Android APK反编译就这么简单 详解(附图)
查看>>
Python 随机数
查看>>
面向程序员的数据库访问性能优化法则
查看>>
创建, 发布自己的 Vue UI 组件库
查看>>
有关Android插件化思考
查看>>
redis 集群搭建以及redislive监测部署
查看>>
HTML5系列之meta
查看>>
react-router 4.x
查看>>
Wepy目录结构
查看>>
JS面试理论题
查看>>
Spring Boot 参考指南(Spring Integration)
查看>>