博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop中利用打印语句来调试程序
阅读量:6815 次
发布时间:2019-06-26

本文共 973 字,大约阅读时间需要 3 分钟。

hot3.png

源代码:

在Map中通过调用System.err.println将信息打印到日志中,而不是标准输出窗口。

在默认情况下Job的状态为hdfs://localhost:9000/user/root/input/res/1903.gz:0+73075,状态表明:输入文件的URL,以及本Job的输入数据在文件中的位置,如本例中文件1903.gz的0到73075字节有本Job处理。如果出现错误,可以通过reporter.setStatus来改变的Job的退出状态。

  • 如何查看作业的退出状态?
在运行Hadoop程序后,会打印如下类似信息:
13/05/07 22:37:11 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/05/07 22:37:11 WARN snappy.LoadSnappy: Snappy native library not loaded
13/05/07 22:37:11 INFO mapred.FileInputFormat: Total input paths to process : 12
13/05/07 22:37:11 INFO mapred.JobClient: Running job: job_201305071200_0028
其中job_201305071200_0028为Job的ID号
在http://jobtracker-host:50030/页面找到该Job的一栏,如

打开job_201305071200_0028连接,如下所示:

打开map链接,如下图所示:

可以看出task_201305071200_0028_m_000011的状态有变化,提示查看log文件。

  • 查看log文件
在http://jobtracker-host:50030/页面的最下面的Local Logs段中有Log directory一项,进入该项。进入最下面的userlogs/ ,找到与Job ID(job_201305071200_0028)对应的一行。找到出问题的task。并进入stderr 目录,打开就可以看见打印信息。

转载于:https://my.oschina.net/chyileon/blog/134926

你可能感兴趣的文章
Python常用模块汇总
查看>>
Java的类加载机制 为什么会出现锁机制?
查看>>
sa提开放系统下的虚拟新贵Virtualbox权技巧之xp_regwrite替换sethc.exe
查看>>
SpringBoot开发案例之整合Dubbo提供者(一)
查看>>
变态的程序
查看>>
腾讯抄你肿么办 ?
查看>>
java多线程的Fork/Join
查看>>
Java SE7新特性之try-with-resources语句
查看>>
利用ADOX修改ACCESS表字段名(VC/MFC)
查看>>
ftp 服务器的配置
查看>>
JavaScript的浏览器兼容性问题小结。
查看>>
Oracle Hint的用法
查看>>
Postfix邮件系统
查看>>
《编写可读代码的艺术》读书文摘--第一部分 表面层次的改进
查看>>
使用Nodejs创建基本的网站 Microblog--《Node.js开发指南》 3
查看>>
网管工作是否值得做下去?
查看>>
神行者PD10-adb push逃脱ro权限
查看>>
Oracle PL/SQL 学习笔记
查看>>
JPA(四)之实体关系一对一
查看>>
如何使用羊驼自动生成缩略图的功能。
查看>>