博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop调试记录(2)
阅读量:6914 次
发布时间:2019-06-27

本文共 3695 字,大约阅读时间需要 12 分钟。

自从上次调通hbase后很久没有碰hadoop了,今日想写一个mapreduce的小程序。于是先运行了下自带的wordcount示例程序,却报错了。

信息如下:

kevin@ubuntu:~/usr/hadoop/hadoop$ ./bin/hadoop jar hadoop-examples-1.2.1.jar wordcount readme.txt output15/05/11 08:20:04 INFO input.FileInputFormat: Total input paths to process : 115/05/11 08:20:04 INFO util.NativeCodeLoader: Loaded the native-hadoop library15/05/11 08:20:04 WARN snappy.LoadSnappy: Snappy native library not loaded15/05/11 08:20:05 INFO mapred.JobClient: Running job: job_201505110806_000315/05/11 08:20:06 INFO mapred.JobClient:  map 0% reduce 0%15/05/11 08:20:06 INFO mapred.JobClient: Task Id : attempt_201505110806_0003_m_000002_0, Status : FAILEDError initializing attempt_201505110806_0003_m_000002_0:java.io.IOException: Exception reading file:/~/usr/hadoop/hadoop/tmp/mapred/local/ttprivate/taskTracker/kevin/jobcache/job_201505110806_0003/jobToken    at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:135)    at org.apache.hadoop.mapreduce.security.TokenCache.loadTokens(TokenCache.java:178)    at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1289)    at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1226)    at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2603)    at java.lang.Thread.run(Thread.java:745)Caused by: java.io.FileNotFoundException: File file:/~/usr/hadoop/hadoop/tmp/mapred/local/ttprivate/taskTracker/kevin/jobcache/job_201505110806_0003/jobToken does not exist.    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402)    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255)    at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.
(ChecksumFileSystem.java:125) at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:436) at org.apache.hadoop.security.Credentials.readTokenStorageFile(Credentials.java:129) ... 5 more

错误是无法读取jobToken的文件,由于程序不会出错,推测是上次在配置hbase时修改hadoop的core-site.xml文件出错了。在stackoverflow上有一个同样的问题,有人建议删除 该配置文件中关于缓存文件目录的配置,因为这一部分是会被系统默认创建的,不需要手动配置。即下面这一部分:

1 
2
3
hadoop.tmp.dir
4
/app/hadoop/tmp
5
A base for other temporary directories.
6

删掉这个问题就解决了。关闭hadoop,重启hadoop。出现新问题 JobTracker is in safe mode:

15/05/11 08:47:40 ERROR security.UserGroupInformation: PriviledgedActionException as:kevin cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.SafeModeException: JobTracker is in safe mode    at org.apache.hadoop.mapred.JobTracker.checkSafeMode(JobTracker.java:5188)    at org.apache.hadoop.mapred.JobTracker.getStagingAreaDir(JobTracker.java:3677)    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)    at java.lang.reflect.Method.invoke(Method.java:483)    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587)    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432)    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428)    at java.security.AccessController.doPrivileged(Native Method)    at javax.security.auth.Subject.doAs(Subject.java:422)    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

碰巧stackoverflow上也有相关的问题,应该是权限的问题,运行以下命令即可:

bin/hadoop dfsadmin -safemode leave

问题均解决,wordcount成功运行。

转载于:https://www.cnblogs.com/KevinHelloWorld/p/4496169.html

你可能感兴趣的文章
Android][Android Studio] *.jar 与 *.aar 的生成与*.aar导入项目方法
查看>>
node-webkit教程(14)禁用缓存
查看>>
maven中properties标签定义变量
查看>>
Linux下路由配置梳理
查看>>
9.2. frame
查看>>
sql获取每门课程成绩最好的学生信息
查看>>
VS输出窗口(output view)的小技巧--文件行号字符定位
查看>>
14.4. Example
查看>>
[UIView beginAnimations:context:]与[UIView animateWithDuration:animations:]值得注意的一个区别...
查看>>
U3D的飞船太空射击例子中,使用coroutine
查看>>
Alibaba Cloud MaxCompute vs. AWS Redshift vs. Azure SQL Data Warehouse
查看>>
52.2. group by
查看>>
浅谈数据库用户表结构设计,第三方登录
查看>>
JS冒泡事件 与 事件捕获
查看>>
NetSetMan IP地址切换工具
查看>>
Lind.DDD敏捷领域驱动框架~Lind.DDD各层介绍
查看>>
单片机不同晶振怎么计算延迟时间?
查看>>
第 15 章 Div+CSS页面设计
查看>>
龙珠激斗大冒险掷筛子算法
查看>>
第 46 章 Regular expression (正则表达式)
查看>>