从机上的 DiskErrorException - Hadoop 多节点
问题描述我正在尝试从hadoop处理XML文件，但在对XML文件调用字数统计作业时出现以下错误.IamtryingtoprocessXMLfilesfromhadoop,igotfollowingerroroninvokingword-countjobonXMLfiles.13/
发布：2022-10-16 标签：hadoopmapreducehadoop-streaminghadoop-partitioninghadoop-plugins
Windows 上的 Python Hadoop 流式传输，脚本不是有效的 Win32 应用程序
问题描述使用Hadoopstreaming.jar在Hadoop上执行mapreducepython文件时遇到问题.IhaveaproblemtoexecutemapreducepythonfilesonHadoopbyusingHadoopstreaming.jar.我使用:视
发布：2022-10-16 标签：pythonwindowshadoopmapreducehadoop-streaming
Python Hadoop Streaming 错误“ERROR streaming.StreamJob:作业不成功！"和堆栈跟踪:ExitCodeException exitCode=134
问题描述我正在尝试使用HadoopStreaming在Hadoop集群上运行python脚本以进行情绪分析.我在本地机器上运行的相同脚本正在正确运行并提供输出.要在本地机器上运行，我使用此命令.IamtryingtorunpythonscriptonHadoopclusterus
发布：2022-10-16 标签：pythonhadoopmapreducesubprocesshadoop-streaming
hadoop 流:如何查看应用程序日志?
问题描述我可以在我的/usr/local/hadoop/logs路径上看到所有hadoop日志Icanseeallhadooplogsonmy/usr/local/hadoop/logspath但是我在哪里可以看到应用程序级别的日志?例如:butwherecanIseeappli
发布：2022-10-16 标签：pythonlogginghadoopmapreducehadoop-streaming
Hive 失败:ParseException 行 2:0 无法识别“macaddress"附近的输入，“CHAR"“("在列规范中
问题描述我试过运行hive-v-fsqlfile.sql这是文件的内容CREATETABLEUpStreamParam('macaddress'CHAR(50),'datats'BIGINT,'cmtstimestamp'BIGINT,'modulation'INT,'chnli
发布：2022-10-16 标签：hadoophivehadoop-streaming
即使 Hadoop 正在运行，它也没有在作业跟踪器中显示我的作业
问题描述问题:当我向我的hadoop2.2.0集群提交作业时，它没有显示在作业跟踪器中但作业成功完成.可以看到输出并且它正在正确运行并在运行时打印输出.我尝试了多个选项，但作业跟踪器没有看到作业.如果我使用2.2.0hadoop运行流式作业，它会显示在任务跟踪器中，但是当我通过h
发布：2022-10-16 标签：javahadoophadoop-yarnhadoop-streaming
使用 hadoop 流和 mrjob 运行作业:PipeMapRed.waitOutputThreads(): subprocess failed with code 1
问题描述嘿，我对大数据世界还很陌生.我遇到了这个教程http://musicmachinery.com/2011/09/04/how-to-process-a-million-songs-in-20-minutes/HeyI'mfairlynewtotheworldofBigDa
发布：2022-10-16 标签：pythonhadoopmapreducehadoop-streamingmrjob
如何在 Elastic MapReduce 上的 Hadoop 2.4.0 中为每个节点设置精确的最大并发运行任务数
问题描述根据http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-sumption-gotchas/，确定每个节点并发运行任务数的公式为:Accordingtohttp://blog.cl
发布：2022-10-16 标签：amazon-web-serviceshadoop-yarnelastic-map-reducehadoop2hadoop-streaming
Storm UI 拓扑不起作用
问题描述我们正在LocalCluster中执行Storm拓扑.Storm拓扑运行良好并且能够连接StormUI(8090).但是StormUI没有显示正在运行的拓扑信息.WeareexecutingaStormtopologyinLocalCluster.Stormtopolog
发布：2022-10-16 标签：hadoopapache-kafkaapache-stormhadoop-streamingapache-storm-flux
apache Pig 试图在每个组中获得最大数量
问题描述我有猪格式的数据{(group,productId,count)}.现在我想获得每个组中的最大计数，输出可能如下所示NowIwanttogetmaximumcountineachgroupandtheoutputmightlookasfollows{(group,prod
发布：2022-10-16 标签：hadoopapache-pighadoop2hadoop-streaming