Hadoop:无法设置资源管理器进程的优先级

问题描述我是Hadoop的新手,我正在尝试使用Hadoop-3.1.2设置伪分布式模式执行。当我尝试启动纱线服务时,我收到以下错误,请参见下面的代码片段。$sbin/start-yarn.shStartingresourcemanagerson[]localhost:ERROR:

发布:2022-10-16 标签:hadoophadoop-yarn


Union All不会在配置单元中生成任何数据

问题描述我尝试为三个具有相同DDL结构的不同表执行Unionall,但最终输出生成零行。我对潜在的行刑中发生的事情一无所知。有人能分享你对这件事的看法吗?我的示例配置单元SQL如下所示。谢谢。SEThive.execution.engine=tez;SEThive.exec.dy

发布:2022-10-16 标签:sqlhadoophivehiveqlhive-query


稀疏数据/数据存储区/数据库是什么意思?

问题描述我最近一直在阅读Hadoop和HBase,并遇到了这个术语-HBase是一个开源、分布式、稀疏、面向列的存储...稀疏是什么意思?是不是跟sparsematrix有关?我猜这是它可以有效存储的数据类型的属性,因此,我想了解更多有关它的信息。推荐答案在常规数据库中,行稀疏,

发布:2022-10-16 标签:databasehadoopsparse-matrixdatabase-schemahbase


更改SPARK_TEMPORY目录路径

问题描述是否可以更改Spark在写入前保存其临时文件的_temporary目录?具体地说,因为我正在写入表的单个分区,所以我希望临时文件夹位于分区文件夹中。可能吗?文件输出委员会无法使用默认的${mapred.output.dir}/_temporary由于其实现方式,文件输出委

发布:2022-10-16 标签:hadooppysparkapache-sparkpartitioning


火花作为蜂巢的执行引擎

问题描述Spark2.4.2能否与AmazonEMR上的HIVE2.3.4一起用作执行引擎?我已经通过以下命令将JAR文件链接到hive(scala-库、spark-core、spark-Common-network):cd$HIVE_HOME/libln-s$SPARK_HOM

发布:2022-10-16 标签:scalahadoopapache-sparkhiveamazon-emr


Spark:哪些选项可以与DataFrame.saveAsTable或DataFrameWriter.Options一起传递?

问题描述开发人员和API文档都没有任何关于DataFrame.saveAsTable或DataFrameWriter.options可以传递哪些选项的参考,它们会影响配置单元表的保存。我希望在这个问题的答案中,我们可以汇总一些信息,这些信息将有助于Spark开发人员更好地控制Sp

发布:2022-10-16 标签:scalahadoopapache-sparkhiveparquet


无法获取Kerberos领域

问题描述我不熟悉Kerberos/配置单元,希望使用JDBC连接配置单元(已实现Kerberos)。>>org.apache.hadoop.conf.Configurationconf=new>>org.apache.hadoop.conf.Configuration();>>c

发布:2022-10-16 标签:hadoophivekerberos


运行更大的纱线作业的主要限制是什么?我如何增加它?

问题描述运行更大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么?我如何增加它?基本上,我希望同时执行更多(所有都很大)的SQOOP作业。我目前假设我需要增加资源管理器堆的大小(因为当我运行纱线作业时,这就是我在Ambari仪表板上看到

发布:2022-10-16 标签:resourcemanagerhadoophadoop-yarnhdp


Spark:多个Spark-并行提交

问题描述我有一个关于阿帕奇Spark的一般性问题:我们有一些消费Kafka消息的火花流脚本。问题:它们随机失败,没有出现特定错误...当我手动运行某些脚本时,它们在工作时什么也不做,其中一个脚本失败,并显示以下消息:错误SparkUI:绑定SparkUI失败Java.net.Bi

发布:2022-10-16 标签:hadoopapache-sparkhadoop-yarncloudera


纱线容器内存不足

问题描述我的纱线容器内存不足:此特定容器运行一个Apache-Spark驱动程序节点。我不理解的部分:我将驱动程序的堆大小限制为512MB(您可以在下面的错误消息中看到这一点)。但是纱线容器抱怨内存>1GB(也请参见下面的消息)。您可以验证YAIN正在启动Java是否与Xmx51

发布:2022-10-16 标签:javahadoopapache-sparkhadoop-yarncloudera