运行更大的纱线作业的主要限制是什么？我如何增加它？
问题描述运行更大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么？我如何增加它？基本上，我希望同时执行更多(所有都很大)的SQOOP作业。我目前假设我需要增加资源管理器堆的大小(因为当我运行纱线作业时，这就是我在Ambari仪表板上看到
发布：2022-10-16 标签：resourcemanagerhadoophadoop-yarnhdp
zookeeper + 无法从客户端会话 ID 中读取额外数据
问题描述我们有带有3台kafka机器和3个zookeeper服务器的hadoop集群wehavehadoopclusterwith3kafkamachinesand3zookeeperservershadoop版本-2.6.4(HORTONWORKS)hadoopversion-
发布：2022-10-16 标签：apache-kafkaapache-zookeeperhdp
在纱线上运行时，自定义 spark 找不到 hive 数据库
问题描述按照https://georgheiler.com/2019/05/01/headless-spark-on-yarn/即以下内容:#downloadacurrentheadlessversionofsparkexportSPARK_DIST_CLASSPATH=$(ha
发布：2022-10-16 标签：apache-sparkhadoop-yarnhiveapache-spark-sqlhdp
如何在不使用 HDP 3.1 中的仓库连接器的情况下从 Spark 编写表以配置单元
问题描述当尝试在HDP3.1上使用spark2.3将没有仓库连接器的Hive表直接写入配置单元模式时，使用:whentryingtousespark2.3onHDP3.1towritetoaHivetablewithoutthewarehouseconnectordirectly
发布：2022-10-16 标签：apache-sparkhiveapache-spark-sqlhadoop3hdp
错误 1066:无法在 Pig 中打开别名的迭代器，通用解决方案
问题描述ApachePig中一个非常常见的错误消息是:Averycommon,errormessageinApachePigis:错误1066:无法打开别名的迭代器ERROR1066:Unabletoopeniteratorforalias有几个问题提到了这个错误，但没有一个给出
发布：2022-10-16 标签：debuggingapache-pighortonworks-data-platformhdp
zookeeper + 无法从客户端会话 ID 中读取额外数据
问题描述我们有具有3台kafka机器和3个zookeeper服务器的hadoop集群wehavehadoopclusterwith3kafkamachinesand3zookeeperservershadoop版本-2.6.4(HORTONWORKS)hadoopversion-
发布：2022-10-16 标签：apache-kafkaapache-zookeeperhdp
如何在HDP的自定义版本中以无头模式运行spark?
问题描述如何在无头模式下运行spark?目前，我正在集群上的HDP2.6.4(即默认情况下安装了2.2)上执行spark.我从https://spark.apache.org/downloads.html.确切的名称是:用scala2.11预先构建，并且用户提供了hadoopHo
发布：2022-10-16 标签：configurationapache-sparkheadlessambarihdp
Spark SQL在HDP中的Hive中找不到表
问题描述我使用HDP3.1，并添加了所需的Spark2，Hive和其他服务.我打开了Hive中的ACID功能.spark作业无法在配置单元中找到表格.但是该表存在于Hive中.异常喜欢:org.apache.spark.sql.AnalysisException:找不到表或视图S
发布：2022-10-16 标签：apache-sparkhivehdp
zookeeper +无法从客户端会话ID中读取其他数据
问题描述我们有具有3个kafka机器和3个zookeeper服务器wehavehadoopclusterwith3kafkamachinesand3zookeeperservershadoop版本-2.6.4(HORTONWORKS)hadoopversion-2.6.4(HOR
发布：2022-10-16 标签：apache-kafkaapache-zookeeperhdp
在Http模式下通过Thrift服务器连接到HBase的Python程序
问题描述我正在尝试编写一个简单的程序以节俭方式连接到HBase服务器，该节俭以Http模式启动(集群已进行kerberized)，但我始终会收到``读取零字节错误消息''IamtryingtowriteasimpleprogramtoconnecttoHBaseserverthr