从COSMOS数据库批量删除记录的Azure函数

问题描述我计划(在Azure数据工厂管道之后)从CosmosDB容器中批量删除一些记录,给出特定的字段标准。我想运行Azure功能的方式是通过HTTPS触发器,但我不知道运行批量删除是否可行,如果可行...你有这样的例子吗?提前谢谢您推荐答案目前无法对Cosmos容器执行批量删除

发布:2022-10-16 标签:azure-functionsazure-data-factoryazure-cosmosdb


如何在Azure数据工厂中将HH:MM:SS转换为总秒数

问题描述在AzureDataFactory中,如何将"hh:mm:ss"转换为总秒数。在添加动态内容&部件中,我要使用AzureDataFactory中的"@Activity(‘dataflow’).Duration"来获取我当前活动的持续

发布:2022-10-16 标签:azure-data-factoryazure-data-factory-2dataflowazure-data-factory-pipeline


ADF-如何将包含多个工作表的Excel工作表复制到单独的.csv文件中

问题描述我当前有一个包含多个工作表(超过11个)的Excel文件。此Excel文件当前位于远程文件服务器中。我正在尝试使用AzureDataFactoryV2复制Excel文件,并在ADLSGen2文件夹中将每个工作表拆分为其自己的.csv文件。这是因为并不是每个选项卡都有相同的

发布:2022-10-16 标签:excelcopyazure-data-factoryazure-data-factory-2azure-data-factory-pipeline


Azure数据工厂复制数据速度很慢

问题描述源数据库:托管在AzureVMD16s_v3上的PostgreSQL目标数据库:托管在AzureVMd4s_v3上的SQLServer开发人员版源数据库大小约为1TB目标数据库为空,现有架构与源数据库相同吞吐量仅为1Mb/s。没有任何帮助。(我已选择最大DIU)此时SQL

发布:2022-10-16 标签:azureazure-data-factoryazure-data-factory-2


如何使用ADFS表达式生成器提取两个字符之间的字符串?

问题描述我正在尝试使用ADF表达式生成器中的表达式提取文件名的一部分。我尝试提取的部分大小是动态的,但始终显示在"_"和"-"之间。如何开始执行此提取?谢谢!推荐答案假设有一个名为FileName的管道参数,您可以使用下面的表达式来提取‘_’和‘-’之间的值,例如输入‘ab_cd

发布:2022-10-16 标签:azureexpressionazure-data-factory


Azure Data Factory AWS PostgreSQL RDS作为源连接

问题描述我正在尝试使用AWSPostgreSQLRDS实例作为数据工厂管道的源。我无法在ADFv1或v2中使用此连接。我尝试了所有方法,从使用PostgreSQL连接到用于PostgreSQL的Azure数据库。从本质上讲,我将实现云到云,但这种连接似乎还不受支持。还有谁幸运地做

发布:2022-10-16 标签:amazon-web-servicespostgresqlamazon-rdsazure-data-factory


从REST API获取数据并将其存储在Azure Data Lake中

问题描述从restAPI获取数据并将其作为JSON存储在Azure数据湖中有意义吗?还是应该将数据直接存储到AzureSQL中?我已经尝试了这两种方法,但不清楚在哪种情况下将数据保存到AzureDataLake是值得的。推荐答案是的,这是一种非常正常的模式,特别是在收集大量数据时

发布:2022-10-16 标签:azure-data-factoryazure-data-lake


将数据流参数传递给Azure数据工厂中的Sink Key列

问题描述我想实现SCD类型2逻辑,但使用动态表和来自配置表的动态键字段,我遇到了一个挑战,要将数据流参数作为我的AlterRow活动的SinkKey列传递,它没有采用参数值,并且总是将错误作为无效的键列名称给出,我尝试为SinkKey列处的表达式构建器选择Dataflow参数,并

发布:2022-10-16 标签:azureazure-data-factory


如何在数据工厂表达式中替换CR和LF

问题描述似乎没有明确的答案,我使用的是映射数据流和派生列表达式。我有经过的数据,其中包含空格、回车符和换行符,我不想用任何内容来替换它们。例如:JennyMcCarthy-15SomewhereRoadSomeplaceSomePostcodeSomeCity这是列:名字/姓氏/

发布:2022-10-16 标签:expressionazure-data-factory


是否使用Copy Foreach循环重命名Blob文件夹?

问题描述我的Blob中有一个拼图文件层次结构,存储为yyyy/MM/dd/yyyy_MM_dd_hh_mm_ss_[source].parquetdd文件夹在24小时内包含多个文件,每小时至少一个。文件夹间的示例:2018/04/01/2018_04_01_06_37_14_AB

发布:2022-10-16 标签:regexazure-data-factoryazure-data-factory-2azure-data-flow