ADF日志分析-如何关联多个管道

问题描述我一直在做一些实验,对于LogAnalytics中的ADF日志,关联ID似乎是管道RunID的副本。TriggerID似乎为空。我有一个调用其他管道的管道。ScheduledTrigger->Pipeline1->activity1executepipeline(pipe

发布:2023-01-03 标签:azure-data-factory-2


如何在Azure数据工厂中动态更改流水线级别的默认参数值

问题描述我在ADF中的管道级别指定的参数很少,我在dev环境中使用了默认值。现在,我想将此管道移动到Prod环境,并希望根据生产更改参数值。之前是我们用来配置(SQL、XML...)的SSIS在不更改SSIS包中的任何内容的情况下执行此类更改。我们是否可以在ADFI中执行相同的操

发布:2023-01-03 标签:azure-data-factory-2


使用DataFactory将文档从一个容器复制到另一个容器,并在文档中添加分区键值

问题描述我的工作是将数据从CosmosDb中的容器移动到同一数据库中的另一个容器。在我的新数据库中,我将分区键定义为/pkey,但要移动的文档没有名为&pkey&qot;的键。我希望在将文档移动到新容器时创建此密钥,并且此PKey将通过在文档中连接少量我的密钥值来包含值(例如,P

发布:2023-01-03 标签:azure-data-factory-2


在Azure数据工厂管道中处理空值

问题描述我已在Azure中创建了一条管道,并将数据从CSV导入到SQL表。当CSV中有Null/空值时,转换数据时出现异常。我尝试将验证放在连接的空值文本框中,但它不起作用。有没有人能帮忙推荐答案处理Azure数据工厂中的null值创建派生列并使用iifNull({ColumnN

发布:2023-01-03 标签:azurenullazure-data-factory-2azure-synapseazure-data-lake-gen2


如何在Web活动中使用DataSet和LinkedServices?

问题描述有人能给我一个有关使用这两个属性的完整示例吗?并且officialexample中有一些奇怪的地方。{"body":{"myMessage":"Sample","datasets":[{"name":"MyDataset1","properties":{...}}],"l

发布:2023-01-03 标签:azure-data-factory-2


Azure Storage V2 Blob事件-未触发ADF

问题描述我有一个Azure数据工厂V2(X),带有BLOB事件触发器。BLOB事件触发器工作正常,当我使用存储资源管理器手动上传文件时,它会触发DataFacotry(X)。但是,当我使用另一个数据工厂(Y)将文件写入同一Blob存储而不是手动写入时,该事件不会触发我的数据工厂(

发布:2023-01-03 标签:azure-data-factory-2azure-eventgrid


Azure Data Factory V2检查复制活动的文件大小

问题描述我需要对本地数据源中的文件运行复制活动。我需要检查文件大小,如果大小大于0,则将其复制。如果文件大小为0,我将发送通知,以便管理员检查来源。问题是,在GETMETADATA活动中,字段列表中的参数不包括SIZE。此外,验证活动也不查找Size属性。有什么建议吗?同样,文件

发布:2023-01-03 标签:azure-data-factory-2


在架构推理分析json中检测到格式错误的记录

问题描述我在尝试使用ADF中的数据集解析从Blob存储读取的基本JSON时遇到非常令人沮丧的错误我的儿子在下面[{"Bid":0.197514880839,"BaseCurrency":"AED"},{"Bid":0.535403560434,"BaseCurrency":"AU

发布:2023-01-03 标签:azurejsonazure-data-factory-2


Azure数据工厂从URL保存CSV

问题描述我需要使用AzureDataFactoryv2从URL下载CSV文件。URL为:https://api.worldtradingdata.com/api/v1/history?symbol=SNAP&output=csv&sort=newest&api_token=dem

发布:2023-01-03 标签:azure-data-factory-2


获取在数据工厂中执行单个管线的成本

问题描述我正在研究使用AzureDataFactoryV2进行集成导入,并想知道是否有方法可以跟踪正在运行的单个管道的成本?例如,如果我有3条管道,分别代表3个不同的集成,是否有办法查看每条管道产生的成本?有没有办法近乎实时地完成这项工作,这样我就可以在一个月内以某种方式为每个集

发布:2023-01-03 标签:azure-data-factory-2