在日常数据处理工作中，我们经常会遇到需要从不同数据源动态读取文件的情况。尤其是在使用Azure Blob Storage存储数据时，如何灵活地处理每天多次更新的CSV文件，是一个常见但不易解决的问题。本文将通过一个实例，详细介绍如何在Power Query中使用动态参数来实现这个需求。

背景介绍

假设你有一个Azure Blob Storage账户，其中存储了CSV格式的数据文件，这些文件每天会更新5次，每次更新都会生成一个新的文件名，并且文件都存放在同一个特定文件夹下。你的目标是将这些数据进行预处理后导入到Azure SQL数据库中。

解决方案

为了实现这个目标，我们需要在Power Query中设置一个动态参数，以便根据每次新上传的文件名来读取数据。以下是具体步骤：

1. 创建管道参数：
   在Azure Data Factory中，创建一个名为TriggerFileName的管道参数。这个参数将用于接收触发器传递的文件名。

2. 创建数据集参数：
   在数据集设置中，创建一个名为FileName的参数。这个参数将用于指定要读取的文件名。

3. 设置参数值：

   • 在Power Query的设置中，将数据集参数FileName的值设置为@pipeline().parameters.TriggerFilename。这样，Power Query可以根据管道的参数值动态读取文件名。

   Source = AzureStorage.Blobs(“https://your-storage-account.blob.core.windows.net/your-container”, [ApiKey=“your-access-key”]),
   Files = Source{[Name=“your-folder”]}[Data],
   FileToLoad = Files{[Name=TriggerFilename]}[Content]

4. 添加触发器：

   • 添加一个触发器到你的数据管道，并在触发器配置中，将TriggerFilename参数的值设置为@triggerBody().fileName。这样，每当Blob Storage中的文件发生变化时，触发器会传递文件名给管道。

5. 发布和激活：

   • 确保发布所有更改，以激活触发器。

实例演示

假设你的Azure Blob Storage中有如下结构：

• data/
  • data_20230101.csv
  • data_20230102.csv
  • data_20230103.csv

当一个新的文件data_20230104.csv上传时：

1. 触发器捕获到新的文件名并将其传递给管道参数TriggerFileName。
2. Power Query根据这个参数值读取相应的文件内容。
3. 数据预处理：对数据进行清洗、转换等操作。
4. 导入到SQL数据库：将处理后的数据导入到预定义的Azure SQL表中。

通过这种方式，你可以在不修改代码的情况下，每次都能准确读取到最新的数据文件，极大地提高了数据处理的自动化程度。

总结

动态参数在Power Query中的应用不仅仅限于Azure Blob Storage，它可以用于任何需要动态读取文件或数据的场景。通过上述方法，你可以更灵活地管理和处理数据，减少手动操作，提升效率。希望这篇博客能为你提供一个清晰的解决思路和实践指导。