使用Spark从Azure Blob读取数据

为了从Blob存储中读取数据，需要完成两件事。首先，您需要告诉Spark在基础Hadoop配置中使用哪个本机文件系统。这意味着您还需要在类路径中使用Hadoop-
Azure JAR
（请注意，与Hadoop系列相关的更多JAR可能对运行时有要求）：

JavaSparkContext ct = new JavaSparkContext();Configuration config = ct.hadoopConfiguration();config.set("fs.azure", "org.apache.hadoop.fs.azure.NativeAzureFileSystem");config.set("fs.azure.account.key.youraccount.blob.core.windows.net", "yourkey");

现在，使用

wasb://

[s]

ssc.textFileStream("wasb[s]://<BlobStorageContainerName>@<StorageAccountName>.blob.core.windows.net/<path>");

不用说，您需要从进行查询的位置到Blob存储设置适当的权限。