Thep Excel
AzureStorage.DataLakeเข้าถึง Azure Data Lake
AzureStorage.DataLake ดึงข้อมูลจากเสถียร Azure Data Lake Storage (ADLS) โดยส่งคืนตารางนำทางของไฟล์ในระบบไฟล์
Syntax & Arguments
| อาร์กิวเมนต์ | ชนิด | ค่าเริ่มต้น | คำอธิบาย |
|---|---|---|---|
| endpoint | text | URL ของบัญชี Azure Data Lake Storage filesystem ในรูปแบบ https://youraccount.dfs.core.windows.net/container | |
| [options]ไม่บังคับ | record | null | Record ที่ควบคุมพฤติกรรมการอ่าน/คำขอ (BlockSize, RequestSize, ConcurrentRequests, HierarchicalNavigation) |
[ ] = อาร์กิวเมนต์ที่ไม่บังคับ
Additional Notes
ฟังก์ชัน AzureStorage.DataLake ใช้สำหรับเชื่อมต่อกับระบบจัดเก็บข้อมูล Azure Data Lake Storage (ADLS) และดึงรายการไฟล์พร้อมข้อมูลเมตาดาต้าทั้งหมด ฟังก์ชันนี้จะสร้างตารางนำทาง (navigational table) ที่แสดงโครงสร้างไฟล์และโฟลเดอร์
ที่น่าสนใจคือคุณสามารถควบคุมประสิทธิภาพการอ่านข้อมูลผ่านตัวเลือกต่างๆ เช่น BlockSize สำหรับกำหนดขนาดบล็อกข้อมูล, RequestSize สำหรับกำหนดขนาดคำขอ และ ConcurrentRequests สำหรับกำหนดจำนวนคำขอพร้อมกัน
ส่วนตัวผมชอบใช้ตัวเลือก HierarchicalNavigation เป็นพิเศษ เพราะเมื่อตั้งค่าเป็น true ข้อมูลจะแสดงในรูปแบบต้นไม้ (tree structure) แทนที่จะเป็นรายการแบน ทำให้สามารถจัดการโครงสร้างโฟลเดอร์ได้ง่ายและชัดเจนยิ่งขึ้น โดยเฉพาะเมื่อทำงานกับข้อมูลที่มีหลายระดับโฟลเดอร์
Examples
เชื่อมต่อพื้นฐานกับ Azure Data LakeAzureStorage.DataLake("https://myaccount.dfs.core.windows.net/mycontainer")
ส่งคืนตาราง navigational ของไฟล์ในระบบไฟล์โดยใช้ตั้งค่า default
ใช้ options เพื่อปรับแต่งขนาดบล็อกAzureStorage.DataLake( "https://myaccount.dfs.core.windows.net/mycontainer", [BlockSize = 8388608] )
เพิ่ม BlockSize เป็น 8 MB (8388608 bytes) สำหรับไฟล์ขนาดใหญ่
ใช้ HierarchicalNavigation เพื่อมูลโครงสร้างโฟลเดอร์AzureStorage.DataLake( "https://myaccount.dfs.core.windows.net/mycontainer", [HierarchicalNavigation = true] )
ตั้ง HierarchicalNavigation = true เพื่อแสดงไฟล์แบบต้นไม้แทนรายการแบน
ตั้งค่า ConcurrentRequests สำหรับการดาวน์โหลดเร็วlet Source = AzureStorage.DataLake( "https://myaccount.dfs.core.windows.net/mycontainer", [ConcurrentRequests = 32, RequestSize = 4194304] ) in Source
เพิ่ม ConcurrentRequests เป็น 32 สำหรับการดาวน์โหลดขนานกัน (ระวังหน่วยความจำ)
FAQs
ต้องเชื่อมต่อแบบไหน?+
ใช้ฟังก์ชัน AzureStorage.DataLake ในขั้นตอน 'เข้าถึงข้อมูล' (Get Data) ของ Power Query Editor
BlockSize กับ RequestSize ต่างกันยังไง?+
BlockSize = จำนวนไบต์ที่อ่านก่อนรอผู้ใช้ (default 4MB) | RequestSize = จำนวนไบต์ต่อคำขอ HTTP (default 4MB)
ใช้ ConcurrentRequests เท่าไหร่เหมาะ?+
Default 16 ใช้ได้ดี แต่ถ้าไฟล์เล็ก ๆ อย่าง concurrent ต้องเฝ้าหน่วยความจำ (Memory = ConcurrentRequests × RequestSize)
HierarchicalNavigation ควรตั้ง true หรือ false?+
ตั้ง true ถ้าโครงสร้างโฟลเดอร์สำคัญและต้องการเห็นต้นไม้ / false ถ้าต้องการแค่รายการไฟล์แบน
ส่วน endpoint ที่ถูก format คือ?+
https://{StorageAccountName}.dfs.core.windows.net/{FilesystemName} (เช่น https://myaccount.dfs.core.windows.net/container)
Resources & Related
ฟังก์ชันที่ผู้เขียนโยงไว้กับ AzureStorage.DataLake จัดกลุ่มตามหมวด · ชี้ที่ชื่อใดชื่อหนึ่ง แล้วฟังก์ชันที่ใช้คู่กันจะมีจุดทอง
AzureStorage.BlobContents อ่านเนื้อหาของไฟล์ (blob) จากที่เก็บข้อมูล Azure Storage
AzureStorage.Blobs ดึงรายชื่อของ blobs (ไฟล์) ที่มีอยู่ในคอนเทนเนอร์ Azure Storage และสร้างตารางนำทางเพื่อเข้าถึงไฟล์เหล่านั้น
AzureStorage.DataLakeContents อ่านเนื้อหาของไฟล์จากระบบไฟล์ Azure Data Lake
Web.Contents เป็นฟังก์ชันสำหรับดาวน์โหลดเนื้อหาจากเว็บไซต์หรือแหล่งข้อมูลบนอินเทอร์เน็ตผ่าน URL และคืนค่าเป็นข้อมูลแบบ binary data ที่สามารถนำไปประมวลผลต่อได้
.
รองรับการเชื่อมต่อและเรียกใช้งาน REST API อย่างครบถ้วนพร้อมระบบการยืนยันตัวตนผ่านทางตัวเลือกต่างๆ เช่น การกำหนดค่า Headers สำหรับส่งข้อมูลเพิ่มเติมในคำขอ การใช้ Query parameters สำหรับการกรองข้อมูลและส่งพารามิเตอร์ และการระบุ ApiKeyName เพื่อจัดเก็บคีย์การเข้าถึงอย่างปลอดภัย
.
เหมาะอย่างยิ่งสำหรับการเชื่อมต่อกับบริการเว็บและจุดเชื่อมต่อ API แบบไดนามิก โดยใช้ความสามารถของ RelativePath และตัวเลือก Query เพื่อสร้าง URL แบบยืดหยุ่นและทำให้กระบวนการรีเฟรชข้อมูลทำงานได้อย่างราบรื่นและมีประสิทธิภาพในระบบ Power BI Service
ยังไม่มีบทความที่เกี่ยวข้องกับฟังก์ชันนี้
Comments
อีเมลของคุณจะไม่ถูกเผยแพร่