Bestanden kiezen met een Power BI- of SQL-query

In ontwikkeling

Het Source Type Dynamic BI data query kan in het jobdialoogvenster worden gekozen, en de velden ervan worden getoond zodat u kunt zien wat er komt. Ze kunnen nog niet worden ingevuld en een job met deze bron kan niet worden uitgevoerd: de job wordt nooit gevalideerd en bereikt dus nooit Gereed. Dit onderwerp beschrijft de functie zoals die wordt gebouwd.

Waarvoor een query op de BI-gegevens dient

Discovery legt elk gevonden bestand vast in de rapportagedatabase die SMART Migration voor het Power BI-rapport bijhoudt: de naam, het pad, de grootte, de datums, het aantal versies en de metadatakolommen. Een query op die gegevens kiest bestanden op basis van wat ze zijn, niet van waar ze staan:

Rapporteren over precies die bestanden

Voer de query uit als Discovery-job: het Power BI-rapport toont dan alleen de bestanden die voldoen, over alle bronnen heen.

Ze opnieuw migreren

Voer de query uit als Migratie-job om precies de overeenkomende bestanden nogmaals over te zetten (een tweede ronde, een correctie, een verzoek van een business owner) zonder een job per bibliotheek.

Een DORA-kopie van de kritieke bestanden

Markeer in de paar bibliotheken waarvan een kritieke functie afhankelijk is de kritieke documenten met een metadatakolom en bewaar een kopie van precies die documenten op één plek, elke nacht vernieuwd, om in een noodgeval bij te kunnen.

De query is de selectie: de job heeft geen eigen bibliotheek, share of OneDrive, en elk bestand wordt gelezen waar het zich bevindt.

Een kopie die de documenten volgt, voor DORA

Een query is maar zo actueel als de BI-gegevens die hij leest. Houd die gegevens actueel met een incrementele Discovery van de bibliotheken waarvan een kritieke functie afhankelijk is, en een queryjob repliceert hun kritieke documenten dynamisch: wat vannacht voldoet, wordt vannacht gekopieerd, waar het zich in die bibliotheken ook bevindt, zonder dat iemand een job bewerkt of een lijst exporteert.

De beschermde bibliotheken incrementeel ontdekken
Geef elke bibliotheek in de beschermde scope (de paar bibliotheken die bevatten wat kritieke functies nodig hebben, nooit de hele tenant) een terugkerende Discovery-job, dagelijks, met Incrementeel (alleen bestanden die sinds de laatste geslaagde run zijn gewijzigd) ingeschakeld. Na de eerste volledige scan leest elke run alleen wat sindsdien is aangemaakt of gewijzigd, zodat de BI-gegevens de documenten elke nacht volgen tegen een fractie van de kosten: nieuwe bestanden, nieuwe versies, gewijzigde metadata.
Aangeven wat kritiek is
Markeer de kritieke documenten op een manier die de BI-gegevens vastleggen: een metadatakolom zoals Critical, een inhoudstype, een site, een aantal versies, wat de organisatie al gebruikt.
De kritieke bestanden opvragen
Maak een terugkerende Migratie-job aan met Source Type Dynamic BI data query en een query die die bestanden kiest, naar de ene plek waar de kopie thuishoort. Plan de job na de Discovery-jobs (Discovery om 01:00, de kopie om 03:00), zodat hij de die nacht vernieuwde gegevens leest.
De kopie houdt zichzelf bij
Elke run neemt de bestanden die nu voldoen. Een document dat vandaag als kritiek is gemarkeerd, wordt vannacht gekopieerd; een kritiek document dat vandaag is bewerkt, wordt opnieuw gekopieerd; een bibliotheek die aan de beschermde scope is toegevoegd, wordt bereikt zodra de Discovery ervan is uitgevoerd.

Wat er bij de bron gebeurt	Wat de volgende runs doen
Een document wordt nieuw als kritiek gemarkeerd	Discovery legt de wijziging vast, de query kiest het bestand en de kopie neemt het mee
Een kritiek document wordt bewerkt	Discovery legt de nieuwe versie vast en de kopie neemt het opnieuw mee volgens de regel Nieuwe toevoegen, bestaande overschrijven indien nieuwer
Een document is niet langer als kritiek gemarkeerd	De query kiest het niet meer; de eerder gemaakte kopie blijft zoals hij is, omdat een migratie nooit iets op de bestemming verwijdert
Een bibliotheek wordt aan de beschermde scope toegevoegd	Geef haar een terugkerende Discovery-job en de query bereikt haar vanaf de volgende nacht

Dynamische replicatie voor DORA

De kopie wordt bepaald door wat de documenten zijn, niet door waar ze staan: waar een kritiek document ook wordt aangemaakt, verplaatst of gewijzigd, de runs van de volgende nacht vinden het en kopiëren het. Discovery leest alleen wat is gewijzigd, zodat de hele cyclus kort genoeg blijft om elke nacht te herhalen, en de Run-geschiedenis legt elke vernieuwing vast (welke bestanden zijn meegenomen en hoe de run is geëindigd): het bewijs waar een auditor om vraagt.

Een DORA-kopie van geselecteerde bibliotheken, geen back-up

Microsoft 365 beperkt zware en frequente leesacties, dus geen enkele terugkerende job kan een hele tenant synchroon houden. Houd de terugkerende scope (de Discovery-jobs en de kopie samen) als vuistregel bij minder dan 20 bibliotheken van elk minder dan 50.000 bestanden, en nooit meer dan ongeveer 50 bibliotheken in totaal. Deze opzet is een weerbaarheidskopie van geselecteerde bibliotheken, om in een noodgeval bij te kunnen. Het is geen back-up van SharePoint Online, SharePoint Server of bestandsshares naar Nextcloud: het back-uppen van een hele tenant of bestandsserver is een taak voor een daarvoor gebouwd back-upproduct, en de inhoud buiten de beschermde scope wordt één keer gemigreerd of blijft waar hij is.

Af en toe een volledige Discovery

Een incrementele run neemt mee wat sinds de vorige run is toegevoegd of gewijzigd. Om de BI-gegevens volledig in overeenstemming te brengen met de bronnen, inclusief bestanden die daar zijn verwijderd of verplaatst, stelt u de From Date van de Discovery-jobs af en toe opnieuw in, bijvoorbeeld maandelijks, zodat de volgende run een volledige scan is.

Meer lezen: Incrementele runs: alleen de bestanden die sinds de laatste run zijn gewijzigd · Digitale operationele weerbaarheid (DORA), de sectie Kiezen wat u beschermt · Volume en duur schatten · Een migratie plannen en uitvoeren, golf voor golf · Planning, herhaling en prioriteit

Voor een rapport of een eenmalige migratie kan een query elke bron bereiken die een eenmalige Discovery heeft vastgelegd, hoeveel het er ook zijn: dat is één ronde, geen kopie die synchroon wordt gehouden. Zie Kiezen welke bestanden een job meeneemt

Twee manieren om de query te schrijven

Querytaal	Hoe u hem schrijft	Het meest geschikt voor
DAX-query uit Power BI	Filter een visual in het Power BI-rapport op de gewenste bestanden, leg de query ervan vast met Performance Analyzer en laat Omzetten naar SQL er SQL van maken	Criteria die u al in Power BI bij elkaar klikt: slicers, filters, metingen
SQL WHERE-component	Schrijf de voorwaarden zelf, als de WHERE-component van een select op de BI-gegevens: `version_count > 100 AND my_column = 'abc'`	Criteria die het rapport niet toont, of voorwaarden over meerdere kolommen

Hoe SMART Migration de query uitvoert

De job geeft SMART Migration voorwaarden, geen volledige query. Wanneer SMART Migration de job oppakt, ontvangt het de WHERE-component en voegt die toe aan zijn eigen select van de bestanden op de BI-gegevens, die bij elke run opnieuw wordt geëvalueerd.

Er kunnen alleen bestanden terugkomen. De select, de tabellen ervan en wat hij teruggeeft, zijn van SMART Migration; de component beperkt hem alleen, zodat een query nooit gegevens kan wijzigen of iets anders kan lezen.
Eén taal tijdens de uitvoering. Een in Power BI vastgelegde DAX-query wordt omgezet in dezelfde WHERE-component voordat de job wordt opgeslagen, zodat SMART Migration altijd SQL-voorwaarden leest.
Altijd actueel. De component wordt toegepast op de BI-gegevens zoals ze zijn wanneer de job wordt uitgevoerd, nooit op een momentopname van het moment waarop de job werd opgeslagen.

Een DAX-query vastleggen in Power BI Desktop

Power BI schrijft een DAX-query voor elke visual die het tekent, en Performance Analyzer toont die.

Een tabel met bestanden filteren
Open SMART BI.pbix in Power BI Desktop en filter een tabel met bestanden op precies de bestanden die u wilt, bijvoorbeeld VersionCount groter dan 100, of een metadatakolom gelijk aan abc.
Performance Analyzer starten
Open op het lint Optimize (of View in oudere versies) Performance Analyzer, klik op Start recording en daarna op Refresh visuals.
De query van de visual kopiëren
Vouw de vermelding van de tabel uit in het deelvenster Performance Analyzer en klik op Copy query.
De query in de job plakken
Kies in het jobdialoogvenster Dynamic BI data query als Source Type en DAX query from Power BI als Query language, plak de query in DAX query en klik op Omzetten naar SQL.

Omzetten naar SQL met Claude

Omzetten naar SQL stuurt de DAX-query naar Claude, met de AI Help-sleutel van de app, en zet de WHERE-component die Claude schrijft in het veld, zodat u die kunt lezen en controleren voordat u de job opslaat.

Alleen de query wordt verstuurd: geen job-, run-, bestands- of klantgegevens, net als bij AI Help.
U heeft het laatste woord: de component wordt in het veld getoond en de job voert uit wat daar is opgeslagen, niet wat Claude heeft geantwoord.
Zonder AI Help schrijft u de WHERE-component zelf.

Meer lezen in Helppaneel en AI Help

Voorbeelden van een query op de BI-gegevens

U wilt	De query kiest
Bestanden met een lange versiegeschiedenis	Bestanden met meer dan 100 versies
De documenten van één project	Bestanden waarvan de metadatakolom de projectcode bevat
Grote bestanden die al jaren niemand heeft geopend	Bestanden boven een bepaalde grootte, voor het laatst gewijzigd vóór een bepaalde datum
De kritieke documenten voor een DORA-kopie	Bestanden die in een metadatakolom als kritiek zijn gemarkeerd, in de beschermde bibliotheken

Een query of een lijst met bestanden

Een Bestandslijst-CSV-job kiest ook gericht bestanden uit veel bronnen, maar uit een vaste lijst: één keer geëxporteerd uit Power BI en beperkt tot 30.000 rijen per export. Een query wordt geëvalueerd telkens wanneer de job wordt uitgevoerd, zodat een terugkerende job altijd de bestanden neemt die nu voldoen, nieuwe treffers inbegrepen, zonder tussentijdse export en zonder rijlimiet.

Houd de BI-gegevens volledig

Een query kan alleen vinden wat Discovery heeft vastgelegd. Voer Discovery uit op elke bron die de query moet bereiken en bewaar de rijen in de Run-geschiedenis: als u ze verwijdert, verdwijnen hun gegevens uit de BI-gegevens die de query leest.

Belangrijk: de cijfers op het Dashboard veranderen pas wanneer SMART Migration de runs heeft opgeschoond. Vernieuw het rapport wanneer de kop Power BI op het Dashboard een groene Bijgewerkt toont in plaats van een rode markering. Zie Run-geschiedenis

Zie ook