1.93 Kusto Query Language (KQL)

 Présentation de la technologie

Kusto Query Language (KQL) est un langage de requête puissant et flexible développé par Microsoft pour l’analyse de données à grande échelle dans Azure. Initialement conçu pour Azure Data Explorer, KQL est maintenant utilisé dans plusieurs services Azure, notamment Azure Monitor, Microsoft Sentinel et Azure Log Analytics.

Principaux avantages de KQL :

• – Langage expressif et intuitif pour l’analyse de données structurées et non structurées
• – Optimisé pour les requêtes rapides sur de grands volumes de données
• – Capacités avancées d’analyse de séries chronologiques et de texte
• – Intégration native avec de nombreux services Azure
• – Prise en charge de l’analytique avancée et du machine learning

 Mise en place technique

1. Accès à KQL :

•    – Utilisez l’interface web d’Azure Data Explorer
•    – Accédez à Log Analytics dans le portail Azure
•    – Utilisez Microsoft Sentinel pour les requêtes de sécurité

2. Syntaxe de base :

•    – Les requêtes KQL utilisent des opérateurs en pipeline (|)
•    – Exemple : TableName | where Column == « Value » | summarize count() by OtherColumn

3. Connexion aux sources de données :

•    – Dans Azure Data Explorer, créez une base de données et des tables
•    – Pour Log Analytics, les données sont automatiquement collectées dans des tables prédéfinies

4. Écriture de requêtes :

•    – Commencez par le nom de la table
•    – Utilisez des opérateurs comme where, summarize, project pour filtrer et transformer les données

 Exploitation technique courante

1. Filtrage et agrégation :

•    – Utilisez ‘where’ pour filtrer les données
•    – ‘summarize’ pour agréger les résultats
•    – Exemple : Perf | where CounterName == « % Processor Time » | summarize avg(CounterValue) by Computer

2. Analyse temporelle :

•    – Utilisez des fonctions comme ago() et bin() pour travailler avec des séries chronologiques
•    – Exemple : Events | where TimeGenerated > ago(1h) | summarize count() by bin(TimeGenerated, 5m)

3. Jointures et unions :

•    – Combinez des données de différentes tables avec ‘join’ et ‘union’
•    – Exemple : Table1 | join kind=inner Table2 on CommonColumn

4. Visualisation :

•    – Utilisez ‘render’ pour créer des graphiques directement dans les résultats
•    – Exemple : … | render timechart

5. Fonctions et requêtes stockées :

•    – Créez des fonctions réutilisables pour des analyses complexes
•    – Utilisez let pour définir des variables temporaires

6. Analyse de texte :

•    – Exploitez les fonctions comme extract() et parse_json() pour analyser des données non structurées

En maîtrisant ces aspects de KQL, vous serez capable d’analyser efficacement de grands volumes de données dans Azure, d’extraire des insights précieux et de créer des tableaux de bord et des alertes sophistiqués pour vos besoins en matière de surveillance, de sécurité et d’analyse de données.