Annonce de Percona

pg_stat_monitor est disponible en version 1.0

Fork de pg_stat_statements (et auto_explain)
Composant de supervision pour la solution PMM

Nouvelles fonctionnalités

(par rapport à pg_stat_statements…)

Regroupement des requêtes en time series buckets

Par défaut, un bucket toutes les 60 secondes
- pg_stat_monitor.pgsm_max_buckets (max: 10)
- pg_stat_monitor.pgsm_bucket_time (min: 1sec)

Relations de la requêtes

Champ relations
- Liste les tables rattachées aux requêtes
- Parcours la définition des vues

Types des requêtes

Catégorise les requêtes selon leur type
- SELECT, INSERT, UPDATE, DELETE
- (empty), UTILITY, NOTHING
Champs cmd_type et cmd_type_text
- Fonction get_cmd_type(integer)

// src/include/nodes/nodes.h
/*
 * CmdType -
 *    enums for type of operation represented by a Query or PlannedStmt
 *
 * This is needed in both parsenodes.h and plannodes.h, so put it here...
 */
typedef enum CmdType
{
    CMD_UNKNOWN,
    CMD_SELECT,   /* select stmt */
    CMD_UPDATE,   /* update stmt */
    CMD_INSERT,   /* insert stmt */
    CMD_DELETE,   /* delete stmt */
    CMD_MERGE,    /* merge stmt */
    CMD_UTILITY,  /* cmds like create, destroy, copy, vacuum,
                               * etc. */
    CMD_NOTHING   /* dummy command for instead nothing rules
                               * with qual */
} CmdType;

Requêtes en erreur

Capte les requêtes en erreur
Champs state, elevel, sqlcode, message

Histogramme d’exécution

Expose les requêtes selon leur temps d’éxecution
Champ resp_calls
Fonction histogram(bucket, queryid)

// pmm-agent: agents/postgres/pgstatmonitor/pgstatmonitor.go

getHistogramRangesArray() []*agentpb.HistogramItem {
    // For now we using static ranges.
    // In future we will compute range values from pg_stat_monitor_settings.
    // pgsm_histogram_min, pgsm_histogram_max, pgsm_histogram_buckets.
}

Plans d’éxecution

Champs planid et query_plan
- Affecte les performances de l’instance
- pg_stat_monitor.pgsm_enable_query_plan (no)
Équivalent de auto_explain mais en mémoire
- pas d’options EXPLAIN supplémentaires

Consommation CPU

Champs cpu_user_time et cpu_sys_time
- Consommation CPU du tracking de requêtes
- S’appuient sur la fonction getrusage()
- Décorrélés de la valeur total_exec_time

Métadonnées de requête

Spécification « Sqlcommenter » de Google
Extrait le bloc de commentaire
- et maintient le queryid intact

Requêtes dénormalisées

Désactiver la normalisation des requêtes
- Afficher les valeurs réelles
- … Seule la première occurrence est tracée
Facilite l’analyse des performances d’une requête
- pg_stat_monitor.pgsm_normalized_query

Différences mineures

queryid de type TEXT au lieu de BIGINT
userid de type REGROLE au lieu de OID
datname de type NAME au lieu de dboid de type OID
bucket_start_time de type TEXT au lieu de TIMESTAMPTZ dans la documentation
rows_retrieved au lieu de rows
Colonnes inédites application_name, client_ip

https://percona.github.io/pg_stat_monitor/REL1_0_STABLE/COMPARISON.html

#if PG_VERSION_NUM >= 140000
    queryId = pstmt->queryId;

    /*
     * Force utility statements to get queryId zero.  We do this even in cases
     * where the statement contains an optimizable statement for which a
     * queryId could be derived (such as EXPLAIN or DECLARE CURSOR).  For such
     * cases, runtime control will first go through ProcessUtility and then
     * the executor, and we don't want the executor hooks to do anything,
     * since we are already measuring the statement's costs at the utility
     * level.
     */
    if (PGSM_TRACK_UTILITY && pgsm_enabled(exec_nested_level))
        pstmt->queryId = UINT64CONST(0);
#endif

Limites actuelles

Cohabitation difficile entre pgss et pgsm
- pgss doit être chargé avant pgsm
- En version 14, compute_query_id = true
Les statistiques ne sont pas conservées après un redémarrage
Un bucket n’est pas limité en nombre de requêtes distinctes
- pg_stat_monitor.pgsm_max est exprimé en MB et non en quantité de requêtes

Démonstrations

Configuration (view settings)

SELECT name, value, default_value, options FROM pg_stat_monitor_settings;

Visualiser le job

SELECT schedule, command FROM cron.job;

Répartition du nombre d’appels par type

SELECT extract(epoch from bucket_start_time::timestamptz) AS time, 
       cmd_type_text, avg(coalesce(calls,0)) AS calls
FROM pgsm_history
GROUP BY time, cmd_type_text
ORDER BY time;

Relations les plus sollicitées

SELECT extract(epoch from bucket_start_time::timestamptz) AS time, 
       unnest(relations) relation, COUNT(1) * sum(calls) count 
 FROM pgsm_history
GROUP BY time, relation
ORDER BY time;

Suivi des performances d’une requête

SELECT bucket, queryid, query FROM pg_stat_monitor 
 WHERE 'public.pgbench_accounts' = ANY (relations)
   AND cmd_type_text = 'SELECT';

ALTER TABLE pgbench_accounts ADD CONSTRAINT pgbench_accounts_pkey 
  PRIMARY KEY (aid);

-- temps d'exécution moyen
SELECT extract(epoch from bucket_start_time::timestamptz) AS time, mean_exec_time
  FROM pgsm_history WHERE queryid = '33B3468812A11DD2'
 ORDER BY time;

-- nombre d'appels total
SELECT extract(epoch from bucket_start_time::timestamptz) AS time, calls
  FROM pgsm_history WHERE queryid = '33B3468812A11DD2'
 ORDER BY time;

-- histogramme d'exécution
CREATE EXTENSION tablefunc;

SELECT * FROM crosstab($$
  SELECT extract(epoch from bucket_start_time::timestamptz) AS time,
         r range, resp_calls[ordinality]::int value
    FROM pgsm_history,
 LATERAL unnest('{r1,r2,r3,r4,r5,r6,r7,r8,r9,r10}'::text[]) WITH ORDINALITY r
   WHERE queryid = '33B3468812A11DD2'
  ORDER BY time, ordinality
$$) AS ct (time numeric, r1 int, r2 int, r3 int, r4 int, 
           r5 int, r6 int, r7 int, r8 int, r9 int, r10 int);

Conclusion

pg_stat_monitor est fortement couplé à PMM
De bonnes idées pour pg_stat_statements
Si vous ne connaissiez pas, essayez pg_stat_statements

Que faire de pg_stat_monitor ?

Annonce de Percona

Nouvelles fonctionnalités

Regroupement des requêtes en time series buckets

Relations de la requêtes

Types des requêtes

Requêtes en erreur

Histogramme d’exécution

Plans d’éxecution

Consommation CPU

Métadonnées de requête

Requêtes dénormalisées

Différences mineures

Limites actuelles

Démonstrations

Conclusion

Questions