Évaluation du traitement des voyageurs sous l'angle de l'ACS+ :
Annexe E : Méthode d'évaluation et limites des données
Le Plan de vérification et d'évaluation axé sur les risques de l'ASFC pour l'exercice 2018-2023 a déterminé que le programme lié à la facilitation de la circulation et à la conformité des voyageurs constituait une priorité pour la présente évaluation. La portée initiale de l'évaluation comprenait ce qui suit :
- une évaluation de la mesure selon laquelle le genre et d'autres facteurs identitaires croisés étaient pris en considération dans la conception;
- l'élaboration et la mise en œuvre d'activités de traitement des voyageurs et d'exécution de la loi, et de l'incidence de ces activités sur l'expérience frontalière de divers groupes de voyageurs dans les quatre modes de transport (maritime, aérien, terrestre [routier] et ferroviaire) au cours de cinq exercices financiers (de 2014-2015 à 2019-2020).
Cette portée a été approuvée le par le Comité de la mesure du rendement et de l'évaluation (CMRE).
Le plan d'évaluation, qui comprenait les questions d'évaluation, a été élaboré en fonction de la portée de l'évaluation et du modèle du continuum des voyageurs, en collaboration avec deux groupes :
- le Groupe de travail sur l'évaluation composé d'un certain nombre d'intervenants du programme à l'administration centrale;
- le Comité consultatif de l'évaluation composé des directeurs généraux de toutes les directions générales pertinentes de l'ASFC.
Questions d'évaluation
Des consultations avec les principaux intervenants et l'examen de documents clés pendant l'étape de la planification ont permis de mettre au point les questions d'évaluation. Cette étape a permis de s'assurer que l'évaluation fournirait de l'information utile à la prise de décisions. Les questions d'évaluation suivantes portaient sur la détermination de l'incidence de l'agence, de ses activités et de ses résultats sur divers groupes de voyageurs :
- Selon la perspective de l'ACS+, dans quelle mesure l'approche de ciblage fondée sur des scénarios tient-elle compte des répercussions sur les voyageurs lorsqu'elle cible des voyageurs?
- Dans quelle mesure les variables de l'ACS+ ont-elles été prises en considération dans les inspections des voyageurs aux points d'entrée au Canada entre les exercices 2014-2015 et 2019-2020?
- Selon la perspective de l'ACS+, dans quelle mesure le Programme des voyageurs tient-il compte de l'élaboration et de l'atteinte de ses réalisations et de ses résultats?
- Dans quelle mesure le Programme des voyageurs élabore-t-il des produits de communication / des initiatives sensibilisation en prenant en considération l'ACS+?
- Selon la perspective de l'ACS+, dans quelle mesure les voyageurs admissibles sont-ils satisfaits du traitement à la frontière (c.-à-d. professionnalisme, courtoisie, rapidité, et qualité et normes de service)?
- Dans quelle mesure le Programme des voyageurs est-il efficace pour traiter les voyageurs admissibles conformément aux lois et aux politiques établies? Les voyageurs admissibles sont-ils soumis à une intervention minimale nécessaire?
- Dans quelle mesure le Programme des voyageurs tient-il compte des variables de l'ACS+ entre les groupes cibles et au sein de ceux-ci? Les divers groupes sont-ils traités équitablement par le Programme?
Méthodes de collecte et sources de données
Parmi les nombreuses méthodes et sources de collecte de données qui ont été utilisées, mentionnons :
- l'examen des documents;
- les données sur les RH et les données opérationnelles;
- les entrevues semi-structurées avec des intervenants internes du programme;
- les données du sondage.
Les preuves recueillies à partir des méthodes et des sources susmentionnées ont été compilées et analysées globalement. Les thèmes communs qui sont ressortis de multiples sources de preuves ont contribué à l'élaboration des constatations préliminaires de l'évaluation. Ces constatations, ainsi que les preuves qui les ont étayées, ont été présentées au Groupe de travail et au Comité consultatif d'évaluation aux fins d'examen et de commentaires. Lorsqu'il était pertinent de le faire, les commentaires découlant de ces consultations ont été intégrés au rapport d'évaluation final et aux recommandations.
Examen des documents
L'examen des documents a eu lieu tout au long du projet d'évaluation, de la planification aux étapes de production de rapports. Il a permis de déterminer la portée de l'évaluation, d'élaborer le plan et de formuler les questions. Plus de 100 documents ont été examinés, y compris des documents élaborés par des programmes internes de l'ASFC. Les documents ont été examinés systématiquement et, au besoin, des preuves ont été compilées.
Données opérationnelles
La Division de l'évaluation des programmes (DEP) de l'ASFC a recueilli et analysé des données opérationnelles provenant de divers systèmes internes de TI.
Données sur les RH
L'analyse des données des RH comprenait de l'information sur la participation aux formations sur la diversité et les relations raciales ainsi que sur la prévention du profilage racial en première ligne de la Direction générale des ressources humaines, au .
Données opérationnelles
L'analyse des données opérationnelles comprenait des données tirées des feuilles de suivi du CNC et des systèmes de TI suivants de l'ASFC :
- COGNOS (SIRG)
- TSHP
- SIED
Les données opérationnelles ont été fournies à la DEP de l'ASFC par la Direction générale de la politique stratégique (DGPS), le Centre national de ciblage (CNC) et la Direction générale de l'information, des sciences et de la technologie (DGIST). La période de référence pour les données provenant des systèmes de TI de l'ASFC et du CNC varie en fonction de leur disponibilité et de leur fiabilité. La période pour chaque source de données est la suivante :
| Données opérationnelles | Période |
|---|---|
| CNC – Données sur le rendement des scénarios | De l'exercice 2014-2015 à l'exercice 2020-2021 () |
| CNC – Feuilles de suivi accumulées | De l'exercice 2015-2016 à l'exercice 2019-2020 |
| COGNOS (SIRG) | De l'exercice 2015-2016 à l'exercice 2020-2021 |
| TSHP | De l'exercice 2014-2015 à l'exercice 2020-2021 |
| SIED – Saisies | De l'exercice 2018-2019 à l'exercice 2020-2021 |
| SIED – Fouilles corporelles | De l'exercice 2015-2016 à l'exercice 2019-2020 |
Remarque sur le calcul du taux d'examens fructueux des contrôles douaniers
Il est difficile de faire un calcul précis des du taux d'examens fructueux en raison du manque d'intégration des données entre les systèmes de TI, qui permettent de déterminer si un examen douanier a eu lieu (c.-à-d. historique des passages au traitement secondaire) et si les mesures d'exécution de la loi, comme les saisies, sont consignées dans le SIED. Chaque examen douanier dans le TSHP pourrait avoir un ou plusieurs enregistrements « d'examens fructueux » dans le SIED. Ce problème ne peut pas être résolu à l'heure actuelle.
Au moment d'une ACS+, le calcul du taux d'examens fructueux peut être augmenté à l'extrême pour de petites sous-populations, et pourrait donner une fausse indication du niveau de risque pour ces groupes, par exemple, les catégories de genre qui ne sont pas masculines ni féminines, ou les pays ayant un faible pourcentage de volumes de voyages ou d'examens par les douanes, comme [*]. Il pourrait y avoir plus d'une mesure d'exécution de la loi découlant d'un passage avec examen douanier. En particulier, cela est mis en évidence dans les exemples d'une catégorie de genre inconnu ou non précisé, ou dans le cas de citoyens du [*] dont le taux est supérieur à 100 %.
| Genre | Examen par les douanes | Total des examens fructueux (saisies, SAPAA, fouilles et arrestations) | Taux d'examens fructueux |
|---|---|---|---|
| Féminin | [*] | [*] | [*] |
| Masculin | [*] | [*] | [*] |
| Inconnu ou non précisé | [*] | [*] | [*] |
| Sources : TSHP, données du SIED, exercices de 2018-2019 à 2020-2021. | |||
| Citoyenneté | Examen par les douanes | Total des examens fructueux (saisies, SAPAA, fouilles et arrestations) | Taux d'examens fructueux |
|---|---|---|---|
| [*] | [*] | [*] | [*] |
| [*] | [*] | [*] | [*] |
| Sources : TSHP, données du SIED, exercices de 2018-2019 à 2020-2021. | |||
Entrevues semi-structurées avec des intervenants du gouvernement du Canada
Des entrevues ont été menées par téléconférence avec 15 représentants internes de programmes.
Les personnes interrogées ont reçu à l'avance des guides d'entrevues semi-structurées comprenant un aperçu des principaux enjeux et des questions à discuter. La plupart des entrevues ont eu lieu en . Les données des entrevues ont ensuite été compilées et analysées, et les thèmes émergents ont été établis.
Sondage
Le DEP de l'ASFC a réalisé un sondage auprès des ASF, des surintendants et des agents de ciblage du CNC qui ont travaillé dans la filière des voyageurs au cours des deux dernières années. Le sondage a été lancé le et a pris fin le . Ont répondu au sondage 922 agents de première ligneNote de bas de page 35 (taux de réponse de 20 %) et 20 agents de ciblage (taux de réponse de 38 %). Grâce à la structure et à la conception du sondage, les répondants ne répondaient qu'aux questions pertinentes à leurs rôles et responsabilités en ce qui a trait au continuum des voyageurs. Le sondage a été conçu en collaboration avec des représentants de la Direction générale des voyageurs, de la Direction générale du renseignement et de l'exécution de la loi, du Centre de responsabilité de l'ACS+, du Secrétariat aux affaires autochtones, du Comité consultatif LGBTQ2+ et des directeurs généraux régionaux.
Principales limites perçues pendant la collecte et l'analyse des données
Le processus de collecte et d'analyse des données a permis de constater certaines limites et difficultés.
Tableau 16 : Limites et stratégies d'atténuation
Données opérationnelles
Limites
- Incapacité d'effectuer une ACS+ complète de l'ensemble du continuum des voyageurs.
- Le temps, les efforts et l'expertise nécessaires à la collecte de certaines données pour lesquelles il n'existe pas d'outils de production de rapports suffisants.
- Il y avait un certain nombre d'indicateurs d'évaluation pour lesquels des données n'étaient pas disponibles. Par conséquent, l'évaluation n'a pas permis de formuler des commentaires sur ces aspects.
- Avant , les données sur les renvois pour le mode routier ne comportaient pas de distinction entre les types de renvois. Les données n'étaient disponibles que pour les décisions reliées aux renvois et aux mainlevées.
- Demande d'un ASM pour seulement trois ans de données du SIED dans le mode aérien.
- La Direction des voyageurs a surveillé les recommandations et les résultats des agents patrouilleurs pendant environ un an, après la publication de la note itinérante sur les BIP en . Les données relatives aux renvois des agents patrouilleurs se sont améliorées après .
- Manque de dictionnaires de données et absence de définitions normalisées pour certains éléments de données.
Stratégie d'atténuation
L'équipe d'évaluation a continué de demander aux intervenants des commentaires sur les constatations préliminaires de l'évaluation. Ce processus a permis aux évaluateurs d'avoir accès à plus de données. Cependant, les données n'étaient pas disponibles pour plusieurs indicateurs d'évaluation. Par conséquent, il n'a pas été possible de formuler des commentaires sur ces aspects.
Tout au long du rapport sont proposés des domaines où les intervenants pourraient mener une enquête plus approfondie. La 3e recommandation découlant de l'évaluation répond à cette préoccupation en préconisant de créer un plan d'action comptant des options pour :
- accroître la normalisation et l'accessibilité en ce qui concerne les dictionnaires de données, les définitions opérationnelles et la cartographie;
- évaluer la capacité actuelle de l'agence en matière de ressources pour assurer l'analyse des données dans le volet commercial (p. ex. expertise en la matière, maîtrise des données et compétence analytique et technique).
Questionnaire d'évaluation
Limites
- Nombre limité d'agents de ciblage du CNC.
- Le sondage exclut les répondants qui ne sont pas actuellement des ASF, des surintendants ou des agents de ciblage du CNC, même s'ils occupaient récemment ces postes.
- Faible taux de réponse pour certains sous-groupes.
- Biais de réponse / biais de non-réponse.
Stratégie d'atténuation
L'évaluation a permis de présenter les résultats à l'échelle nationale sans ventiler les réponses par région, mode ou caractéristiques démographiques. À l'échelle nationale, le taux de réponse a été de 20 %.
Compte tenu des biais de réponse possibles et d'un biais de non-réponse de 80 %, l'équipe d'évaluation a utilisé les données du sondage conjointement avec celles d'autres sources en indiquant clairement les proportions et le nombre absolu de répondants spécifiques aux résultats présentés. L'équipe était consciente des possibilités de surreprésentation et de sous-représentation de certains groupes parmi ceux qui ont répondu ou qui n'ont pas répondu au sondage.
Entrevues
Limites
Seulement 15 entrevues officielles ont été menées auprès de représentants internes du programme.
Stratégie d'atténuation
Les données liées aux entrevue ne sont présentées que parallèlement à d'autres éléments de preuve. L'équipe d'évaluation a également atténué cette difficulté en consultant régulièrement et fréquemment des experts en la matière du programme.
Données sur les plaintes
Limites
Plaintes de trois aéroports entre le et le , seulement dans le mode aérien.
Stratégie d'atténuation
Les données sur les plaintes ne sont présentées que par rapport à d'autres sources de données et de chiffres absolus. Les proportions sont clairement indiquées lorsque ces données sont présentées.
COVID-19
Limites
- L'évaluation a été suspendue pendant deux mois en raison de la pandémie.
- Cette suspension a empêché l'équipe d'évaluation d'effectuer des observations sur le terrain aux points d'entrée.
- Les tendances des catégories de voyageurs ont changé considérablement dans la foulée des restrictions de voyage découlant de la pandémie de COVID-19 (de à ce jour).
Stratégie d'atténuation
L'évaluation a permis de déterminer les conséquences globales de la pandémie de COVID-19 sur les volumes et les activités d'exécution de la loi.
L'absence de recherche sur le terrain a été suppléé par des données d'enquête à texte ouvert et à réponses fermées provenant de 942 répondants (ASF, superviseurs et agents de ciblage du CNC) et, avec des représentants régionaux, ont été intégrés au groupe de travail de l'évaluation et au CCE.
- Date de modification :