Évaluation du Programme de collecte et d'analyse des renseignement : Partie 2 des constatations, conclusion et annexes

Constatations de l'évaluation – Efficience

Conformément aux autres constatations de la présente évaluation, l'absence de mesure du rendement utilisable a aussi entraîné l'incapacité d'évaluer pleinement l'efficience du Programme. Des mesures de substitution ont été utilisées pour illustrer la valeur dans la mesure du possible; cependant, une analyse approfondie de l'efficience n'a pas pu être réalisée. Un certain nombre de domaines ayant une incidence sur l'efficience du Programme sont abordés ci-dessous et dans les sections précédentes du rapport, y compris la mise à jour de systèmes désuets, l'amélioration de l'accès aux données et de la capacité d'analyse, et l'amélioration de la relation de gouvernance entre l'AC et les régions.

Efficience du Programme

Lorsque les volumes de voyageurs et de marchandises par région sont comparés aux équivalents temps plein (ETP) des AnR et des AR, les ressources semblent généralement correspondre aux volumes agrégés., comme le montrent les données sur les ETP ci-dessous et la figure 11., [caviardé].

ETP par million de transactions de marchandises et de voyageurs

Volume du plus bas au plus haut :

• RSO (le plus bas)
• RGT
• PAC
• PRA
• QUE, RNO
• ATL (le plus élevé)

Bien que l'harmonisation avec les niveaux agrégés du volume de voyageurs et de marchandises puisse être observée, aucune ressource du Programme n'a été affectée à cet effet. Une évaluation des volumes par rapport aux extrants du Programme par mode ne pouvait pas être effectuée en raison de la quantité limitées de données sur le rendement.

Lors de l'évaluation de la répartition des ETP du renseignement parmi les régions, les volumes de voyageurs et de marchandises ne sont qu'un facteur parmi d'autres. Le profil de risque de chaque région est également un facteur important, tout comme le respect des priorités nationales en matière de renseignement. Comme il a été mentionné précédemment, le Programme n'effectue pas d'évaluation des risques en fonction de la région ou du mode pour éclairer les décisions d'affectation des ressources.

Source: COGNOS (décembre 2021) et SAE (novembre 2021)

Globalement, la direction du Programme croit qu'elle est en mesure de créer des produits du renseignement utiles, malgré des ressources limitées. Néanmoins, de l'avis général, il faut plus de ressources pour que le Programme atteigne son plein potentiel. Par exemple, le personnel régional avait le sentiment que les ressources sont insuffisantes pour la charge de travail, certaines des petites régions indiquant que les AnR et les AR travaillent sur des milliers de dossiers, ce qui nuit à leur capacité de faire avancer sérieusement l'un ou l'autre d'entre eux. Des données insuffisantes ou peu fiables, combinées à l'absence d'évaluation des risques par région ou par mode, ont limité la capacité d'analyser la mesure dans laquelle les ressources étaient affectées de façon optimale; aucune donnée quantitative n'était disponible pour appuyer les points de vue des intervenants.

Comme il a été mentionné précédemment, les ressources régionales en matière de renseignement sont affectées par les DGR selon le MGF. L'AC estime qu'il n'y a pas beaucoup de supervision pour ce qui est de l'affectation des ressources et des secteurs qui ont besoin de plus de ressources.

Bien que le rendement du capital investi soit difficile à quantifier, il existe des preuves empiriques de la valeur créée par le Programme en contrepartie de l'argent dépensé. Par exemple, de 2016-2017 à 2020-2021, les coûts de fonctionnement annuels du Programme ont varié entre $65 et $80 millions (voir la figure 2 qui montre avec plus de précision les dépenses de programme qui excluent le coût du projet du Manifeste électronique et du Programme international). Au cours de la même période de cinq ans, l'investissement de l'Agence dans le Programme a produit un rendement variant de 240 % à 430 % seulement en fonction des dix principales saisies par année fondées sur le renseignement, et de 390 % à 750 % en fonction de toutes les saisies fondées sur le renseignement pour la même période par rapport au total des dépenses précises au titre du Programme (figure 12).

Source: SIED, décembre 2021

À première vue, ces chiffres montrent un rendement du capital investi important pour le Programme. Toutefois, il faut faire preuve de prudence lorsqu'on se fie aux données du SIED, comme il a été mentionné précédemment (voir Limites relatives à la mesure du rendement et aux données). Il faut également reconnaître que la valeur des extrants du Programme dépasse l'incidence de celui‑ci sur les saisies, de sorte que ce qui précède n'est qu'un exemple anecdotique de rendement du capital investi dans un domaine très précis. Les limites relatives aux données ont empêché une évaluation des répercussions du Programme sur l'immigration frauduleuse, le passage de clandestins et la traite des personnes, ainsi que sur d'autres secteurs où le Programme joue également un rôle essentiel. À l'heure actuelle, le Programme ne rend compte d'aucun IRC lié à l'immigration dans le cadre des processus de production de rapports ministériels. Toutefois, le personnel du Programme admet la présence d'une lacune et prévoit la combler dans le CMR mis à jour. De plus, comme on l'a mentionné dans la section sur les Limites relatives à la mesure du rendement et aux données, le Programme (et l'Agence dans son ensemble) ne mesure pas les incidences socioéconomiques découlant des renseignements sur l'exécution de la loi sur les douanes et l'immigration, qui dépassent la valeur des drogues illicites saisies. Cela suggère que la « valeur » des saisies découlant du renseignement est beaucoup plus élevée que le montrent les systèmes de l'Agence.

Données et systèmes

Les personnes interviewées étaient d'avis que l'ASFC est un organisme qui dispose d'une grande quantité de données, mais que l'accès aux données de différentes sources et le rapprochement des données sont difficiles. En outre, le Programme ne dispose pas des outils nécessaires pour tirer parti de l'analyse des données. [caviardé]. De plus, les restrictions d'accès aux entrepôts de données de l'Agence rendent certaines données inaccessibles, en particulier pour le personnel du renseignement régional. Le Programme a cartographié les systèmes de données actuels par rapport aux besoins, ce qui a mis en évidence des lacunes et a permis de repérer des outils plus avancés qui pourraient recueillir, stocker, intégrer, traiter, déclarer et communiquer les données et les renseignements plus efficacement.

[caviardé]

Les personnes interviewées ont indiqué que les partenaires, y compris d'autres ministères fédéraux, ont recours à des solutions logicielles plus avancées. Elles croient qu'un meilleur accès aux systèmes et aux outils logiciels pourrait entraîner des gains d'efficience sur le plan de la création de produits du renseignement, en automatisant les recherches et en permettant au personnel du renseignement de se concentrer sur les anomalies et les sujets de préoccupation.

Les systèmes et des outils de TI n'ont pas été examinés dans le cadre de l'évaluation. Cependant, le Programme a effectué une évaluation des besoins en données par rapport aux outils existants et celle-ci a révélé des lacunes sur le plan des systèmes. L'évaluation reconnaît que bon nombre de secteurs de l'Agence font face à des défis en ce qui concerne la fiabilité, le stockage et l'extraction des données, l'accès à celles-ci et les capacités d'analyse connexes, et que ces défis ne peuvent pas être réglés d'une façon significative simplement en mettant l'accent sur les exigences du Programme du renseignement. Nonobstant les travaux planifiés à l'égard de la priorité de l'Agence en matière de modernisation, soit qu'il faut tirer parti de la technologie pour optimiser la puissance de l'analyse des données et investir dans la maîtrise des données, le Programme est encouragé à travailler avec le Bureau du dirigeant principal des données et la DGIST pour articuler les besoins propres au Programme et trouver des solutions possibles.

Recommandation 3 : Le vice-président de la DGREL devrait articuler les exigences en matière de données et de TI pour le Programme du renseignement et mobiliser le Bureau du dirigeant principal des données et la DGIST en vue d'effectuer une analyse des options permettant de cerner des solutions technologiques appropriées.

Conclusion et recommandations

Le Programme de collecte et d'analyse du renseignement de l'ASFC demeure pertinent grâce à la fourniture de produits du renseignement tactiques, opérationnels et stratégiques, et aux partenariats avec des OEL nationaux et étrangers. Il contribue de façon importante à la réalisation du mandat de l'ASFC en cernant et en atténuant les menaces à la sûreté et à la sécurité, tout en facilitant les déplacements et le commerce légitimes à la frontière. Toutefois, la nature délicate inhérente d'une fonction du renseignement, associée aux limites relatives données, a grandement limité l'évaluation de l'efficacité des activités de collecte et d'analyse du renseignement de l'ASFC.

Malgré les lacunes et les défis liés aux données et à la mesure du rendement, l'évaluation a fait ressortir quelques éléments probants de la valeur du Programme pour l'Agence. Dans une certaine mesure, le Programme semble créer des produits qui informent les principaux décideurs des menaces et des tendances, perturbent les activités criminelles et contribuent positivement à aider les partenaires OEL nationaux et internationaux à réaliser leur mandat.

Plusieurs domaines clés à améliorer ont été cernés, notamment la formation, les systèmes et les outils, ainsi que la supervision par l'autorité fonctionnelle dans le cadre du MGF. En priorité, des solutions sont nécessaires pour mesurer et surveiller le rendement, afin que le Programme puisse déterminer son efficacité et sa valeur ajoutée. Les possibilités de renforcer le Programme ont été présentées ci-dessous sous la forme de trois recommandations, dont la mise en œuvre aidera à renforcer le Programme.

Les constatations de l'évaluation ont mené aux recommandations suivantes :

Recommandation 1

Le vice-président de la DGRH, en consultation avec le vice-président de la DGREL, devrait créer une feuille de route pour mieux faire progresser la conception et la prestation de la formation de base destinée aux analystes du renseignement et aux agents du renseignement, de façon à améliorer l'accès à la formation et de veiller à ce que les besoins en matière de formation soient satisfaits.

Recommandation 2

Le vice-président de la DGREL devrait mettre à jour et mettre en œuvre son cadre de mesure du rendement et s'en servir comme outil pour accroître la reddition de comptes et les rapports horizontaux des intervenants du Programme du renseignement (y compris les régions) compte tenu du nouveau modèle de gestion fonctionnelle de l'ASFC.

Recommandation 3

Le vice-président de la DGREL devrait articuler les exigences en matière de données et de TI pour le Programme du renseignement et mobiliser le Bureau du dirigeant principal des données et la DGIST en vue d'effectuer une analyse des options permettant de cerner des solutions technologiques appropriées.

Annexe A : Réponse et plan d'action de la direction

Annexe B : Modèle logique de collecte et d'analyse de renseignement

Mandat de l'ASFC : L'Agence est chargée de fournir des services frontaliers intégrés qui soutiennent les priorités en matière de sécurité nationale et de sécurité publique et facilitent la libre circulation des personnes et des biens, y compris les animaux et les végétaux, qui répondent à toutes les exigences de la législation du programme.

Responsabilité essentielle : L'ASFC évalue les risques pour identifier les menaces, gère la libre circulation des voyageurs et des marchandises commerciales admissibles entrant, traversant et sortant du Canada, et gère la non-conformité.

Lignes directives

• Collecte d'informations
  • Activités :
    • Recueillir des données et des informations provenant de diverses sources internes/externes, telles que :
      • activités de surveillance;
      • sources humaines confidentielles;
      • sources classifiées et ouvertes;
      • partenaires (y compris via les OL de l'ASFC).
  • Extrants :
    • Bulletins de renseignement
    • Conseil en matière de renseignement
    • Bulletins opérationnels
    • Évaluations des menaces et des vulnérabilités
    • Alertes
    • Rapports d'analyse des tendances
    • belvédères
    • Produits d'avertissement
    • Compte rendu
    • Évaluations stratégiques des menaces
• Analyse et production
  • Activités :
    • Les données et les informations sont évaluées pour leur exactitude, leur fiabilité et leur pertinence, et analysées pour produire des renseignements.
    • Élaborer en temps opportun des produits de renseignement tactiques, opérationnels et stratégiques précis et exploitables qui informent divers décideurs à tous les niveaux de l'ASFC sur les questions liées au mandat et aux priorités de l'ASFC.
  • Extrant : identiques à la collecte d'informations
• Conformité et surveillance
  • Activités :
    • Entretenir de solides relations de travail avec les régions et d'autres ministères gouvernementaux et fournir une expertise et une orientation fonctionnelle sur des cas particuliers
    • Élaborer des politiques, des procédures et des lignes directrices liées aux politiques horizontales d'I&E et fournir une orientation fonctionnelle à ce sujet ; (CHS, Surveillance, JFO, WPP, Opérations secrètes)
  • Extrant :
    • Politiques et directives procédurales
    • Examens annuels des JFO, de la surveillance et des CHS, et recommandations de programme ultérieures
    • Cadre de gestion des risques
• Partenariats et soutien
  • Activités :
    • Collaborer activement avec les partenaires internes, nationaux et internationaux pour accroître le profil du programme de renseignement et de ciblage et accroître la collaboration (c.-à-d. Voyageurs, commerciaux, SCRS, GRC, B5, CBP, Frontex).
  • Extrant :
    • Partenariats stratégiques
    • Rapports sur la stratégie horizontale du gouvernement du Canada
    • Élaboration de protocoles d'accord/annexes
    • Planification et mise en œuvre de la sensibilisation
    • Exécution des sous-engagements MC/TB
    • Demandes d'information traitées
    • Échange de biométrie

Résultats du programme

• Immédiat : production de renseignements opportuns, pertinents et exploitables pour identifier les menaces et accroître la connaissance de la situation.
• Intermédiaire : Les décideurs tactiques et opérationnels prennent des décisions éclairées en matière d'application de la loi ; Les décideurs stratégiques prennent des décisions éclairées en matière de planification, de priorisation et de gestion, en mettant l'accent sur l'allocation des ressources et des efforts de l'Agence consacrés aux risques et aux menaces les plus élevés pour le Canada et les Canadiens.
• Ultime : Le renseignement contribue à l'identification, à l'atténuation et à la neutralisation des risques et des menaces pour la sûreté, la sécurité et la prospérité des Canadiens et du Canada.

Annexe C : Autres stratégies d'établissement de rapport sur le rendement

À la lumière d'un examen documentaire des stratégies d'établissement de rapport sur le rendement des autres organismes du renseignement ainsi que des commentaires reçus des partenaires d'exécution de la loi, les suggestions suivantes sont présentées pour aider le Programme à élaborer d'autres stratégies d'établissement de rapport sur le rendement :

1. Utilisation de mesures de substitution qui fournissent des données quantifiables pour évaluer les contributions du Programme à l'atteinte des résultats escomptés sans présumer d'établir des liens directs (attribution) à la prévention.
2. Mesure des composantes et des sous-composantes (résultats) du processus de prévention en mettant l'accent sur le processus du cycle du renseignement (c.-à-d. le rendement de l'unité dans le processus de collecte, d'analyse, d'échange de renseignements, etc.).

   Cependant, il est essentiel, après la mise au point d'un ensemble de mesures idéales du rendement pour chaque fonction du renseignement, d'établir un lien entre la façon dont l'exécution de la fonction du renseignement contribue au rendement de l'ensemble du système.

3. Collecte des commentaires des clients et établissement du taux de satisfaction des clients à l'égard des produits du renseignement.
4. Utilisation d'études de cas qui illustrent de façon anecdotique les répercussions des produits du renseignement.

Annexe D : [caviardé]

[caviardé]