Expérience : Trousse de services post-incorporation

Question de recherche :
L'utilisation de nudges et d'une conception visuelle améliorée augmentera-t-elle le taux de clics (TDC) des liens dans le courriel suivant l’incorporation de Corporations Canada? Ces liens mènent les clients à travers les étapes bénéfiques suite à la constitution en société pour le soutient à la croissance de leur entreprise dans l'économie canadienne. Généralement, nombreux des nouveaux propriétaires d'entreprise ne tiennent pas compte de ces étapes subséquentes.
Résumé du projet :
Cette expérience était un essai contrôlé quasi randomisé, dans lequel les propriétaires d'entreprises nouvellement constituées ont reçu l'un des cinq courriels suivant, suite à l'incorporation : (1) le courriel d'origine, (2) une nouvelle conception de la « liste de contrôle », (3) une nouvelle « liste de contrôle » conception plus un « nudge » d'analyses comportementales d’un ton authoritaire, (4) une conception de « liste de contrôle » nouvellement formatée en plus d’une impulsion urgente d'informations comportementales toniques, ou (5) une conception de « liste de contrôle » nouvellement formatée plus une analyse comportementale conviviale » coup de coude'. L'expérience s'est déroulée entre le 1er mars 2021 et le 7 avril 2021, au cours de laquelle environ 300 e-mails ont été envoyés par jour. Parmi ces e-mails, environ 70 % ont été ouverts et seulement 5 % environ des personnes ont cliqué sur les liens fournis dans l'e-mail d'origine. Pour l'un des liens, nous avons constaté que par rapport à l'e-mail d'origine, jusqu'à 30 % des destinataires répondent désormais à certains des liens lorsqu'ils reçoivent la conception de la « liste de contrôle » plus un « nudge » autoritaire. L'effet de chacun de chaque type d'e-mail variait selon le lien (les rapports de cotes allaient de 1,98 à 9,29) et étaient tous statistiquement significatifs au niveau de 0,001. Nos résultats suggèrent que pour certains liens, la modification de l'apparence de l'e-mail et l'ajout d'un coup de pouce peuvent améliorer le taux de clics jusqu'à 20 %.
Devis détails :
L'expérience était un essai contrôlé quasi randomisé. Chaque lien (total de 8) a été analysé séparément, à l'aide de la régression logistique et en utilisant l'e-mail d'origine comme condition de référence dans SPSS. Le taux de clics a été calculé en divisant les clics uniques pour chaque lien (numérateur) par le nombre total d'ouvertures uniques de l'e-mail (dénominateur). Les e-mails ont été distribués en utilisant une conception de blocs aléatoires, car la randomisation au niveau individuel n'était techniquement pas possible. Au cours de l'essai, chaque type d'e-mail a été distribué afin que chaque e-mail ait la chance d'apparaître une fois, pour tous les jours de la semaine de travail. Par exemple, au cours de la première semaine, l'e-mail d'origine est apparu le mardi, et au cours de la deuxième semaine, il est apparu le jeudi, et au cours de la troisième semaine, un lundi, etc.
Intervention :
La refonte des e-mails impliquait d'organiser le texte de l'e-mail d'origine dans un format de liste de contrôle, ce qui lui permettait d'être ancré à la phrase de coup de pouce, et rendait également le texte moins encombré et plus discret. Les phrases du coup de pouce étaient les suivantes : 1. E-mail d'origine (pas de coup de pouce) 2. Format de liste de contrôle uniquement (pas de coup de pouce, pour analyser l'effet de la liste de contrôle uniquement) 3. Liste de contrôle et ton autoritaire (‘Terminez ces prochaines étapes pour garder votre entreprise sur la bonne voie’) 4. Liste de contrôle et tonalité urgente (‘Terminez ces étapes dès que possible’) 5. Liste de contrôle et tonalité amicale (‘Plus que quelques étapes et vous serez opérationnel !’)
Mesure des résultats :
Chaque lien (8 au total) dans l'e-mail a été examiné à l'aide d'une analyse de régression logistique distincte, en utilisant le type d'e-mail comme prédicteur, l'e-mail d'origine comme groupe de référence et le CTR comme variable de résultat.
Résultats :
Il est apparu que le type d'e-mail avait un effet sur le taux de clics (CTR) pour le premier, le troisième et le septième lien. Plus précisément, pour le premier lien, il semblait que les nouveaux e-mails au format liste de contrôle avaient un CTR environ 15 % plus élevé que l'e-mail d'origine, et qu'en incluant un coup de pouce faisant autorité, il augmentait le CTR de 5 % supplémentaires. Le troisième lien a montré des résultats similaires, en ce sens que les nouveaux e-mails formatés par liste de contrôle avaient un CTR supérieur d'environ 5 % par rapport à l'e-mail d'origine, bien que toutes les nouvelles conceptions de liste de contrôle semblaient fonctionner de manière égale dans ce cas. Le septième lien a indiqué des résultats similaires aux deux derniers liens en ce sens que la conception de la liste de contrôle a surpassé l'e-mail d'origine d'environ 5 %, mais cette fois, le sentiment d'urgence a eu l'effet le plus important (voir la figure 3). Ces résultats mis à part, nous n'avons constaté aucun effet du type d'e-mail sur le CTR pour les liens restants.
Devis :
Randomisé
Secteur :
Programme
Statut d'expérience :
Complété
Dernière mise à jour :
7 sept. 2021
Direction et/ou unité responsable :
Centre d’expertise en expérimentation et Centre d’expertise en conception
N° de référence :
ISED-2021-00001
Organisation :
Innovation, Sciences et Développement économique Canada