Navigation – Plan du site

Comparaison et influence de deux méthodes de recueil de données différentes sur les résultats globaux d’une enquête quantitative

Comparison and Influence of Two Data Collection Methods on the Results of a Quantitative Survey
Gérard Creux
p. 50-70

Résumés

Cet article propose d’analyser et de comparer deux échantillons construits à partir d’un questionnaire identique dont la méthode de recueil de données diffère. En effet, dans le cadre de notre recherche qui porte sur les travailleurs sociaux et qui comporte un volet quantitatif, nous avons utilisé Internet comme outil de recueil de données en parallèle à une méthode plus « classique » comme l’envoi de questionnaire par courrier. Cet article se propose donc à la fois de réfléchir sur cette manière de faire à partir d’éléments d’analyse concrets et d’étudier dans un premier temps comment se comporte chacun des échantillons par rapport à une variable spécifique à notre recherche et d’observer dans un second temps, sur la base d’un travail de comparaison, les conséquences du cumul des deux échantillons (papier et Internet) sur les résultats de notre recherche et ainsi de montrer en quoi l’origine des réponses influent ou non sur le résultat de la recherche.

Haut de page

Texte intégral

Introduction

1La réflexion que nous proposons se base sur une recherche menée auprès de travailleurs sociaux qui ont, dans le cadre de leur profession, des pratiques artistiques. Bien que nous ne rentrerons pas au cœur de notre étude et de ce qui anime notre recherche, l’objectif de ce travail est de comprendre les conditions sociales de production de ces conduites dans le champ du travail social. En faisant bref, nous émettons l’hypothèse que ces manières de faire participent au « réenchantement » du travail social qui historiquement est passé d’une « rationalisation par valeur » à un processus de « rationalisation par objectif » provoquant ainsi une forme de « désenchantement » chez les travailleurs sociaux (Creux, 2006). Ce travail s’appuie, entre autres, sur les apports théoriques de Max Weber.

2Pour tenter d’y répondre, nous avons réalisé une enquête par questionnaire afin de comparer les travailleurs sociaux qui ont des pratiques artistiques à ceux qui n’en ont pas et une enquête par entretien auprès de travailleurs sociaux qui ont ce type de pratique.

  • 1 Le questionnaire a été envoyé à 350 établissements « représentatifs » des structures employant des (...)

3Dans le cadre de cet article, nous nous intéresserons uniquement au premier aspect. En effet, la démarche quantitative a été construite à partir d’un questionnaire composé de 201 questions fermées et ouvertes et qui a été diffusé sur Internet et de manière plus classique par courrier.1 Au final, sur une durée de 12 mois environ, 78 % des réponses ont été recueillies par Internet et les 22 % restant par papier, l’ensemble correspondant à un échantillon de 668 réponses.

4L’utilisation d’Internet comme mode de diffusion et de réception du questionnaire a été motivée par le fait qu’il existe un nombre non négligeable de sites consacrés au « travail social ». En octobre 2004, en utilisant le moteur de recherche « Google » et en tapant les termes « travail » et « social », pas moins de 5750000 sites étaient recensés sur l’ensemble de la Toile, et pour l’expression « travail social » entre guillemets, pas de moins de 265000. Bien que n’ayant aucun document qui en définisse les visiteurs, nous avons néanmoins pensé, sans prendre trop de risque, qu’il pouvait s’agir en partie de travailleurs sociaux, c’est-à-dire la population de notre enquête, et nous avons fait le pari qu’un questionnaire en ligne consacré à ces professionnels était susceptible d’être rempli.

5Pour ce qui est de notre recherche, nous avons traité les réponses dans leur globalité et indifféremment de leur origine. Cependant, il s’agissait avant tout de s’assurer de la fiabilité de l’échantillon. Et la question que nous nous sommes posée était de savoir si la compilation des données, issues de méthodes de recueil différent, mais basées sur deux questionnaires rigoureusement identiques sur le fond pouvait avoir un impact sur les résultats de notre recherche, voire tout simplement les « fausser ». Autrement dit, existe-t-il ce que nous pourrions appeler un « effet de recueil de données » ? Cette question nous paraît importante dans la mesure où certains déterminants de pratiques professionnelles pourraient être liés pas seulement à ce que sont les individus, mais aussi à la technique de recueil de données.

6Dans un premier temps, bien que nous ayons utilisé le support papier, nous parlerons davantage de la construction du questionnaire en ligne et la méthode retenue quant à son utilisation et nous développerons quelques aspects techniques quant à l’usage de cet outil. Dans un second temps, nous ferons une analyse de notre échantillon et de son évolution dans le temps. Dans un troisième temps, nous comparerons le profil des répondants Internet et papier. Ensuite, nous étudierons le comportement de chacun des échantillons par rapport à une variable d’intérêt spécifique à notre recherche afin d’en observer les différences. Enfin, nous analyserons nos résultats lorsque les deux échantillons sont compilés indépendamment de l’origine de la réponse.

Questionnaire en ligne et méthode de mise en ligne

La construction du questionnaire

  • 2 La version Internet et la version papier du questionnaire sont disponibles à cette adresse : http:/ (...)

7Si le contenu du questionnaire a été le fruit d’un travail exploratoire, dans sa version définitive,2 il comporte 201 questions (composé de questions à choix unique, multiple, numérique et ouverte) réparties en quatre parties. Il a été construit à partir du logiciel Modalisa (version 4.6.7 pour Mac OS X) qui intègre des fonctions de publication. Celui-ci a donc été édité au format Word et HTML. Sur le fond, les deux questionnaires sont rigoureusement les mêmes, seule la forme change. Ces deux formats ont néanmoins été retravaillés afin qu’il prenne en compte quelques aspects ergonomiques et visuels. En effet, pas plus qu’un questionnaire papier, un questionnaire en ligne n’est neutre dans les effets qu’il peut induire chez les répondants que ce soit au niveau de sa forme ou de sa sollicitation à le remplir.

8Sur le premier point, Don A. Dillman et son équipe (Smyth, Dillman, Christian and Stern, 2006) ont montré, par exemple, que le positionnement des réponses (les unes en dessous des autres ou en deux colonnes) et leur sous-groupement avaient un effet non négligeable sur les résultats de l’enquête. Cependant, nous avons du prendre en compte le fait que le questionnaire était long (il correspond à 21 pages sur support papier) et avons fait en sorte de réduire au maximum la longueur visuelle du questionnaire afin que ça ne soit pas dissuasif. En effet, bien que nous spécifiions qu’il fallait environ 20 minutes pour y répondre, de nombreux répondants nous ont néanmoins fait remarquer qu’il fallait près d’une heure pour le remplir. Cependant, annoncer un temps supérieur en aurait peut-être découragé plus d’un. Ainsi, du point de vue de la forme, les réponses des questions à choix unique ont été placées horizontalement et dans un menu déroulant lorsqu’il y avait plus de deux modalités et verticalement au-delà. Les réponses des questions à choix multiples ont été positionnées sur deux colonnes. Les zones de texte pour les questions numériques et ouvertes ont été placées sous la question. D’autre part, afin de faciliter la navigation dans le questionnaire, nous avons placé des liens hypertext dès lors que la personne n’était pas concernée par une série de questions. Nous avons donc conçu un questionnaire relativement sobre visuellement et ergonomique afin d’y répondre « facilement » et « rapidement ».

9Concernant le second point, nous avons introduit un texte présentant l’enquête. Nous avons ainsi proposé aux travailleurs sociaux de répondre « gratuitement » au questionnaire. La seule chose que nous proposions aux répondants, c’est une synthèse des résultats de l’enquête (sous forme d’article) disponible sur le site du questionnaire. Cependant, Anja S.Goöritz (2006) montre que l’invitation à répondre peut avoir un impact sur le nombre de réponses. Ainsi, en l’absence de sollicitation financière ou matérielle il y aura beaucoup moins de réponses au questionnaire. La récompense peut aussi avoir un effet pervers, c’est-à-dire avoir des réponses peu fiables étant donné que les réponses ne sont pas forcément liées à l’intérêt de l’enquête elle-même, mais du gain qu’elle procure. D’autre part, nous pouvons nous interroger sur le fait qu’un questionnaire en ligne puisse engendrer un comportement spécifique qui pourrait avoir des conséquences sur la nature même des réponses. Nous reviendrons sur ce point.

Méthode de mise en ligne et mode de diffusion du questionnaire en ligne

10Une fois le questionnaire construit et testé auprès de travailleurs sociaux, nous l’avons mis en ligne. Il est nécessaire de différencier deux méthodes de recueil de données quantitatives par Internet : d’une part le questionnaire au format numérique laissé sur un site à la libre disposition de « l’internaute » qui va procéder à son téléchargement, l’imprimer puis le renvoyer par voie postale ou par e.mail. Cette procédure peut paraître complexe car elle nécessite plusieurs interventions de la part de l’enquêté (télécharger le fichier, l’ouvrir, l’enregistrer, l’envoyer) qui ne constitue pas à notre avis un gage de réussite.

11D’autre part, le recueil de données direct qui consiste à remplir un « questionnaire en ligne » et à recueillir les données directement dans un logiciel de traitement d’enquête. C’est cette dernière méthode que nous avons retenue. Nous avons emprunté cette fonction au logiciel Modalisa.

  • 3 Common Gateway Interface. Il s’agit tout simplement d’un programme informatique.
  • 4 Notice d’utilisation de Modalisa 4, Internet-Intranet, p. 2 (disponible sur le site de Modalisa : h (...)
  • 5 Pour le questionnaire, nous avons choisi un hébergeur (www.apinc.org) sans publicité afin que cet é (...)

12Si ce dernier intègre un serveur qui permet une récupération directe des données, nous avons opté pour l’utilisation du script CGI3 que nous avons estimé « plus fiable ». Il permet l’écriture des réponses dans un fichier ASCII (ou fichier texte .txt). Ce fichier est ensuite récupéré et lu par le logiciel qui les intègre directement dans l’enquête. Ce procédé permet d’éviter toute erreur de remplissage des données, contrairement à une saisie manuelle puisqu’elles ne sont saisies qu’une seule fois, en l’occurrence par l’enquêté. Comme il est écrit dans la notice d’utilisation de Modalisa, « Si vous êtes novice en matière d’utilisation d’Internet, le nombre de pages de cette notice et la pléthore des sigles utilisés pourront vous inquiéter. En fait, comme c’est souvent le cas, en technique de communication, la description et les principes sont souvent d’une extrême complexité, la pratique restant à la portée de l’utilisateur méthodique et… tenace ».4 De ce point de vue, la mise en place technique5 a été réalisée par nos soins, de manière autodidacte et c’est après une série de tests, à la fois techniques et du questionnaire lui-même, que nous avons diffusé notre enquête.

Principe de recueil de données retenu via Internet (schéma construit à partir de la documentation du logiciel)

Principe de recueil de données retenu via Internet (schéma construit à partir de la documentation du logiciel)
  • 6 Nous renvoyons à l’annexe 1 qui défini les professions par champ d’intervention.

13L’une des particularités du questionnaire en ligne, pour notre cas, et que l’interviewé n’a pas été sollicité directement et de ce fait s’est retrouvé seul devant le questionnaire et ses éventuelles interrogations (voir Ollesch, Heineken et Schulte, 2006). En effet, la diffusion de notre enquête s’est faite de trois manières. En effet, déposer le questionnaire sur un site ne suffit pas à le rendre visible et les procédures de recensement de site étant complexe et s’inscrivant dans le temps, nous avons préféré obtenir des liens avec quelques grands sites consacrés au travail social : le portail « www.travail-social.com » et le site de la revue « Lien social », « www.lien-social.fr ». Nous avons également diffusé notre enquête par mail (notamment auprès des Conseils Généraux pour les professionnels de l’action sociale6). Enfin, nous avons obtenu un encart présentant notre enquête dans une revue spécialisée « Le journal de l’action sociale ». La première manière de faire s’inscrit dans le temps tandis que les deux autres sont ponctuelles (le temps du numéro de la revue et de la réception du mail). Nous sommes bien conscient que cette mise en connaissance du questionnaire peut avoir un effet sur la construction de l’échantillon du fait que ce peut-être un certain type de travailleur social qui consulte tel site ou telle revue. Le questionnaire s’est également diffusé de bouche à oreille (information recueillie lors de nos entretiens auprès des travailleurs sociaux). Cependant, ces variantes sont difficilement maîtrisables et toute tentative de contrôle nécessiterait un temps de travail non négligeable pour un résultat peut-être limité. Mais nous faisons néanmoins l’hypothèse que le choix de répondre sur papier ou sur Internet, même lorsque l’enquêté a le choix, n’est pas le fruit du hasard et nous y reviendrons. Il s’agit désormais d’analyser l’échantillon obtenu par cette méthode.

Analyse de l’échantillon

14Nous nous attacherons dans cette partie à analyser la construction, dans le temps, de notre échantillon au regard de la population réelle de travailleurs sociaux qui se fera par profession et par niveau de formation. (Pour désigner les professions du travail social, notamment dans les représentations graphiques, nous utilisons des abréviations traduites dans l’annexe 1. Cette annexe mentionne par ailleurs le niveau de formation des diplômes).

Annexe 1 : tableau des professions du travail social par lieu d’intervention

Annexe 1 : tableau des professions du travail social par lieu d’intervention

*Niveau II : Bac + 3 ; Niveau III : Bac +2 ; Niveau IV : Bac ; Niveau V : BEP/CAP

** Les animateurs peuvent être de niveau III (DEFA) ou de niveau IV (BEATEP). Cependant, l’acquisition du DEFA étant complexe, de nombreux animateurs exercent leur profession avec un diplôme incomplet. C’est pour cette raison que nous les avons regroupés.

Évolution des réponses sur Internet

15Si, pour le cas d’une enquête sur papier, l’analyse de la construction de l’échantillon n’a pas beaucoup d’intérêt, elle en prend davantage lorsqu’il s’agit d’analyser les réponses issues d’un questionnaire en ligne au fur et à mesure des réponses reçues. En effet, un questionnaire sur Internet n’est en rien statique dans la mesure où la personne peut y arriver de différente manière (liens Internet, moteur de recherche, annonce papier…) et le classement du site sur lequel il se trouve, se modifier au cours du temps. Ainsi, par ce biais, nous avons recueilli 521 réponses soit 78 % de notre échantillon (voir annexe 2 pour le détail).

Évolution des réponses issues d’Internet par tranche de 100 et par profession (en %)

Évolution des réponses issues d’Internet par tranche de 100 et par profession (en %)

Annexe 2 : tableau de l’échantillon

Annexe 2 : tableau de l’échantillon

* Eff. = effectifs

  • 7 Nous renvoyons à l’annexe 1 pour la désignation des abréviations.

16Nous avons analysé l’évolution des réponses reçues par Internet sur une période d’environ 12 mois. Pour ce faire, nous avons repris l’ensemble par tranche de 100 dans l’ordre chronologique d’arrivée. Nous constatons, à partir du graphique suivant, que le trait --◆-- qui correspond aux 100 premières réponses n’épouse pas totalement la forme des 4 autres lignes qui représentent les 200, 300, 400 et 521 réponses. On remarquera en particulier l’absence des TISF,7 des MA et des AVS. Il faut donc attendre le seuil des 200 réponses pour avoir un échantillon « stabilisé ». Cet aspect est à lier au facteur temps : le temps que l’information se diffuse, et ce, quels que soient les moyens (bien que le recensement ne soit pas à notre avis le facteur le plus déterminant). Ce que nous constatons ne peut être posé bien entendu comme une généralité et est certainement spécifique à notre enquête.

Un « échantillon indicatif »

17Il s’agit désormais d’analyser notre échantillon, mais du point de vue cette fois de la représentativité en comparant la composition de nos échantillons papier et Internet à la population effective de travailleurs sociaux.

18Le graphique ci-dessous montre que l’échantillon de notre enquête ne reflète pas la réalité de l’ensemble de la population concernée. Le trait --X-- montre la population effective de travailleurs sociaux retenus. Le trait --◆-- correspond à notre échantillon Internet, le trait --◼-- à l’échantillon papier et le trait --▲-- à l’échantillon total. L’analyse de ce graphique montre clairement que notre échantillon n’est pas représentatif des travailleurs sociaux en général, que ce soit pour le papier ou Internet.

Répartition de l’échantillon (papier et Internet) et de la population effective par profession (en %)

Répartition de l’échantillon (papier et Internet) et de la population effective par profession (en %)

19Nous remarquons ainsi une surreprésentation des ASS et des ES. Ces deux professions cumulées ne représentent en fait que 30,1 % dans la réalité des professions du travail social. De même que si les AVS représentent réellement 38,2 % des professions du secteur, ils sont largement sous représentés dans notre échantillon.

20Notre échantillon peut également être analysé du point de vue du niveau de formation qui va, pour ce qui concerne les travailleurs sociaux, du niveau I (Bac +5) au niveau V (BEP/CAP). Néanmoins, il faut rester prudent. En effet, si l’on regarde les travailleurs sociaux qui ont un diplôme de niveau III et cet aspect est particulièrement observable chez ces professionnels, nous avons constaté, d’après notre enquête que plus de 45 % possèdent un diplôme de l’enseignement supérieur de niveau plus élevé à celui du travail social.

  • 8 Beynier et Tudoux (2005) montrent que suivant les enquêtes consacrées au dénombrement des travaille (...)

21Cependant, l’analyse du graphique ci-dessous, montre une surreprésentation des niveaux II et III, qui représentent 81,6 % de l’échantillon alors que dans la réalité ils ne représentent que 36,1 % des professions, et une sous-représentation des niveaux IV et surtout des niveaux V qui constituent l’effectif le plus important de la population des travailleurs sociaux que nous avons retenue.8 Que les réponses soient issues d’Internet ou du papier, nous ne constatons pas, de ce point de vue, de réelle différence. Autrement dit, ce sont ceux ayant les niveaux de diplôme les plus élevés qui ont davantage répondu au questionnaire quelque soit la forme.

Échantillon de l’enquête par niveau de formation (voir l’annexe 2 pour la désignation des niveaux)

Échantillon de l’enquête par niveau de formation (voir l’annexe 2 pour la désignation des niveaux)

22Comment expliquer ces fortes différences ? Au-delà de la « discrimination numérique » (Freydel, 2005), les professions d’AVS et de TISF sont difficilement atteignables de par leur lieu d’exercice professionnel : ils ne travaillent pas systématiquement dans des structures, mais aux domiciles des personnes. Ils sont employés par des associations qui sont davantage des lieux de « transit » que des lieux de travail. De ce fait, nous avons eu quelques difficultés à prendre contact avec eux, car tous les travailleurs sociaux ne sont pas « localisables » dans les établissements. Et c’est l’un des problèmes auquel nous avons été confronté et qui se traduit directement dans la composition de notre échantillon.

23D’autre part, si certains n’ont pas de connexion personnelle, les travailleurs sociaux ont pu répondre au questionnaire depuis leur lieu de travail. Et de ce point de vue, certaines professions seront plus avantagées que d’autres.

24De plus, si nous avançons sans trop de risque que les principaux répondants sont passés par le site « www.lien-social.fr » ou « www.travail-social.com », nous pourrions en déduire que ce sont des personnes qui sont davantage intéressées par l’actualité du travail social au travers de l’actualité juridique ou de dossiers spécifiques, et de ce point de vue, ceci peut être perçu comme un indicateur spécifique d’intérêt pour le champ. Cette hypothèse demandera néanmoins à être vérifiée par la suite.

25Enfin, dans le cadre de notre enquête qui porte sur les pratiques artistiques et culturelles, les analyses de Pierre Bourdieu ont montré combien ce domaine pouvait avoir un effet symbolique fort sur les personnes n’ayant ni pratiques culturelles ni pratiques artistiques et de fait n’auraient pas répondu, et c’est peut-être aussi l’une des raisons de ces grands écarts. Autrement dit, nous pouvons avancer que les professions les moins représentées ne le seront pas davantage et ce quelle que soit la durée de l’enquête.

26Nous venons donc de voir que notre échantillon est déséquilibré en terme d’effectif entre les données issues d’Internet et celles issues du papier. Il l’est moins en ce qui concerne la représentation des différentes professions dans les deux échantillons, mais sans pour autant être représentatif de la population de travailleurs sociaux. Sur ce point, Salvador Juan note qu’ « un échantillon n’a nullement besoin d’être parfaitement représentatif pour que l’enquête ait une valeur scientifique. Inversement, de très nombreuses enquêtes sans la moindre valeur scientifique il donne l’exemple des sondages d’opinion sont réalisées quotidiennement avec des échantillons représentatifs » (Juan, 1999). Il ajoute qu’ « il ne s’agit pas, ou rarement en sciences sociohumaines, de dénombrer pour dénombrer, d’établir une pure comptabilité de stocks ou de flux, mais d’interpréter » (op. cit. : 149). De plus, comme le note Jean-Pierre Beaud, « Il est clair que dans le domaine de l’échantillonnage en particulier, la quête de la perfection méthodologique constitue souvent plus un frein à la recherche qu’un véritable moteur, et qu’il vaut mieux faire de la recherche avec un outil imparfait que de ne pas faire de recherche du tout, faute d’avoir trouvé l’outil parfait » (Beaud, 1990 : 212). Rappelons également que notre effectif Internet est de 521 personnes et papier de 157 individus et à ce propos, Philippe Cibois rappelle que « Le nombre rond de 1000 n’a pas de valeur magique : il donne une bonne précision aux sondages nationaux. Une moindre précision est peut-être suffisante pour l’étudiant, le chercheur ou l’utilisateur aux moyens limités. L’expérience montre qu’avec une population d’environ 100 individus, il est possible d’avoir une description des grandes oppositions de la population observée » (Cibois, 1990 : 220).

27Mais si notre échantillon n’est pas représentatif, ce qui nous intéresse en premier lieu et avant tout c’est qu’il soit à peu près équilibré entre les travailleurs sociaux ayant des conduites artistiques et ceux n’en ayant pas. Sur ce point, nous avons un rapport de 40/60. Et même si nous ne savons pas s’il reflète la réalité, car à notre connaissance il n’existe aucune donnée à ce sujet, c’est avec ce rapport que nous poursuivrons l’analyse de notre recherche. Ceci étant posé, ce qui nous paraît intéressant désormais d’analyser, c’est la « fiabilité » de l’échantillon : les répondants ayant utilisé Internet ont-ils le même profil que ceux ayant répondu par papier ? Et quelles sont les éventuelles conséquences sur les résultats notre recherche ?

Comparaisons et influences des deux échantillons

28L’analyse qui suit comportera deux volets. D’une part, nous établirons le profil des répondants Internet et papier. Ensuite nous dégagerons le profil des travailleurs sociaux ayant des conduites artistiques.

29Pour effectuer ces analyses, nous avons fait des profils de modalités à l’aide du logiciel à partir de la variable d’intérêt (Cibois, 2007 : 18) « origine de la réponse » (Internet ou papier) pour le profil des répondants et le fait d’avoir ou non des pratiques artistiques dans un cadre professionnel pour le profil des travailleurs sociaux qui sera effectué par échantillon et dans sa globalité. Cette méthode permet de détecter rapidement les attractions entre les modalités de la variable d’intérêt et l’ensemble des modalités des autres questions (les seuils choisis pour l’écart à l’indépendance sont de 5 et de 1 pour le khi-2 par case). Chaque tableau que nous présenterons comporte le nom des variables, des modalités et trois indicateurs : l’effectif, le PEM (Cibois, 1993) et le test du khi2.

30Étant dans une logique de comparaison, pour chacun des deux cas, nous avons croisé la variable d’intérêt avec l’ensemble des questions et avons retenu celles qui nous paraissaient les plus pertinentes au regard du khi-2 et du PEM et aussi du point de vue de notre démonstration (nous avons retiré les variables liées aux pratiques artistiques sur le temps libre comme par exemple le type d’instrument pratiqué quand la personne faisait de la musique). Ce principe a été appliqué de manière identique sur les deux profils. Ce qui revient au final à un groupe de questions qui est composé des activités artistiques sur le temps libre (réduite ici à une seule question à deux modalités, oui et non), l’identification du lieu d’exercice professionnel, les représentations du travail social (représentation de la fonction professionnelle et des relations hiérarchiques) et les déterminants sociaux. Certaines questions ont fait l’objet d’un recodage, c’est le cas notamment des variables numériques (telles que l’âge, l’ancienneté professionnelle, le nombre d’enfants) qui ont été construites de manière à ce que les classes soient équilibrées en terme d’effectifs, mais aussi de certaines variables fermées comme les activités artistiques sur le temps libre ou le temps professionnel (réduites au fait d’en avoir ou pas plutôt que de reprendre le type d’activité effectuée), les représentations du travail social et les origines sociales (professions des parents recodées à partir de la classification de l’INSEE).

Profil des répondants (Internet et papier)

31Nous avons retenu pour ce premier profil la variable d’intérêt « origine de la réponse » (dont les modalités sont « Internet » ou « papier »).

32Dans la première partie du tableau qui concerne les travailleurs sociaux ayant répondu par Internet, nous remarquons de fortes intensités de liaison avec un PEM allant de 28 % à 66 %. Il s’agit d’un profil de travailleur social qui vit davantage dans une grande agglomération, n’a pas ou peu d’enfants (un enfant au plus), travaille dans la fonction publique hospitalière, vit en concubinage, est jeune (moins de 28 ans), engager d’un point de vue associatif (notamment dans des associations de type ATTAC) et à un contrat de travail à durée déterminée. Ce dernier élément nous semble particulièrement important. L’explication que nous pourrions apporter est que les deux sites sur lesquels nous avons eu un lien direct, en plus de l’actualité sur le travail social, proposent des offres d’emploi (en pensant bien entendu que les personnes en CDD cherchent des CDI). Ce que nous aurions pu considérer comme un facteur d’intérêt (consultation de site consacré au travail social) se dissout quelque peu au regard de cette analyse. Il s’agira de vérifier si cet élément est déterminant dans la réalisation d’activités artistiques en milieu professionnel.

33La seconde partie du tableau concerne ceux ayant répondu par papier. L’intensité des liaisons entre modalités indique un PEM compris entre 9 % et 41 %. Nous constatons cette fois qu’il s’agit davantage d’assistants de service social, travaillant dans la fonction publique territoriale, en contrat à durée indéterminé, à temps partiel, exerçant leur métier en milieu rural. Ils sont par ailleurs mariés, avec au moins deux enfants, habitant dans une agglomération inférieure à 2000 habitants, engagés religieusement et ayant eu un engagement syndical. On remarquera aussi un niveau de diplôme scolaire (à ne pas confondre avec le niveau de diplôme professionnel) équivalent à CAP/BEP. Enfin, les répondants sont inscrits dans une classe d’âge de 40 ans et plus.

  • 9 En effet, 9 travailleurs sociaux sur 10 sont des femmes. Voir Beynier et Tudoux, 2005.

34Nous remarquons également que les variables concernant les représentations du travail social n’apparaissent pas, de même que le sexe malgré une forte présence féminine puisqu’elles représentent 77,6 % de l’échantillon total. Ce chiffre n’est pas une surprise compte tenu du taux important de femmes dans les métiers du travail social.9 Même si nous avons pu observer une légère surreprésentation des femmes pour le questionnaire papier et une surreprésentation des hommes pour le questionnaire Internet, ces éléments ne sont pas significatifs (et ne sont donc pas indiqué dans ce tableau).

*Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •

35Cette première opération a permis de dresser un profil des répondants Internet et papier et mettre en avant ce qui pourrait être considéré comme des déterminants de l’usage des méthodes de recueil de données que notre population a utilisé. De ce point de vue, notre travail n’apporte pas de réelles nouveautés au regard des études déjà réalisées. En effet, Thorsten Fass (2004) qui à propos des élections fédérales allemandes de 2002 a déjà montré qu’il existait de fortes différentes d’âge, de sexe, d’éducation, de représentations en l’occurrence politiques pour un même questionnaire dont les méthodes de recueil de données diffèrent. Cependant, s’arrêter à ce constat ne nous parait pas suffisant. En effet, deux éléments nous semblent intéressants à analyser : les répondants Internet et papier ont-ils le même profil pour ce qui est des pratiques artistiques en milieu professionnel et ce au regard de chacun des échantillons et comment se comporte les données lorsque celles-ci sont compilées. Autrement dit sont-ce les mêmes déterminants qui influent sur la production des pratiques artistiques chez les travailleurs sociaux ? Si tel était le cas, nous pourrions émettre l’hypothèse que les résultats de notre travail sont davantage liés à l’ « effet de recueil de données » qu’à une réalité sociale. Notre échantillon serait « faussé » sauf à penser que ce sont les mêmes déterminants qui agissent sur l’utilisation d’Internet ou les pratiques artistiques par exemple.

Profil des travailleurs sociaux ayant ou non des pratiques artistiques

36Cette analyse s’est faite de deux manières : en partant de la variable d’intérêt « les pratiques artistiques en milieu professionnel » dont les modalités de réponse sont « oui » et « non » nous avons observé les résultats de la même modalité sur chacun des deux échantillons. Cette méthode nous permet d’observer si pour la même question et la même réponse le profil des répondants varie suivant l’origine de échantillon. D’autre part, lorsque l’échantillon est compilé, indépendamment de l’origine des réponses afin de le comparer avec le profil des répondants que nous venons de voir.

Comparaison entre échantillons

37Le tableau ci-dessus dresse le profil de modalités des travailleurs sociaux ayant des pratiques artistiques. Nous avons grisé les variables et modalités communes entre les deux échantillons.

38En premier lieu, nous constatons un écart d’effectif relativement important entre les deux échantillons (321 répondants pour l’échantillon Internet contre 82 pour l’échantillon papier). L’intensité des liaisons entre les modalités est comprise entre 17 % et 80 % pour l’échantillon Internet et de 22 % à 49 % pour l’échantillon papier. On remarque également que le nombre de variables significatives pour l’échantillon Internet est de 12 contre 3 pour l’échantillon papier. Cependant, tant pour l’échantillon papier qu’Internet, nous constatons qu’il s’agit des professions du champ de l’éducation qui ont davantage de pratiques artistiques en milieu professionnel, celle d’éducateur spécialisé étant commune aux deux échantillons, et qui travaillent dans le secteur privé. Le reste des informations est donné par l’échantillon Internet sauf pour le passé professionnel où ceux ayant répondu par papier ont exercé un autre métier avant d’être dans le travail social.

*Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •

39Le second tableau s’intéresse cette fois aux travailleurs sociaux n’ayant pas de pratiques artistiques. Comme pour le précédent tableau, nous avons un écart d’effectif assez important entre les deux échantillons (200 pour l’échantillon Internet contre 65 pour l’échantillon papier. Les PEM varient de 8 % à 57 % pour l’échantillon Internet et de 22 % à 49 % pour l’échantillon papier. Nous constatons que quatre variables avec les mêmes modalités sont communes aux deux échantillons : le champ professionnel, ici l’action sociale, assistant(e) de service social étant commun au deux échantillons, le secteur d’activé, il s’agit ici de la fonction publique territoriale, les activités sur le temps libre, en l’occurrence leur absence, et l’opinion sur les relations hiérarchiques considérées ici comme « limitatives » dans les deux cas.

*Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •

40Sur ce point, force est de constater qu’en dehors d’un effectif déséquilibré, pour la même modalité de réponse, les échantillons ne se « contredisent » pas. Le peu d’information apportée par l’échantillon papier reste en grande partie commun avec l’échantillon Internet qui est néanmoins plus riche en renseignements. Au travers cette analyse, est-il possible de déceler un « comportement virtuel » (« virtuellen verhaltens ») pour reprendre les termes de Monicka Taddicken (2006) susceptible de « fausser » les résultats ? Il est difficile de répondre à cette question du fait de l’inégalité d’effectifs des deux échantillons et d’autre part ce comportement n’est peut-être repérable qu’à partir de la connaissance du champ du travail social, de son mode de fonctionnement et de son histoire.

Echantillon compilé

41Observons désormais l’échantillon compilé. La variable d’intérêt est la même que précédemment sauf que nous l’analysons indépendamment de l’origine de la réponse. Nous avons grisé en clair les variables et modalités communes aux profils des répondants Internet et en foncé celles correspondantes aux profils des répondants papier.

  • 10 Cette question a fait l’objet d’un recodage. Nous demandions aux répondants de choisir les trois te (...)

42La première partie du tableau indique les travailleurs sociaux ayant des pratiques artistiques en milieu professionnel. L’intensité des liaisons entre modalités est comprise entre 12 % et 100 % (la liaison maximale concerne les AMP. Ce que Philippe Cibois (2007 : 60) considère comme un « bruit » renvoie ici au fait que tous les AMP de l’échantillon ont des pratiques artistiques dans le cadre de leur profession). On constate qu’il s’agit des professionnels du champ de l’éducation, travaillant dans le secteur privé (association par exemple), et plus particulièrement en milieu rural, qui ont une ancienneté comprise entre 6 et 16 ans. On voit également qu’ils ont des pratiques artistiques dans le cadre de leur temps libre. Leur vision du travail social est restée identique durant et après leur formation (une fois professionnel). Ils ont une représentation du travail social « non-administrative »10 et considèrent les relations hiérarchiques « constructives ». D’autre part, leur conception de leur métier n’a pas changé entre la formation et l’entrée dans la vie professionnelle. Il s’agit plus spécifiquement d’hommes, ayant un diplôme de l’enseignement scolaire peu élevé (BEPC et CAP/BEP). Ils sont engagés dans le monde associatif (en l’occurrence environnemental et autre). Pour ce profil, il s’agit de la seule variable et modalité communes dégagées au niveau du profil des répondants Internet ou papier.

43La seconde partie du tableau permet d’établir le profil des travailleurs sociaux n’ayant pas de pratiques artistiques dans le cadre professionnel. L’intensité des liaisons est cette fois comprise entre 8 % et 53 %. Le portrait est en quelque sorte inversé puisqu’il s’agit essentiellement des professions du champ de l’action sociale. Nous pensons là qu’il s’agit d’un effet de structure. En effet, la mise en place de ces activités nécessite une marge de liberté et une certaine autonomie dans le travail que ces professions n’ont pas forcément contrairement aux professions du champ de l’éducation. On remarque également qu’ils sont jeunes, ont peu d’ancienneté professionnelle, ont eu peu d’emploi tant dans le champ du travail social qu’en dehors, travaillent davantage dans la fonction publique territoriale et qu’il s’agit plus spécifiquement de femmes. On constate par ailleurs, et c’est à notre sens important, qu’ils voient leur fonction professionnelle comme « administrative » et considèrent les relations hiérarchiques comme « limitatives ».

*Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •, non significatif « ns »

44D’un point de vue général, la nature du contrat de travail, le temps de travail, la situation familiale et l’engagement syndical ont disparu. Et un élément important n’apparaît pas, c’est l’origine de la réponse. Mais ce qu’il est intéressant de noter pour le second profil, c’est que nous retrouvons 7 variables dont les modalités sont communes soit avec le profil des répondants Internet, soit avec le profil des répondants papier. Mais ces variables agissent indifféremment de l’origine des réponses et n’a que peu d’influence sur les conditions de production des pratiques artistiques des travailleurs sociaux dans le champ du travail social. Notre échantillon compilé a donc une certaine validité. Ce n’est donc pas uniquement au travers des déterminants sociaux qu’il faudra tenter de trouver une réponse à notre hypothèse, mais au travers des représentations sociales que les travailleurs sociaux ont de leur fonction.

Conclusion

45L’objectif de cet article était de montrer l’influence de l’origine de la réponse sur les résultats globaux de notre travail et ainsi de cerner les enjeux d’une telle méthode tant d’un point de vue théorique que pratique. Et c’est à partir d’une comparaison entre deux manières de recueillir des données que nous avons pu réfléchir concrètement sur la « validité » de données recueillies par deux méthodes différentes.

46Quels enseignements notre expérience apporte-t-elle ?

  • 11 De nombreux enquêtés nous ont indiqués que le questionnaire était aussi « l’occasion de faire le po (...)

47Nous avons ainsi pu montrer qu’à partir de 200 réponses, nous obtenions un échantillon « stabilisé », cet élément est important compte tenu du caractère dynamique d’Internet. Nous avons également vu que notre échantillon Internet n’était pas représentatif de la population concernée, pas plus que notre échantillon papier. Néanmoins, si notre échantillon papier et Internet ont une tendance à se ressembler dans leur proportion, ceci ne peut-être une généralité. En effet, l’intérêt que les travailleurs sociaux ont à répondre au questionnaire11 constitue un élément non négligeable. Autrement dit, c’est davantage l’objet de recherche en tant que tel qu’il est peut-être nécessaire d’interroger.

48Concernant l’analyse concrète des données, nous avons remarqué que les travailleurs sociaux ayant répondu par Internet n’ont pas le même profil que ceux ayant répondu par papier. Mais l’élément le plus pertinent pour notre recherche et qu’il n’y a pas d’« effet de recueil de données » significatif lorsque les deux échantillons sont analysés séparément ou lorsqu’ils sont regroupés. Les déterminants sociaux des répondants Internet ou papier agissent peu sur les conditions de production des pratiques artistiques. Ce point nous semble particulièrement important, car il permet de compiler nos données et de « valider » les résultats de notre recherche. Dans le cas contraire, il aurait été nécessaire de faire une analyse séparée des échantillons en tentant d’avoir deux échantillons numériquement identiques. Cependant, nous restons toujours prudent quant à ces conclusions compte tenu du décalage entre notre effectif Internet et papier.

49Ces résultats ne valent bien entendu que pour notre recherche qui enseigne que cette double manière de recueillir des données doit à notre sens s’accompagner d’un travail de vérification systématique afin que les effets qu’elle engendre (les déterminants d’une pratique influent sur les déterminants d’une autre) soient limités et n’aient pas de conséquences directes sur les résultats de la recherche.

Haut de page

Bibliographie

Jean-Pierre Beaud (1990), « L’échantillonnage », La recherche sociale, sous la direction de Benoît Gauthier, Sainte-Foy, Presses Universitaires du Québec.

Dominique Beynier et Benoît Tudoux (2005), « Les métiers du travail social (hors aide à domicile », Etudes et Résultats, DREES, n. 441, novembre 2005.

Philippe Cibois (1990), L’analyse des données en sociologie, Paris, Editions PUF, 2e éditions.

Philippe Cibois (1993), « Le PEM, pourcentage de l’écart maximum : un indice de liaison entre modalités d’un tableau de contingence », Bulletin de méthodologie sociologique, n. 40 (téléchargeable sur le site de l’auteur : http://perso.orange.fr/cibois/SitePhCibois.htm).

Philippe Cibois (2007), Les méthodes d’analyse d’enquêtes, Paris, Editions PUF, Collection Que sais-je ?

Gérard Creux (2006), « Les conduites artistiques des travailleurs sociaux en milieu professionnel », Sciences de l’éducation - Pour l’ere nouvelle, n. 3, octobre 2006.

Thorsten Fass (2004), « Online or not online? A comparison of offline and online surveys conducted in the context of the 2002 German federal election », Bulletin de méthodologie sociologique, n. 82, pp. 42-57.

Yves Freydel (2005), « Un ménage sur deux possède un micro-ordinateur, un sur trois a accès à Internet », Insee Première, mars 2005, n. 011.

Anja S. Goritz (2006), « Incentives in web studies : methodological issues and review », International Journal of Internet Science, Volume 1, pp. 58-70 (disponible sur le site www.psychologie.unizh.ch/sowi/reips/ijis/ijis1_1/ijis1_1_goeritz.pdf).

Salvador Juan (1999), Méthodes de recherche en sciences sociohumaines : exploration critique des techniques, Paris, Editions PUF.

Olivier Martin (2005), L’analyse des données quantitatives, Paris, Editions Armand Colin.

Heike Ollesch, Edgar Heineken, Franck P. Schulte (2006), « Physical or virtual présence of the experimenter : psychological online-experiments in different settings », International Journal of Internet Science, Volume 1, pp. 58-70 (disponible sur le site www.psychologie.unizh.ch/sowi/reips/ijis/ijis1_1/ijis1_1_ollesch.pdf).

Cécile Prévost-Thomas (2000), « Musique et Internet : enjeux épistémologiques et modalités pratiques d’un terrain virtuel », in Musique et Sociologie : enjeux méthodologiques et approches empiriques, sous la direction de Anne-Marie Green, Paris, Editions l’Harmattan.

Jolene D. Smyth, Don A. Dillman, Leah M. Christian, Michael J. Stern (2006), « Effects of using visual design principles to group response options in web surveys », International Journal of Internet Science, Volume 1, pp. 6-16 (disponible sur le site www.psychologie.unizh.ch/sowi/reips/ijis/ijis1_1/ijis1_1_smyth.pdf).

Monicka Taddicken (2006), « Die Datengüte von Web-Befragungen : Einschränkunger durch Methoden-Effekte ? » in Karl-Siegbert Rehberg (Hrsg.), Soziale Ungleichheit, kulturelle Unterschiede : Verhandlungen des 32. Kongresses der Beutschen Gesellschaft für Soziologie in München, Teilbd. 1 und 2, Frankfurt am Main, Campus Verlag.

Haut de page

Notes

1 Le questionnaire a été envoyé à 350 établissements « représentatifs » des structures employant des travailleurs sociaux. Une relance a été effectuée par fax deux mois après le premier envoi.

2 La version Internet et la version papier du questionnaire sont disponibles à cette adresse : http://gcreux.free.fr

3 Common Gateway Interface. Il s’agit tout simplement d’un programme informatique.

4 Notice d’utilisation de Modalisa 4, Internet-Intranet, p. 2 (disponible sur le site de Modalisa : http://www.modalisa.com/pdf/U_SolutionsInternet.pdf

5 Pour le questionnaire, nous avons choisi un hébergeur (www.apinc.org) sans publicité afin que cet élément ne puisse pas perturber le répondant.

6 Nous renvoyons à l’annexe 1 qui défini les professions par champ d’intervention.

7 Nous renvoyons à l’annexe 1 pour la désignation des abréviations.

8 Beynier et Tudoux (2005) montrent que suivant les enquêtes consacrées au dénombrement des travailleurs sociaux, les chiffres sont loin d’être fiables. Ainsi, suivant les sources, les éducateurs spécialisés peuvent être au nombre de 54.868 à 70.100.

9 En effet, 9 travailleurs sociaux sur 10 sont des femmes. Voir Beynier et Tudoux, 2005.

10 Cette question a fait l’objet d’un recodage. Nous demandions aux répondants de choisir les trois termes parmi une liste de 12 termes, ceux qui caractérisaient le mieux leur profession. La modalité « non-administrative » renvoie au regroupement des modalités « action sociale », « apprentissage », « accompagnement », « observation » et « animation ». La modalité « administrative » renvoie au regroupement des termes « normalisation », « surveillance », « gestion », « technicité », « discours », « administration » et « contrôle social ».

11 De nombreux enquêtés nous ont indiqués que le questionnaire était aussi « l’occasion de faire le point » sur leur carrière professionnelle par exemple.

Haut de page

Table des illustrations

Titre Principe de recueil de données retenu via Internet (schéma construit à partir de la documentation du logiciel)
URL http://bms.revues.org/docannexe/image/377/img-1.jpg
Fichier image/jpeg, 28k
Titre Annexe 1 : tableau des professions du travail social par lieu d’intervention
Légende *Niveau II : Bac + 3 ; Niveau III : Bac +2 ; Niveau IV : Bac ; Niveau V : BEP/CAP
URL http://bms.revues.org/docannexe/image/377/img-2.jpg
Fichier image/jpeg, 52k
Titre Évolution des réponses issues d’Internet par tranche de 100 et par profession (en %)
URL http://bms.revues.org/docannexe/image/377/img-3.jpg
Fichier image/jpeg, 44k
Titre Annexe 2 : tableau de l’échantillon
Légende * Eff. = effectifs
URL http://bms.revues.org/docannexe/image/377/img-4.jpg
Fichier image/jpeg, 76k
Titre Répartition de l’échantillon (papier et Internet) et de la population effective par profession (en %)
URL http://bms.revues.org/docannexe/image/377/img-5.jpg
Fichier image/jpeg, 52k
Titre Échantillon de l’enquête par niveau de formation (voir l’annexe 2 pour la désignation des niveaux)
URL http://bms.revues.org/docannexe/image/377/img-6.jpg
Fichier image/jpeg, 40k
Légende *Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •
URL http://bms.revues.org/docannexe/image/377/img-7.jpg
Fichier image/jpeg, 88k
Légende *Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •
URL http://bms.revues.org/docannexe/image/377/img-8.jpg
Fichier image/jpeg, 88k
Légende *Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •
URL http://bms.revues.org/docannexe/image/377/img-9.jpg
Fichier image/jpeg, 104k
Légende *Test significatif au seuil de 1 % •••, au seuil de 5 % ••, au seuil de 10 % •, non significatif « ns »
URL http://bms.revues.org/docannexe/image/377/img-10.jpg
Fichier image/jpeg, 81k
Haut de page

Pour citer cet article

Référence papier

Gérard Creux, « Comparaison et influence de deux méthodes de recueil de données différentes sur les résultats globaux d’une enquête quantitative », Bulletin de méthodologie sociologique, 96 | 2007, 50-70.

Référence électronique

Gérard Creux, « Comparaison et influence de deux méthodes de recueil de données différentes sur les résultats globaux d’une enquête quantitative », Bulletin de méthodologie sociologique [En ligne], 96 | 2007, mis en ligne le 28 janvier 2014, consulté le 17 août 2017. URL : http://bms.revues.org/377

Haut de page

Auteur

Gérard Creux

IRTS et Université de Franche-Comté, gcreux@wanadoo.fr

Haut de page

Droits d’auteur

© BMS

Haut de page
  • Revues.org