Les reformulations multimodales: voix, gestes et supports visuels

Cet article présente les premiers résultats obtenus dans le cadre d’un projet portant sur l’analyse des reformulations multimodales (RM) dans la construction du discours. Il s’agit d’étudier les relations qu’entretiennent trois systèmes sémiotiques relevant de différentes modalités (la parole (S1), la gestualité (S2) et les supports de présentation visuels (S3)) dans les discours scientifiques. L’objectif est de décrire comment les RM participent au caractère performant du discours, à la construction de sa cohérence. Ces RM sont étudiées du point de vue interne à chaque système sémiotique (S1, S2, S3) et du point de vue du croisement d’un système à l’autre (rapport S1/S2, S1/S3, S2/S3 et S1/S2/S3). L’analyse s’opère comme suit : repérage des passages où se trouvent des RM et les systèmes mobilisés, annotation des données, analyse quantitative et qualitative des RM et des croisements, identification des paradigmes d’utilisation (des prestations sans RM à celles qui exploitent abondamment les croisements sur les trois niveaux). Contrairement à ce qui a été avancé par d’autres, l’hypothèse soutenue ici est qu’il ne s’agit pas de deux (voire trois) discours distincts et simultanés. Il apparaît au contraire que la linéarité (de S1 d’une part, de S3 d’autre part) et la simultanéité des trois sources d’information (S1, S2 et S3) s’entrecroisent dans la construction d’un discours unique mais plurisémiotique.