統語的曖昧性を解消するイントネーションとジェスチャーの共起

Abstract

本稿では、統語的曖昧性を解消する韻律的特徴がジェスチャーとどのように関わっているのかを明らかにする。日本語共通語では、発話の統語構造に対応するイントネーションパターンが存在し、統語的に曖昧な文がイントネーションにより区別されることが知られている。また、統語構造の曖昧性を解消するためのジェスチャーパターンが存在することも先行研究において指摘されている。本研究では、発話のマルチモーダル性に着目し、2つの実験を通して、統語的曖昧性を解消するジェスチャーが韻律にどのような影響を与えるかを検討した。実験1では、韻律による曖昧性の解消にジェスチャーが影響を与えるかを確かめるため、実験参加者はジェスチャー無し、ジェスチャー有りの2つの実験条件で統語的曖昧文を一方の意味が伝わるように発話した。その結果、ジェスチャー有りで発話した条件の方がジェスチャー無しで発話した条件よりも有意に韻律による曖昧性解消の効果が小さくなった。この実験の結果から、統語的曖昧性を解消するイントネーションとジェスチャーについて以下の2つの仮説が考えられた: (I)一般的な認知リソースを必要とするため、認知リソースの不足から両者を同時に産出することができなくなった、(II)認知的に同一の言語的領域を占めるものであるため、発話プロセスにおいて曖昧性を解消するジェスチャーがイントネーションに置き換わった。いずれの仮説が妥当かを確かめるため、実験2では、手を無意味に動かしながら、ないしは、3つの単語の単語を暗記しながら統語的曖昧文を音読する2つの実験条件を追加した。その結果、いずれの追加条件でもイントネーションによる曖昧性の区別は行なわれており、これは仮説(II)を支持するものと考えられた。

We examine how prosodic disambiguation of syntactic ambiguity is related to hand gestures. It is well-known that there is a pattern of intonation to show the syntactic structure of utterances in Tokyo Japanese. In addition, some studies point out that native speakers of Japanese have some gesture patterns for syntactic disambiguation. In this study, focusing on multimodal interaction, we conducted two experiments to illustrate gesture's influence on prosody in syntactic disambiguation. To investigate if gestures interrupt prosodic disambiguation, in Experiment 1, the participants were asked to utter syntactically ambiguous sentences to convey one meaning with or without gestures. The results show that the effect of prosodic disambiguation is smaller in uttering sentences with gestures than without gestures. Based on the result of Experiment 1, we can postulate the following two hypotheses: (I) intonation and gesture for syntactic disambiguation require general cognitive resources and thus there are not enough cognitive resources to produce them simultaneously, (II) they occupy the same linguistic domain in our cognitive system and thus the gestural disambiguation is substituted for intonational disambiguation in the utterance production process. To investigate which hypothesis is the case, we carried out Experiment 2. In Experiment 2, we added two experimental conditions, under which the participants were asked to utter syntactically ambiguous sentences while moving their hands meaninglessly or memorizing three words. As a result, under the additional conditions, they can distinguish the intonation pattern to show the syntactic structure. This result supports the hypothesis (II).