I have been studying and developing an LDA algorithm for classification of sentences since 2022. Sentence-level topic classification allows us to analyze association between topics and other properties such as sentiments within documents. Also, sentence-level analysis has become more common in text analysis in general thanks to highly capable transformer models in recent years. My […]
Measuring emotional distress during COVID through words and emojis on Twitter
My co-authored article on public mental health has appeared recently in the Journal of Medical Internet Research. In this study, we combined survey research and social media analysis to infer Japanese people’s mental health during the COVID pandemic. The methodological novelty of this study is that (1) we collected individual characteristics (age, gender, occupation, income […]
多言語テキスト分析研究会の立ち上げ
量的テキスト分析に関する知識の普及と人的な交流のため、2023年に多言語量的テキスト分析研究会(Multi-lingual Text Analysis Research Group)を立ち上げました。本研究会は(1)大学院生に量的テキスト分析についての学習機会を提供する、(2)量的テキスト分析の実践者の間での学問を超えたつながりを形成する、(3)アジア言語のテキストの量的分析の手法を発展させる、ことを目的としています。 本研究会では、社会科学(政治学、社会学、地域研究)の大学院生や若手の研究者を中心を中心に、同年3月から勉強会を定期的に開催しています。勉強会では、計画中または進行中の研究についての方法論的なアドバイス、量的テキスト分析についての実践的なチュートリアルなどを行っています。 勉強会への参加に関心がある方は、Google Groupを通して日時と場所をお知らせするので、僕にメールで連絡をしてください。基本的にオフラインでの集まりですが、なるべく日本各地で開催したいと思っています。
The latest Geopolitical Threat Index on a Shiny app
As part of my industrial project, I have created a web app for the Geopolitical Threat Index (GTI). It is an updated version of the published research with an interactive interface. The web app allows you to (1) select countries to visualize, (2) choose custom seed words to modify scores, and (3) download the dataset […]
Encyclopedia entries on text analysis from fresh perspectives
The Elgar Encyclopedia of Technology and Politics was published earlier this month. Andrea Ceron, the editor, compiled entries by many young political scientists to make the volume full of fresh perspectives. I have contributed to it by writing an entry on “text as data” (preprint) with an emphasis on the “string-of-words” approach that would improve […]
MeCabのトークンをQuantedaに読み込む二つの方法
量的テキスト分析では、文を語に分割するトークン化という処理が不可欠です。日本語は英語のように語が空白で区別されていないけれど、ICUに含まれる単語辞書を使うと日本語の文を簡単にトークン化できます。さらに、MeCabなどの形態素解ツールを使うと、文のトークン化だけではなく、品詞の特定までできます。 僕自身は品詞を区別するような分析をしないので、これまでちゃんと説明したことはなかったけど、QuantedaでMecabの出力を簡単に取り込むことができます。ここの例では、CRANでも公開されているRcppMeCab使って、語と品詞名がスラッシュで区切られたトークン(方法1)、または、語のみのトークン(方法2)を読み込みます。 方法1 この方法では、RcppMeCabのpos()が出力するlistをas.tokens()でtokensオブジェクトに変換し、文書名をコピーします。これさえできてしまえば、tokens_select()で語や品詞を選び、通常の操作でdfmオブジェクトを作成できます。 方法2 この方法では、RcppMeCabのpos()が出力するdata.frameの中で品詞を選択した後に、オブジェクトのクラス名を改ざんして、as.tokens()を適用します。クラス名を改ざんするのは、この関数がSpacyrの出力にしか正式対応していないものの、RcppMeCabの出力の形式が、それとまったく同じだからです。 でも、as.tokens()が行っているのは、data.frameをリストに変換するだけのことなので、split()を使っても同じことができます。この方法であれば、RMeCabなどの他の形式にも適用できるはずです。 もし、量的テキスト分析でMeCabを使う人が多いのであれば、利便性を高めるためにQuantedaに変更を加えることもできるので、下のコメント欄にその旨を書いてください。
Computing robust polarity scores using LSS
One of the advantages of Latent Semantic Scaling (LSS) is that it can compute polarity scores of very short documents. It achieves this by assigning polarity scores to all the words in the corpus and then computing polarity scores of documents as the sum of polarity scores of words weighted by their frequency. However, this […]
保守政権下での安全保障問題に関する新聞報道と首相支持率
先月、Discursive diversion: Manipulation of nuclear threats by the conservative leaders in Japan and Israelと題する論文が公表されました。この研究は日本学術振興会に支援され2019年に始まった日本とイスラエルの研究者による共同プロジェクトで、両国のリベラルと保守派の新聞を2009から2018年に渡って比較し、法案成立や総選挙の前に、新聞記事が北朝鮮またはイランの核兵器の脅威をどの程度強調したかを分析しました。この期間を通して、日本(安倍政権)とイスラエル(ネタニエフ政権)の両国では保守政権が続いていました。 新聞記事の内容分析では、Latent Semantic Scalingという準教師あり機械学習のアルゴリズムを用いており、[危険, 敵意, 壊滅, 危害, 衝突, 攻撃]を脅威について、[対話, 支持, 機会, 交渉, 成功, 貿易]を安全についての種語として選びました。ヘブライ語の記事の分析でも、同様な種語を選んでいます。一番目の図は、種語との意味的な距離によって、コーパス内の語がどのように重みづけされたかを示しており、差し迫った武力行使を意味する語が正の値を得て、核兵器が開発途上であることを意味する語が負の値を得ていることがわかると思います。 当研究では、日本の安全保障制度改革に注目し、特定秘密保護法(L1)、集団的自衛権容認(L2)、安全保障関連法(L3)、テロ等準備罪(L4)の成立に至る60日間にリベラルと保守派の新聞が、北朝鮮の脅威を強調する度合いがどの程度変化したかを統計的に分析しました。3番目の図では、安全保障関連法案(L3)の時だけ、読売が朝日より脅威を強調したことが示されています。イスラエルでは、ネタニエフが苦戦した2015年の総選挙の前に、保守派の新聞がイランの脅威を強調していたことが示されました。 当研究での統計分析の結果は、以前から指摘されていた安倍政権と保守系メディアの近しい関係を明示するものであり、LSSを用いた新聞の量的テキスト分析が政治コミュニケーションの分野において有効であることを証明したと考えています。イスラエルでは、実際に保守系新聞のオーナーとネタニエフの癒着が明らかになり、両者が有罪になっています。 さらに、本研究では新聞の内容分析と並行して心理学的な実験を両国で行い、脅威を強調されている新聞記事を読んだ場合、強調されていない記事を読んだ場合と比べて、指導者の支持率が有意に高まることが示されました。この実験は、Could Leaders Deflect from Political Scandals? Cross-National Experiments on Diversionary Action in Israel and Japanという論文として発表されています。 当研究での発見を総合すると、武力紛争下で指導者の支持率が高まる、旗の下の集結現象(rally-around-the-flag phenomena)が必ずしも、実際の武力行使を伴わずとも、マスメディアを操作するだけで発生し、保守的な政治家が自身の政治的な利益のために、安全保障上の脅威を強調しがちであると言えるでしょう。
Good and bad methods to extract context words
Many questions on quanteda’s kwic() function have been posted to Stack Overflow. It shows how much people like the human-friendly function, but it also shows that how much they are confused: the function is created only for manual inspection of tokens objects, not for extracting context words in preproccessing. If you apply kwic() to your […]
New research on the effect of nuclear threats in news on leader popularity
Since 2019, the most important research project of mine has been about media coverage of North Korea and Iran’s nuclear threats and its political implications. I started this project in 2019 with Elad Segev (Tel Aviv) and Atushi Tago (Waseda) supported by a Japanese funding agency. We have analyzed how Japanese (Asahi and Yomiuri) and […]