自然言語処理

講義

インターネット配信

第15回

第14回

第13回

第12回 情報検索

• 全文検索
• サーチエンジン

基本的な仕組み

• 転置インデックス
• クエリ
• TF
• IDF
• 文書頻度
• TF-IDF法(TF×IDF)
• ベクトル空間モデル

第11回

情報抽出

• 関係抽出
• イベント情報抽出
• MUC
• ブートストラップ
• Espresso
• 関係のデータベース
  • DBpedia
  • Freebase
  • ディスタント・スーパービジョン

知識獲得

• 事態間知識
• スクリプト

第10回 文脈の解析

• 文、文章、節

結束性と一貫性

照応・ゼロ解析照応

• 照応解析
  • Winograd schema challenge (WSC)

• 間接照応
  • 例1「家を見つけた。屋根は白かった」(家と屋根)
  • 例2「りんごを買った。値段は100円だった」(りんごと値段)
  • 例3「りんごを買った。色はまだ黄色かった」(りんごと色)

談話構造解析

• RST(修辞構造理論)
  • 核
  • 衛星
  • 手がかり表現/談話マーカー 「なぜなら」「一方」
• Penn Discourse Treebank (PDTB)

第9回

• 格と意味役割
  • 述語項構造
  • 格文法
    • 深層格(意味役割)
• PropBank
• モダリティ
  • 意思
  • 事態
  • 話者の判断の確からしさ

第8回

構文的曖昧性の解消の手がかり

• 形に対する手がかり
  • right association
• 意味の手がかり
  • 選択制限
  • 優先的解釈：確からしい解釈を優先する

機械学習に基づく構文解析

• 最大全域木
  • • projective
    • non-projective

Non-projectiveな場合の依存構造解析

• 対象
  • チェコ語等
• Chu-Liu-Edmonds法
  • 有向グラフによる表現
  • 貪欲法

Projectiveな場合の依存構造解析

• 対象
  • 日本語、英語等
• CKY法の活用

第7回

• 依存構造表現
  • 非交差条件
    • 例外の例「銀閣寺のような，京都には名所が多い」
      • 「銀閣寺のような」が「名所が」に係り，「京都には」が「多い」に係るので，この二つの係り受けが交差している
      • ちなみに「紅葉が京都は美しいと思う」は二重主語構文
• 句構造表現
• 構文の曖昧性
  • 構文解析
• 文脈自由文法
  • 句構造文法
  • チョムスキー標準形
• CKY法

第6回

語の意味

• 概念
  • 内包
  • 外延
• 比喩
  • 直喩
  • メタファー(暗喩)
  • メトニミー(換喩)
• シソーラス
  • WordNet

同義性

• 同義語
• 言い換え表現(パラフレーズ)

多義性

• 多義語
• 語義曖昧性解消(WSD)
  • bank は「銀行」か「土手」か？
  • Wikipedia
    • WBC は「ワールド・ベースボール・クラシック」か「世界ボクシング評議会」か「白血球」か？

第5回

品詞タグ付け

• ”Time flies like an arrow.”
  • 光陰矢の如し
  • 時蝿は矢を好む
  • 時蝿は矢のようだ

• HMM(隠れマルコフモデル)
• CRFによる品詞タグ付け

第4回

• コーパス
• n-gram言語モデル
  • Googleが「英語5-gram言語モデル」「日本語5-gram言語モデル」等を開発
• ベイズの定理

第3回

• 言語の意味の最小単位＝形態素
  • 語の区切り、品詞、活用等を求める処理＝形態素解析
    • 外国|人参|政権
    • くる|まで|待つ
• ラティス(束)構造
  • パス
  • ビタビアルゴリズム
    • ダイナミックプログラミング(動的計画法)
    • 「付属語のコストを1、自立語のコストを4」として、最短経路(コストの合計が最も少ない経路)を算出する
• 未知語処理
  • JUMAN、MeCab、Chasen

第2回

• 文字コード
• 文字列検索
  • ハッシュ法
  • トライ法

第1回

• 恣意的＝必然性が無い
• 言語は社会の慣習
  • お湯＝hot water
  • 数え方(個、本、匹、体、羽、頭、…etc.)