詳細検索はこちら
※苗字と名前の間にスペースをあけ、入力してください

栗山 和子クリヤマ カズコ

所属・担当
メディアコミュニケーション学科
社会学専攻
職名教授
メールアドレス
ホームページURL
生年月日
Last Updated :2017/07/19

研究者基本情報

基本情報

    プロフィール:1991年 図書館情報大学図書館情報学部図書館情報学科卒業. 1993年 同大学大学院図書館情報学研究科図書館情報学専攻修了, 修士(情報学). 1996年 筑波大学工学研究科電子・情報工学専攻修了, 博士(工学).(その後は「経歴」へ)

学位

  • 博士(工学), 筑波大学

所属学協会

  • 言語処理学会
  • ACM
  • 日本図書館情報学会
  • 日本数式処理学会
  • 情報処理学会

経歴

  •   2013年04月 - 現在, 東洋大学 社会学部メディアコミュニケーション学科 教授
  •   2012年04月 - 2013年03月, 白百合女子大学 文学部, 教授
  •   2007年04月 - 2012年03月, 白百合女子大学 文学部, 准教授
  •   2005年04月 - 2007年03月, 白百合女子大学 文学部 助教授
  •   2002年04月 - 2005年03月, 白百合女子大学 文学部 講師
  •   2001年04月 - 2002年03月, 国立情報学研究所, COE研究員
  •   2000年04月 - 2001年03月, 国立情報学研究所, リサーチ・アソシエイト
  •   1998年02月 - 2000年03月, 学術情報センター, リサーチ・アソシエイト
  •   1996年09月 - 1998年01月, 筑波大学電子・情報工学系, 準研究員

研究活動情報

研究分野

  • 情報学, メディア情報学・データベース
  • 情報学, 図書館情報学・人文社会情報学
  • 情報学, 情報学基礎

研究キーワード

    メタサーチエンジン, 情報検索, テストコレクション, NTCIR, データ・フュージョン, NTICR, データ・フージョン

論文

  • コミュニティQAにおける良質回答の自動予測, 石川 大介, 酒井 哲也, 関 洋平, 栗山 和子, 神門 典子, 情報知識学会誌, 情報知識学会誌, 21, (3) 362 - 382,   2011年09月27日
  • RD-003 コミュニティQAにおける良質な回答の選定タスク : 評価方法に関する考察(D分野:データベース,査読付き論文), 酒井 哲也, 石川 大介, 栗山 和子, 関 洋平, 神門 典子, 情報科学技術フォーラム講演論文集, 情報科学技術フォーラム講演論文集, 9, (2) 13 - 20,   2010年08月20日
  • 大規模テストコレクションNTCIR-2の構築 : 対話型追加検索と言語横断的プーリングの効果(<特集>情報の検索とテストコレクション), 栗山和子, 吉岡真治, 神門典子, 情報処理学会論文誌. データベース, 情報処理学会論文誌. データベース, 43, (2) 48 - 59,   2002年04月
  • 検索課題の難易度を考慮したテキスト検索システムの評価(<特集>情報の検索とテストコレクション), 江口浩二, 栗山和子, 神門典子, 情報処理学会論文誌. データベース, 情報処理学会論文誌. データベース, 43, (2) 60 - 68,   2002年04月
  • Pooling for a Large-Scale Test Collection : An Analysis of the Search Results from the First NTCIR Workshop, KURIYAMA Kazuko, Information Retrieval, Information Retrieval, 5, (1) 41 - 59,   2002年
  • 行列の固有値・固有ベクトル・一般固有ベクトルの数式処理による記号的計算法, 森継修一, 栗山和子, 日本応用数理学会論文誌, 日本応用数理学会論文誌, 11, (2) 103 - 120,   2001年07月
  • A Linear Algebra Method for Solving Systems of Algebraic Equations, MORITSUGU Shuichi, KURIYAMA Kazuko, 数式処理, 数式処理, 7, (4) 2 - 22,   2000年06月
  • 大規模テストコレクション構築のためのプーリングについて :NTCIR-1の分析, 栗山和子, 神門典子, 野末俊比古, 江口浩二, 学術情報センター紀要, 学術情報センター紀要, 12, 17 - 30,   2000年03月
  • 行列の有理標準形の分数なし計算法, 栗山和子, 森継修一, 日本応用数理学会論文誌, 日本応用数理学会論文誌, 6, (3) 253 - 264,   1996年10月
  • 数式処理による行列の標準形の厳密計算法, 栗山和子, 森継修一, 日本応用数理学会論文誌, 日本応用数理学会論文誌, 4, (2) 183 - 194,   1994年07月
  • 行列のJordan標準形の数式処理による厳密計算法, 森継修一, 栗山和子, 日本応用数理学会論文誌, 日本応用数理学会論文誌, 2, (1) 91 - 103,   1992年04月

MISC

  • 大学図書館のTwitter利用, 栗山和子, 情報処理学会研究報告. 情報学基礎研究会報告, 2013, (3) 1 - 8,   2013年09月19日, 本研究では,国立大学の附属図書館が Twitter をどのように利用しているのか,簡単な実態調査を行い,大学図書館の PR ツールおよびサービスツールとしての Twitter の有効性について考察した.まず,全ての国立大学の附属図書館について,Twitter のアカウントを収集し,ツイートの発言者の属性をプロフィールや図書館の公式サイトを用いて公式アカウントを同定した.次に,TwitterAPI を用いて,各アカウントのユーザ情報およびツイート 100 件を抽出し,その内容をいくつかのカテゴリに分類した.結果として,大学図書館のツイートの内容は,従来の館報や掲示による広報の範囲内に収まっており,双方向的なやりとりやリツイートによる情報拡散などの Twitter の特性を十分活用しているものではなく,主に簡易的な広報ツールとして使用されていること,また,公式アカウントがフレンドとしてフォローしているユーザの 4 割はフォロワと重複しており,必ずしも,Twitter 上での有用な情報源をフレンドとして登録しているわけではないことなど,まだ,大学図書館の Twitter 利用には課題が多いことがわかった.
  • 複数判定者によるコミュニティQAの良質回答の判定, 石川 大介, 酒井 哲也, 関 洋平, 栗山 和子, 神門 典子, 情報知識学会誌, 21, (2) 169 - 177,   2011年05月28日, コミュニティ型質問応答サイト(CQA) は,ユーザが自身の状況に応じた回答を得ることができる新たな情報獲得手段である.しかしCQA サイトに投稿された回答の質は様々であるため,そこから良質な回答を効果的に取り出す方法が必要である.そこで本研究は,Yahoo!知恵袋データを用いて複数判定者によって手動で良質回答を分析し,判定者らが良質回答の評価に用いた判定基準を特定した.
  • Q&Aサイトにおける質問と回答の分析(4)-質問タイプ分類の一致度について-, 栗山 和子, 神門 典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2010, (5) 1 - 8,   2010年10月28日, 著者らは,以前の論文で Q&A サイトにおける質問のタイプ分類を提案した.本研究では,NTCIR-8 ワークショップのコミュニティ QA パイロットタスクにおいて使用した 1500 件の質問データを,4 人の判定者によって,提案した 13 種類の質問タイプに分類し,判定者間の一致度を計算することによって,分類の信頼性を検証した.また,質問タイプと判定の一致・不一致との関連について考察し,質問タイプの妥当性について検討した.結果として,判定者間の一致度は高く,質問タイプ分類の信頼性と妥当性が確かめられた.
  • Q&Aサイトにおけるベストアンサー推定の分析とその機械学習への応用, 石川 大介, 栗山 和子, 酒井 哲也, 関 洋平, 神門 典子, 情報知識学会誌, 20, (2) 73 - 85,   2010年05月15日, 本研究では,Q サイトにおけるベストアンサーを計算機が推定可能か検証した.まず最初に,人間の判定者によるベストアンサー推定実験を行った.ベストアンサー推定実験にはYahoo!知恵袋データを利用し,「恋愛相談」「パソコン」「一般教養」「政治」の4つのカテゴリからそれぞれ無作為抽出した50 問を使用した.判定者二人による推定結果の正解率(精度) は,「恋愛相談」では50%と52%(ランダム推定:34%),「パソコン」では62%と58%(ランダム推定:38%),「一般教養」では54%と56%(ランダム推定:37%),「政治」では56%と60%(ランダム推定:35.8%) であった.次に,この実験結果を分析し,ベストアンサーを選ぶ要因として「詳しい」「根拠」「丁寧」を素性とする機械学習システムを構築した.判定者らと同じ50 問を用いた推定実験の結果,機械学習システムの精度は,「パソコン」では判定者らの結果を上回り(67%),「恋愛相談」では判定者らの結果を下回った(41%).「一般教養」と「政治」では機械学習システムと判定者らの結果はほぼ同等であった.
  • 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析, 関 洋平, 神門 典子, 稲垣 陽一, 栗山 和子, 情報処理学会研究報告. 自然言語処理研究会報告, 2010, (6) 1 - 8,   2010年01月21日, 世論調査,評判分析などを目的として,Web上の電子化文書を対象とした意見分析の研究が盛んに行われている一方で,Web上では,時間をかけて推敲された文書よりも,コミュニティQAやマイクロブログなど,短い会話的なやり取りを目的とした文書の利用が盛んになりつつある.本研究では,新聞記事を対象として作成されたNTCIR意見分析コーパスと,国立国語研究所が作成しているBCCWJコーパスに含まれるYahoo!知恵袋を対象とし,評価理論(Appraisal Theory) を参考に,詳細な意見情報のタグ付けを行った.また,タグ付けされた文書を対象として,新聞記事とYahoo!知恵袋に現れる意見情報の分析を行い,情報アクセス技術を実現する上で,必要となる意見タイプの出現傾向の違いを明らかにした.
  • 新聞記事とコミュニティQAを対象とした詳細な意見分析コーパスの作成と分析, 関 洋平, 神門 典子, 稲垣 陽一, 栗山 和子, 情報処理学会研究報告. 情報学基礎研究会報告, 2010, (6) 1 - 8,   2010年01月21日, 世論調査,評判分析などを目的として,Web上の電子化文書を対象とした意見分析の研究が盛んに行われている一方で,Web上では,時間をかけて推敲された文書よりも,コミュニティQAやマイクロブログなど,短い会話的なやり取りを目的とした文書の利用が盛んになりつつある.本研究では,新聞記事を対象として作成されたNTCIR意見分析コーパスと,国立国語研究所が作成しているBCCWJコーパスに含まれるYahoo!知恵袋を対象とし,評価理論(Appraisal Theory) を参考に,詳細な意見情報のタグ付けを行った.また,タグ付けされた文書を対象として,新聞記事とYahoo!知恵袋に現れる意見情報の分析を行い,情報アクセス技術を実現する上で,必要となる意見タイプの出現傾向の違いを明らかにした.
  • Q&Aサイトにおける質問と回答の分析(3)-質問・回答履歴を用いたベストアンサー推定-, 栗山 和子, 神門 典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2010, (7) 1 - 8,   2010年01月21日, 本研究では,Q&Aサイトにおける利用者の質問・回答履歴が,質問者がベストアンサーを選択するときに何らかの影響を与えているかどうかを調べ,複数の回答群から自動的にベストアンサーを推定するときに利用可能であるかどうかについて考察する.まず,Q&Aサイトに登録している利用者の質問・回答履歴を分析することにより,頻繁にサイトを使用している利用者およびベストアンサーに数多く選ばれている回答者の質問・回答行動の特徴について考察した.また,複数の回答群から自動的にベストアンサーを推定するとき,質問・回答履歴のみを使用した推定が可能かどうか予備的な実験を行い,検証した.結果として,利用者の質問・回答履歴にはカテゴリごと・利用者ごとの特徴があり,それを利用することによって,ある程度ベストアンサーを推定することが可能であることがわかった.
  • Q&Aサイトにおけるベストアンサー推定可能性の検証, 石川 大介, 栗山 和子, 関 洋平, 神門 典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2010, (8) 1 - 7,   2010年01月21日, Q&Aサイトにおけるベストアンサーを計算機が推定可能か検証するために,人間の被験者によるベストアンサー推定実験を行った.ベストアンサー推定実験にはYahoo!知恵袋データを利用し,「恋愛相談」と「パソコン」のカテゴリーから各50問を使用した.被験者二人による推定結果は,「恋愛相談」では正解率50%と52%(ランダム推定結果は34%),「パソコン」では正解率62%と58%(ランダム推定結果は38%) であり,いずれもランダム推定結果を上回った.また,被験者二人のκ係数は,「恋愛相談」では0.454(moderate),「パソコン」では0.613(substantial) であった.
  • Q&Aサイトにおける質問と回答の分析(2)-文の構造と属性を中心に-, 栗山 和子, 神門 典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2009, (3) 1 - 8,   2009年11月12日, 本研究では,Q&A サイトにおける質問と回答を分析し,質問者が複数の回答群からベストアンサーを選択するとき,質問と回答の文章としての構造と属性が影響を与えているかどうかを調べるため,質問と回答の構造について考察する.まず,Q&A サイトに投稿された質問と回答を分析することにより,文章の属性として文章の難易度と文字種の割合を計算した.次に,文書の構造を明らかにするため,質問と回答に含まれる構成要素を抽出し,質問と回答の表現のパターンについて考察した.結果として,質問と回答の構造と属性には,カテゴリごとにいくつかの特徴的なパターンが見られることがわかった.
  • Q&Aサイトにおける質問と回答の分析, 栗山 和子, 神門 典子, 情報処理学会研究報告. データベース・システム研究会報告, 148,   2009年07月28日
  • 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション), 神門典子, 岸田和明, 栗山和子, ChenKuang-hua, ChenHsin-Hsi, LeeSukhoon, MyaenySung Hyon, 情報処理学会研究報告. 自然言語処理研究会報告, 2008, (4) 23 - 30,   2008年02月21日, 本稿では、情報検索・要約・情報抽出・質問応答・テキストマイニングなどの情報アクセス技術の評価を行なうNTCIR(エンティサイル)プロジェクトとNTCIRワークショップの概要を紹介する。評価はどのような技術の研究開発においても必要不可欠なものであるが、情報アクセス技術では、成否の判定基準として利用者の判断が用いられ、多くの不確定な要素を含み、評価の実施には多くの課題がある。NTCIRでは1年半に1回のサイクルでワークショップを企画し、国内外の多数の研究グループが集まって共通の研究課題を設定し、大規模なテストコレクション(評価実験用の正解データ付きデータセット)を構築し、評価手法を提案し、その共通基盤の上で多数の研究グループが比較評価し、互いに学びあいながら研究を進めてきた。本稿では、その概要、背景、経緯、構築したテストコレクションなどを概観するとともに、言語横断検索タスクについて概観し、今後の方向性を展望する。
  • 情報アクセス技術の性能評価のための研究基盤NTCIR : 言語横断検索の創成と展開(NTCIR特別セッション), 神門典子, 岸田和明, 栗山和子, ChenKuang-hua, ChenHsin-Hsi, LeeSukhoon, MyaenySung Hyon, 情報処理学会研究報告. 情報学基礎研究会報告, 2008, (4) 23 - 30,   2008年02月21日, 本稿では、情報検索・要約・情報抽出・質問応答・テキストマイニングなどの情報アクセス技術の評価を行なうNTCIR(エンティサイル)プロジェクトとNTCIRワークショップの概要を紹介する。評価はどのような技術の研究開発においても必要不可欠なものであるが、情報アクセス技術では、成否の判定基準として利用者の判断が用いられ、多くの不確定な要素を含み、評価の実施には多くの課題がある。NTCIRでは1年半に1回のサイクルでワークショップを企画し、国内外の多数の研究グループが集まって共通の研究課題を設定し、大規模なテストコレクション(評価実験用の正解データ付きデータセット)を構築し、評価手法を提案し、その共通基盤の上で多数の研究グループが比較評価し、互いに学びあいながら研究を進めてきた。本稿では、その概要、背景、経緯、構築したテストコレクションなどを概観するとともに、言語横断検索タスクについて概観し、今後の方向性を展望する。
  • 情報検索システムの評価 : テストコレクションを中心に(<特集>図書館・情報活動と<評価>), 栗山和子, 情報の科学と技術, 57, (8) 378 - 383,   2007年09月01日, 情報検索には様々な側面があるが,情報検索システムの研究においては,テストコレクションを用いた検索実験による客観的な性能評価を行うことが一般的である。情報環境の整備にともない,情報検索システムの検索対象が,研究論文や技術文書のような専門的文書からWWW上のWebページや社内文書のような一般的文書へと広がり,検索者が研究者や図書館長のような検索の専門家から一般利用者へと拡大していっても,その基本は変わっていない。本稿では,情報検索システムの評価の基盤である,テストコレクションおよび評価指標について解説する。
  • NTCIR-3言語横断検索タスクの分析 : プーリングを中心として, 栗山和子, 江口浩二, 岸田和明, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2003, (112) 9 - 16,   2003年12月13日, 大規模テストコレクションNTCIR-3の言語横断検索システム評価用データの適合文書リストは、NTCIRワークショップ3の言語横断検索タスクにおいて、各参加者から提出された検索結果を用いて、プーリング法に基づいて作成された。本研究では、その過程で用いられたサブタスク混合プーリングが、検索結果の性能評価の公平性にどのような影響を与えるかについて考察する。日本語文書についてのプーリングおよび評価実験を行なった結果、サブタスク混合プーリングで作成した適合文書リストと、サブタスクごとのプーリングで作成した適合文書リストとでは、相対的な評価結果に違いがある場合があり、1つのサブタスクのみからのプーリングは評価に影響を与える可能性があることがわかった。ただし、単言語検索の検索結果全てから文書をプールした場合には、そのプールは、サブタスク混合プーリングで集めた適合文書の9割以上をカバーするため、相対的評価にはほとんど影響がなかった。
  • NTCIR-3 言語横断検索タスクの分析 : プーリングを中心として, 栗山 和子, 江口 浩二, 岸田 和明, 神門 典子, 情報処理学会研究報告. FI,.情報学基礎研究会報告, 73, (0) 9 - 16,   2003年12月13日
  • 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析(コーパス分析・言い換え)(セマンティックウェブと自然言語処理その他一般), 栗山和子, 江口浩二, 岸田和明, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2003, (98) 91 - 98,   2003年10月29日, 大規模テストコレクションNTCIR-3の言語横断検索システム評価用データの適合文書リストは、NTCIRワークショップ3の言語横断検索タスクにおいて各参加者から提出された検索結果を用いて、プーリング法に基づいて作成された。本研究では、NTCIR-3の作成過程において行なわれた、サブタスク混合プーリングが適合文書リストの網羅性を高めるのに有効であったかどうかについて考察する。NTCIRワークショップ3の提出結果を用いて、日本語文書についてのプーリング実験を行なった結果、単言語検索タスクの提出結果だけでなく、言語横断検索タスクの提出結果も、適合文書リストの網羅性を高めるのに貢献していることがわかり、サブタスク混合プーリングの効率性と有効性が確かめられた。
  • 大規模テストコレクション構築のためのプーリング : NTCIR-3言語横断検索タスクの分析, 栗山 和子, 江口 浩二, 岸田 和明, 神門 典子, 情報処理学会研究報告. FI,.情報学基礎研究会報告, 72, (0) 91 - 98,   2003年10月29日
  • NTCIR-3 WEB : Web 検索のための評価ワークショップ(<特集>電子文書処理), 江口浩二, 大山敬三, 石田栄美, 神門典子, 栗山和子, NII journal, 6, (0) 31 - 56,   2003年05月01日, 著者らは,2001 年から2002 年に開催された第3 回NTCIR ワークショップにおいてWeb 検索タスク(以下,NTCIR-3WEB )を実施した.その主な目的は,共通のデータセットを用いてWeb サーチエンジンの検索有効性を評価するとともに,Web 検索に関する再利用可能なテストコレクションを構築することであった.上記の目的のもと,検索対象の文書データとしてJP ドメインから収集した100GB 及び10GB のWeb ページデータを使用し,多様な入力形式による検索実行結果に対して,複数のユーザモデル,複数の文書モデルを仮定した評価を行った.ここに入力形式として,語,文,文書を設定した.また,ユーザモデルとして,網羅的に適合文書を求めるモデルと検索結果上位における精度を重視したモデルを想定した.文書モデルとしては,ページを単位としたモデル,リンクで結合された文書群を単位としたモデルを仮定した.本論文では,NTCIR-3 WEB において構築されたテストコレクションの概要,提案された評価手法,及び評価結果について述べる.評価の結果から,簡潔なクエリを用いた検索結果のランキング上位において特にリンク解析が有効であることなどが示唆された.
  • 整数行列のFrobenius標準形のモジュラー計算法(II) (Computer Algebra : Algorithms, Implementations and Applications), 森継修一, 栗山和子, 数理解析研究所講究録, 1295,   2002年11月30日
  • 多段階レレバンス判定による評価 : 平均可能な単一指標の検討, 神門典子, 栗山和子, 吉岡真治, 情報処理学会研究報告. 情報学基礎研究会報告, 2001, (74) 105 - 112,   2001年08月24日, 本稿では、多段階レレバンス判定に適応できる新しい情報検索システムの検索有効性評価指標を提案する。検索された文書の検索質問への適合性(レレバンス)判定は、検索有効性評価のもっとも基本的な要素の1つである。検索では、通常、より適合性の高い文書がより早く(より上位のランクで)検索されることが望ましい。しかしながら, 従来、検索有効性を示す精度と再現率は、「適合」「不適合」の二値判定に基づいて算出され、「より適合性が高い」という側面を評価できなかった。テストコレクションを用いる情報検索システムの実験室型評価では、多数の検索を行い、それぞれの評価値を平均することで安定した評価が可能である。そこで、本稿では、既存の検索有効性指標の特性を検討し、それを踏まえ、扱いやすい単一の平均可能な指標として、重み付きR精度と重み付き平均精度を提案し、「高適合」、「適合」、「部分的適合」、「不適合」の4段階レレバンス判定を採用した第2回NTCIRワークショップの日本語検索タスクの提出結果を評価した例をしめす。最後に、多段階レレバンス判定による評価と、利用者指向の検索システム評価との関連にも言及する。
  • Web検索チャレンジの課題 : NTCIRワークショップ3の新タスク, 大山敬三, 神門典子, 江口浩二, 栗山和子, 情報処理学会研究報告. 情報学基礎研究会報告, 2001, (74) 41 - 48,   2001年08月24日, 第3回NTCIRワークショップの新タスクとして計画しているWeb検索用テストコレクションについて, テストコレクションの構築とタスクの設定に関する方針を示し, 検索課題, 文書集合, 正解集合のそれぞれに関して検討中のさまざまな課題について議論を行っている.検索課題については, Web検索の特徴を考慮して精度重視型や再現率重視型などについて検討している.文章集合については予備収集実験の結果についての分析も行い, サイト数, 収集文書数およびリンク数など検討に必要な基礎的なデータを提示している.正解判定および正解集合については, リンクで結合された文書群やハブの扱いについて検討を行っている.
  • テストコレクションにおける検索課題の難易度予測への挑戦, 江口浩二, 栗山和子, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2001, (74) 17 - 24,   2001年08月24日, 本論文では, テストコレクションの構築あるいは利用において, 考慮すべき重要な要素の一つである検索課題の難易度について様々な観点から分析を行なう.第一に, テストコレクションの信頼性の観点から, 検索課題の難易度が検索システムの有効性に関する相対的評価に与える影響を分析する.第二に, 検索課題難易度の予測可能性を検討する.そのため、文書データベース中の語の頻度情報や人間による判定などに基づいて, 検索課題に関する各種特徴量を定義し, それらと検索課題の難易度に関する相関性を分析する.以上に関して, テストコレクションNTCIR-1を対象に行なった検討結果を報告する.
  • 大規模テストコレクションNTCIR-2の構築 : 言語横断的プーリングの評価への影響, 栗山和子, 吉岡真治, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2001, (74) 9 - 16,   2001年08月24日, 大規模テストコレクションNTCIR-2の構築において、正解文書リストは、プーリング法に基づいて作成された。本稿では、NTCIR-2の正解文書リストの作成過程で行なった言語横断的プーリングおよび対話型検索システムを用いた追加検索が、NTCIR-2を使用した検索システムの評価に与える影響をついて考察する。本研究では、NTCIR-2の正解文書リストと、NTCIRワークショップ2の参加チームの提出結果を用いて評価実験を行なった。まず、NTCIR-2の最終的な正解文書リストFと、Fから追加の対話型検索Iだけで見つかった文書を除いたリストF-Iを用いて、提出結果の評価を行なった。次に、各サブタスクごとの提出結果からのプーリングを行ない、このサブタスクごとのプールを正解文書リストとして評価を行なった。結果として、いずれの文書リストを正解文書リストとして提出結果の評価を行なっても、提出結果の相対的な順位はほとんど変化せず、プーリング法に基づいて作成したテストコレクションの信頼性を確かめることができた。
  • 整数行列のFrobenius標準形のモジュラー計算法 (数式処理における理論と応用の研究), 森継修一, 栗山和子, 数理解析研究所講究録, 1199,   2001年04月30日
  • 大規模テストコレクションNTCIR-1 NTCIR-2 : レコードから見た違い, 栗山和子, 吉岡真治, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2000, (91) 9 - 16,   2000年10月27日, 本稿では、大規模テストコレクションNTCIR-1とNTCIR-2および、NTCIRワークショップ2について紹介し、NTCIR-1とNTCIR-2の文書レコードから見た違いについて述べる。具体的には、レコードの長さ、その分布、異なり語数、その頻度などから、NTCIR-1と2の違いについて考察する。
  • 大規模テストコレクション NTCIR-1 と NTCIR-2 : レコードから見た違い, 栗山和子, 吉岡真治, 神門典子, ディジタル図書館, 18,   2000年09月30日
  • 日本におけるテストコレクションと評価の動向(<特集>情報検索システムの力くらべ : テストコレクションによる評価), 関根聡, 井佐原均, 栗山和子, 情報処理, 41, (8) 902 - 905,   2000年09月15日
  • 2000-FI-59-4 / 2000-DD-24-4 大規模テストコレクションNTCIR-1における検索課題の難易度に関する分析, 江口浩二, 栗山和子, 神門典子, 情報処理学会研究報告. DD, [デジタル・ドキュメント], 2000, (71) 25 - 32,   2000年08月28日, テストコレクションの信頼性という観点から, 検索課題の難易度あるいは検索課題セットの難易度分布の予測に関する必要性が高まっている.それを目的として, 本稿では, NTCIR-1(NACSIS Test Collection for Information Retrieval System-1)における検索課題, 文書データベース, 正解文書リストに関する種々の特徴を計量し, これらの相関性の分析に基づいたNTCIR-1のテストコレクションとしての特徴を報告する.
  • 2000-FI-59-4 / 2000-DD-24-4 大規模テストコレクションNTCIR-1における検索課題の難易度に関する分析, 江口浩二, 栗山和子, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 2000, (71) 25 - 32,   2000年08月28日, テストコレクションの信頼性という観点から, 検索課題の難易度あるいは検索課題セットの難易度分布の予測に関する必要性が高まっている.それを目的として, 本稿では, NTCIR-1(NACSIS Test Collection for Information Retrieval System-1)における検索課題, 文書データベース, 正解文書リストに関する種々の特徴を計量し, これらの相関性の分析に基づいたNTCIR-1のテストコレクションとしての特徴を報告する.
  • 4P-2 大規模テストコレクションNTCIR-1の構築(2) : 検索課題の分析, 神門典子, 栗山和子, 江口浩二, 野末俊比古, 全国大会講演論文集, 59, (3) "3 - 107"-"3-108",   1999年10月28日
  • 4P-1 大規模テストコレクションNTCIR-1の構築(1) : プーリングと正解判定の分析, 栗山和子, 江口浩二, 野末俊比古, 神門典子, 全国大会講演論文集, 59, (3) "3 - 105"-"3-106",   1999年10月28日
  • 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析, 栗山和子, 神門典子, 情報処理学会研究報告. DD, [デジタル・ドキュメント], 99, (57) 41 - 48,   1999年08月16日, 本稿では、評価用ツールとしてのテストコレクションにおける検索課題の性質について考察する。検索課題の望ましい性質として、「自然さ」と「難易度のバランス」があげられる。自然さとは、検索課題の内容が現実の検索過程においてシステムに与えられる検索要求と同様に自然なものでなければならないということである。「難易度のバランス」とは、検索課題が易しいすぎるものばかりでも難しすぎるものばかりでも、テストコレクション全体の性質が偏ったものになるので、難易度のバランスがとれているのが望ましいということである。 NTCIR-1では、検索課題を自然なものとするため、分野の研究者から収集している。本稿では、検索課題の難易度について、NTCIR-1の訓練用検索課題を用いて、検索課題そのものについて分析し、予備テストの評価結果との関連を調べた。 その結果、検索課題ごとの平均精度の中央値と、検索課題中の検索要求文の文字数、検索要求文中の単語がの出現する正解文書数、機能分類のそれぞれとには明らかな関連性は見られないものの、機能分類によるグループ分けは検索課題の難易度を予測するために、ある程度の参考になることがわかった。また、提出結果の平均精度の度数分布から、易しい検索課題、難しい検索課題というグループ分けの中でもその性質は一様ではないことがわかった。
  • 大規模テストコレクション構築について : NTCIR-1の訓練用検索課題の分析, 栗山和子, 神門典子, 情報処理学会研究報告. 情報学基礎研究会報告, 99, (57) 41 - 48,   1999年08月16日, 本稿では、評価用ツールとしてのテストコレクションにおける検索課題の性質について考察する。検索課題の望ましい性質として、「自然さ」と「難易度のバランス」があげられる。自然さとは、検索課題の内容が現実の検索過程においてシステムに与えられる検索要求と同様に自然なものでなければならないということである。「難易度のバランス」とは、検索課題が易しいすぎるものばかりでも難しすぎるものばかりでも、テストコレクション全体の性質が偏ったものになるので、難易度のバランスがとれているのが望ましいということである。 NTCIR-1では、検索課題を自然なものとするため、分野の研究者から収集している。本稿では、検索課題の難易度について、NTCIR-1の訓練用検索課題を用いて、検索課題そのものについて分析し、予備テストの評価結果との関連を調べた。 その結果、検索課題ごとの平均精度の中央値と、検索課題中の検索要求文の文字数、検索要求文中の単語がの出現する正解文書数、機能分類のそれぞれとには明らかな関連性は見られないものの、機能分類によるグループ分けは検索課題の難易度を予測するために、ある程度の参考になることがわかった。また、提出結果の平均精度の度数分布から、易しい検索課題、難しい検索課題というグループ分けの中でもその性質は一様ではないことがわかった。
  • 大規模テストコレクション構築のためのプーリングについて : NTCIR-1の予備テストの分析, 栗山和子, 神門典子, 野末俊比古, 大山敬三, 情報処理学会研究報告. データベース・システム研究会報告, 99, (39) 25 - 32,   1999年06月17日, 本研究の目的は、(1) 大規模テストコレクションを構築する手法としてのプーリングの有効性を検証し、(2) プーリング件数が検索システムの評価に関連があるかどうか調べ、(3) 正解判定の際の判定のゆれがシステムの評価に関係してくるかどうかを明らかにすることである。(1), (2) のために、NTCIR-1の訓練用正解セットを使用した予備テストで提出された結果を用いてプーリング実験を行なった。また、プーリング法の改良であるMove-to-Front法の簡略なヴァリエーションを提案し、平均精度が上位である提出結果からの文書をプーリング法によるプールに追加する実験も同時に行なった。その結果、プーリング法の有効性、すなわち、作成された正解リストの網羅性、および、プーリングによって作成された正解文書リストの公平性が確かめられた。(3) のために、NTCIR-1の訓練用セットを構築する際に行なった、異なる判定者による3種類の正解判定結果 (判定者A, Bそれぞれによる判定, 両者の協議による最終判定) を用いて評価実験を行なった。結果として、30件の検索課題を用いて検索結果を評価したとき、検索精度の平均は異なる正解判定リスト間においてほとんど差がなくなり、他数の検索課題を用いて評価を行なえば、判定者間の判定のゆれは評価においては問題ではないということがわかった。
  • NTCIR-1 : 情報検索システム評価用テストコレクション構築の方針と実際, 神門典子, 栗山和子, 野末俊比古, 大山敬三, 情報処理学会研究報告. 情報学基礎研究会報告, 99, (20) 33 - 40,   1999年04月01日, 日本語情報検索システム評価用テストコレクション(NTCIR)プロジェクトと現在構築中のテストコレクション1(NTCIR-1)、そのデータを用いたコンペティション型ワークショップの概要を報告する。テストコレクションに関する議論を踏まえて、NTCIRの基本方針を示した。NTICR-1の検索対象文書は、約33万件で、半数以上は日英の対訳である。検索課題は、判定基準、検索の目的、背景知識などの詳細な検索要求説明を含む。ワークショップは、1998年11月から1999年9月まで開催され、国内外の31チームが参加している。予備テストの結果で訓練用検索課題の正解判定の網羅性を評価したところ、対話型検索によるプーリングは特定の検索課題では特に有効で17,5%のユニークな正解文書を発見した。内部プーリングは全正解文書の97%をカバーし、概ね良好であった。
  • シソーラスを用いた検索式拡張の評価, 栗山和子, 情報処理学会研究報告. 情報学基礎研究会報告, 98, (109) 1 - 8,   1998年12月30日, 本研究の目的は、シソーラスを用いた検索式の拡張を効率化することである。シソーラスや同義語・類義語辞書などの語彙的ツールを用いた検索式の拡張についての研究は、既に多数発表されている。一般的に、英文テキストに対して語彙的ツールを用いた検索式拡張では、自動的な検索式拡張は拡張なしの検索式よりも検索精度が下がるということが報告されている。語彙的ツールを用いた検索式拡張による検索の効率化の失敗の原因としては、(1)同義語の個数が十分でない、(2)語彙的ツールの見出し語の不足、(3)検索式に追加された同義語の中に検索要求中に含まれる検索語の同義語として不適切なものが多く含まれる、の3点が考えられる。本研究では、主に(3)の問題を解決するため、同義語による検索式の拡張に検索要求のcontextを反映させることを考える。検索式をデータベース中の文書のcontextに適した方法で拡張するために、検索要求中の単語・フレーズとシソーラスによって追加された同義語の共起頻度を利用する。具体的には、原検索式中に含まれる単語と、別の単語の同義語との共起頻度を調べ、共起頻度がある値以上である同義語を適切なものとして選択し、それを用いて検索式の拡張を行なう。
  • シソーラスを用いた検索式拡張の評価, 栗山 和子, ディジタル図書館, 13,   1998年11月30日
  • 数式処理による行列の有理標準形からJacobson標準形への変換行列の計算法(数式処理における理論と応用の研究), 栗山和子, 森継修一, 数理解析研究所講究録, 1038,   1998年04月30日

受賞

  •   2000年03月, 情報処理学会, 山下記念研究賞

競争的資金

  • メディア横断型パーソナル・パスファインダー構築のための基礎的研究, 文部科学省, 科学研究費補助金(基盤研究(C)), 栗山和子
  • メタサーチ型情報検索システムのためのデータ・フュージョン手法に関する研究, 文部科学省, 科学研究費補助金(若手研究(B)), 栗山和子, オーガナイザーとしてNTCIRワークショップ5に参加し、言語横断検索(CLIR)タスクの運営を行なうとともに、CLIRタスクへの参加者の提出結果(検索結果)のプーリング作業および検索結果の評価・分析を行なった。プーリング作業の過程で、どのようにプールを作成すればよいかという試行錯誤を行ない、メタサーチエンジン構築のためのデータ・フユージョン手法の予備的な考察としても役立てられる、検索結果のマージ手法について検討した。また、引き続き、NTCIRワークショップ3,4における各参加者からの提出結果をプーリング法のパラメタを変化させ、検索手法・マージ手法等ごとのプールに分けて、統計的な評価を行ない、検索手法とマージ手法の効果的な組み合わせについて分析・検討した。NTCIRテストコレクションの検索課題の自然言語処理的な分析を行い、自然言語文からの検索語の抽出・選択、検索式の構築・拡張の方法について検討したが、メタサーチエンジン上で統一的に一つの検索式を使用するか、あるいは、サーチエンジンごとの特徴に合わせて検索式を形式だけでなく内容もカスタマイズする必要があるのか、どちらが検索式の入力や選択として有効であるかを知るためには、さらなる実験と分析が必要であることがわかった。さらに、分析結果を検討するため、既存の複数のサーチエンジンを組み込んだメタサーチエンジンの開発を行なったが、個々のサー...