題名 | 高遅延環境における分散ファイルシステムHadoopの動作解析 |
著者 | *百瀬 明日香, 小口 正人 (お茶の水女子大学) |
Page | pp. 699 - 704 |
Keyword | 情報爆発, Hadoop, 分散ファイルシステム, 高遅延環境 |
Abstract | 情報爆発の現代における企業や個人のデータ処理の負荷とストレージコストの問題に応える手法として,コモディティなハードウェアを用いて高度な集約処理を行う分散ファイルシステムに注目が集まっている.本研究では,自然災害やテロなどの大規模なデータ損失に対応したバックアップが可能である広域分散環境における分散ファイルシステムの運用に着目し,高遅延環境を含む実装における性能評価を行った.このような分散ファイルシステムのプラットフォームとしてGoogle社のGoogle File System(以下GFS)を採用し,このオープンソース版であるHadoop Distributed File System(以下HDFS)を実験環境として使用した.Rocksをインストールしたクラスタ上でまず初めに基本性能を測定した結果,HDFSの性能,MapReduce性能ともに構成ノード数を増やすと処理時間が減少することが確認された.続いて人工遅延装置Dummynetを導入し,広域環境を模した高遅延環境下で測定を行った結果,HDFS性能,MapReduce性能ともに,特にread処理において遅延の影響が顕著であることが分かった. またパケット・アナライズ・ソフトウェアWiresharkを使用して,Namenodeと各Datanode間のパケット通信の振舞を調べた結果,read処理における実行時間の矛盾に関してreadプログラムのReduceプロセスにおける大きな時間短縮が原因の一つであることが分かった.今後はより詳しいパケット解析やHDFSのソースコード解析などを行い,高遅延を含む実装でのHadoopの振舞を調べ,結果から性能向上のための手法を提案したい. |
題名 | クラウドリソースを使用したデータ処理負荷分散のためのミドルウェア開発 |
著者 | *豊島 詩織 (お茶の水女子大学), 山口 実靖 (工学院大学), 小口 正人 (お茶の水女子大学) |
Page | pp. 705 - 711 |
Keyword | 仮想化, クラウドコンピューティング, iSCSI, リモートストレージアクセス |
Abstract | 高度IT社会の進展に伴いデータの管理やITコストの問題が深刻になっている. より効率的なデータ処理システムが望まれる中,データインテンシブアプリケーションにおいて,手元のクラスタ使用状況を観察し,リソースが不足している場合は外部のクラウドリソースを動的に使用する,クラスタのスケーラブルな運用のためのミドルウェア構築を目指す. クラスタを仮想マシンPCクラスタとし,そのネットワークストレージにSAN(iSCSI)を導入することで,サーバとストレージ間の広域環境における通信を低コストで実現できる他、動作中のアプリケーションの状態を維持したまま仮想マシンを別のノード上へマイグレーションしたり,サーバとストレージの位置を分離したリソースの柔軟な調達が可能となる. 本稿においてクラウドには商用のクラウドサービスであるAmazon EC2を用い,クラスタの負荷状況に応じてジョブを振分けるミドルウェアを構築した. |
題名 | 仮想マシンを利用したHadoopクラスタ実行時のホストOSへの影響に関する評価 |
著者 | *山邉 大樹 (福岡大学大学院工学研究科), 奥村 勝 (福岡大学総合情報処理センター) |
Page | pp. 712 - 717 |
Keyword | 仮想化, Hadoop, 性能評価, 教育用PCシステム, MapReduce |
Abstract | 本論文では既存の教育用PCシステムを利用し,通常のPC利用と分散処理実行の2つのサービスを共存させるための検討, 考察を行う.大規模なデータで分散処理を行った場合, ディスクIOにかかる負担や計算ジョブによるPCの負荷が高くなり, ユーザーの操作性や処理に影響を及ぼす可能性があると考えられる. 今回, 通常のPC利用と分散処理のためのHadoop処理の2つを共存実行する方法として仮想化技術を用いる方法と用いない方法とで検証した.仮想化技術の利用の有無により分散処理がPCへ与える負荷や, 教育用PCシステムとしてのサービスに及ぼす影響や分散処理性能に及ぼす影響を検討, 考察する. |
題名 | 処理率局所追加型待ち行列システムを用いたクラウドコンピューティングサービスにおけるリソース提供システムの検討 |
著者 | *日下 太智, 奥田 隆史, 井手口 哲夫, 田 学軍 (愛知県立大学) |
Page | pp. 718 - 721 |
Keyword | クラウドコンピューティング, グリーンICT, 待ち行列, リソース, 効率化 |
Abstract | 近年ICT 機器の設備投資費や電力費などのランニングコスト削減,グリーンICT の技術としてクラウドコンピューティングサービス(以下クラウド)が注目されている. クラウドとは,CCSP(Cloud Computing Service Provider)が拡張性に優れ,抽象化された巨大なリソース(サービスの処理をおこなうサーバやストレージなど)を,インターネットを通じて提供するサービスである. CCSPにとって,新たなリソースを増やすことなく制限されたリソースの量の範 囲内でサービスを提供することは,ランニングコスト削減,リソースによる温暖化ガス排出量の抑制という2点について重要である. そこで本稿では,クラウドの特徴を生かし,ユーザの要求に応じて一時的にリソースを追加するシステムについて, 待ち行列モデルを用いて検討をおこなう. |
題名 | モバイルスレッドを用いたGRIDの動的負荷分散 |
著者 | *宮下 雅哉, 松本 倫子 (埼玉大学大学院理工学研究科), 吉田 紀彦 (埼玉大学情報メディア基盤センター) |
Page | pp. 722 - 727 |
Keyword | GRID, 動的負荷分散, モバイルスレッド |
Abstract | GRID における重要な課題として,計算資源の効率的利用がある. この問題に対して,計算ノードの処理能力の違いを加味したジョブの分割・割り当てが有効ではあるが,このような手法はジョブの処理コストの事前予測を前提としており,適用困難な問題が多い. そこで本稿では,実行中のジョブを計算ノード間で動的に再配置し,負荷分散を実現する手法を提案する. モバイルスレッドを用いることで,実行中のジョブの動的な移送が可能となり,処理コストの事前の予測が困難な問題に対しても,自律的な負荷分散を行えるシステムとなる. 実験を通して,ジョブの処理コストの不均衡が大きい場合において,ジョブの移送による動的な再配置が負荷分散に有効であることを示す. |