Amazon Elastic MapReduceã®ä½¿ã„方─Hadoopより手軽ã«ã¯ã˜ã‚る大è¦æ¨¡è¨ˆç®— 記事一覧 | gihyo.jp第8回Amazon Elastic MapReduceã®ãƒ‘フォーマンスをモニタリングã™ã‚‹ å°æž—隆 2011-05-12
第1回　Amazon Elastic MapReduceを使ã†æº–備をã™ã‚‹ | gihyo.jp
Amazon Elastic MapReduceã¨ã¯ 昨今ã€ãƒãƒƒãƒå‡¦ç†ã«Hadoopを活用ã™ã‚‹äº‹ä¾‹ãŒè©±é¡Œã«ãªã£ã¦ã„ã¾ã™ã€‚ãã®ä¸ã§ã‚‚特ç†ã™ã¹ããªã®ã¯ã€åˆ†æ•£å‡¦ç†æŠ€è¡“ã§ã‚ã‚‹MapReduceã§ã™ã€‚ã—ã‹ã—ã€MapReduceを実際ã«ä½¿ã†ã«ã¯ã€æ•°å°ã‹ã‚‰æ•°100å°ã®ã‚µãƒ¼ãƒã‚’用æ„ã—ã€Hadoopã®ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã‚‚ã—ãªã‘ã‚Œã°ãªã‚Šã¾ã›ã‚“。ãã®ã‚ˆã†ãªã‚µãƒ¼ãƒæ§‹ç¯‰ãƒ»ç®¡ç†ã€ã‚»ãƒƒãƒˆã‚¢ãƒƒãƒ—ã®æ‰‹é–“ã‚’ç„¡ãã—ã€ã™ã使ãˆã‚‹ã®ãŒAmazon Web Service（AWS）ã®Elastic MapReduce（EMR）ã§ã™ã€‚ 図1　Amazon Elastic MapReduce AWSã€MapReduceã®èª¬æ˜Žã¯å¤šãã®æ›¸ç±ã€ãƒ–ãƒã‚°ãªã©ã‚’å‚ç…§ã—ã¦ãã ã•ã„。ã¾ãŸã€EMRを使用ã™ã‚‹ã«ã¯ã€ã¾ãšAWSã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã‚’作ã£ã¦ãŠãå¿…è¦ãŒã‚ã‚Šã¾ã™ãŒã€ãã®æ‰‹é †ã‚‚割愛ã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚本連載ã§ã¯EMRã®ä½¿ã„æ–¹ã€æ°—ã‚’ã¤ã‘ãªã‘ã‚Œã°ã„ã‘ãªã„点ãªã©ã‚’é‡ç‚¹çš„
第2回　Web Consoleã‹ã‚‰Elastice MapReduceã‚’èµ·å‹•ã•ã›ã‚‹ | gihyo.jp
å‰å›žã¯ã€Amazon Elastic MapReduce（EMR）を使ã†ã¾ã§ã«å¿…è¦ãªã“ã¨ã‚’説明ã—ã¾ã—ãŸã€‚今回ã‹ã‚‰ã¯å®Ÿéš›ã®ä½¿ã„方を紹介ã—ã¦ã„ãã¾ã™ã€‚ Web Consoleã«æŽ¥ç¶šã™ã‚‹ ã¾ãšã¯Webブラウザã§AWSã®Web Consoleã«æŽ¥ç¶šã—ã¾ã™ã€‚AWSã®æŽ¨å¥¨ãƒ–ラウザã¯Firefoxã§ã™ã€‚接続ã—ãŸã‚‰ã€ã€Œâ AWS Management Consoleを利用ã™ã‚‹ã€ã‚’クリックã—ã€Web Consoleã®ãƒã‚°ã‚¤ãƒ³ç”»é¢ã«é€²ã¿ã¾ã™ï¼ˆå›³1â ）â 。 図1 次ã«ã€ç™»éŒ²ã«ä½¿ç”¨ã—ãŸE-mailアドレスã¨ãƒ‘スワードを使ã£ã¦Web Consoleã«ãƒã‚°ã‚¤ãƒ³ã—ã¾ã™ï¼ˆå›³2â ）â 。 図2 ãƒã‚°ã‚¤ãƒ³ã—ãŸã‚‰ã€ã‚¿ãƒ—ã®ä¸ã‹ã‚‰Amazon Elastic MapReduceã‚’é¸æŠžã—ã¾ã™ï¼ˆå›³3â ）â 。 図3 æ–°ã—ã„Job Flowを作æˆã™ã‚‹ 次ã«ã€Create New Job Flowã‚’é¸æŠžã—ã€æ–°è¦ã«MapReduceã®Jobを作æˆ
第3回　Amazon Elastic MapReduce Ruby Clientã§EMRã‚’èµ·å‹•ã™ã‚‹ | gihyo.jp
å‰å›žã¯ã€Web Consoleã‹ã‚‰Amazon Elastic MapReduceã‚’èµ·å‹•ã™ã‚‹æ–¹æ³•ã‚’説明ã—ã¾ã—ãŸã€‚今回ã¯APIã§ã®èµ·å‹•æ–¹æ³•ã‚’紹介ã—ã¦ã„ãã¾ã™ã€‚ Web Consoleã¨APIã¯ã©ã“ãŒé•ã†ã®ã‹ 使用å‰ã«ã€ã¾ãšWeb Consoleã¨APIã®é•ã„ã‚’ãŠã•ãˆã¦ãŠãã¾ã—ょã†ã€‚ Webコンソールã¯ã€1回ã®æ“作ã§Jobã‚’1ã¤ã—ã‹å®Ÿè¡Œã§ãã¾ã›ã‚“。ã“ã‚Œã ã¨ã€æ¯Žå›žEC2ã®ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ãŒèµ·å‹•ã€ã‚¿ãƒ¼ãƒŸãƒãƒ¼ãƒˆãŒèµ°ã‚Šã€ã‚ã¾ã‚ŠåŠ¹çŽ‡çš„ã¨ã¯ã„ãˆã¾ã›ã‚“。 一方APIを使用ã™ã‚‹ã¨ã€1回ã®èµ·å‹•ã§è¤‡æ•°ã®Jobを実行ã§ãã¾ã™ã€‚ãŸã¨ãˆã°ã€3ã¤ã®Jobを実行ã—ãŸã„å ´åˆã¯ã€ä»¥ä¸‹ã®ã‚ˆã†ãªæ“作ãŒå¯èƒ½ã«ãªã‚Šã¾ã™ã€‚ APIã§EMRã‚’èµ·å‹•ã™ã‚‹ ↓ 3ã¤ã®Jobを投入ã™ã‚‹ ↓ ã™ã¹ã¦ã®JobãŒçµ‚了ã—ãŸã‚‰ã€EMRをターミãƒãƒ¼ãƒˆã™ã‚‹ ã¾ãŸã€ã€Œâ 最近EMRã§åŠ ã‚ã£ãŸæ–°æ©Ÿèƒ½ã‚’利用ä¸ã«ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹æ•°ã‚’変更ã€ã¨ã„ã£ãŸã“ã¨ã‚‚ã§ãã¾ã™ã€‚ EMRã§ã¯ã©ã®
1
メンテナンス
ランã‚ング
ãŠçŸ¥ã‚‰ã›
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}