Apache Sparkã§å§‹ã‚ã‚‹ãŠæ‰‹è»½æ©Ÿæ¢°å¦ç¿’(Word2Vecç·¨) | æ ªå¼ä¼šç¤¾NTTデータ先端技術Apache Sparkã¨æ©Ÿæ¢°å¦ç¿’ 当社ã®ã‚³ãƒ©ãƒ ã§ã‚‚æ—¢ã«ä½•åº¦ã‹å–り上ã’ã¦ããŸãŒã€Apache SparkãŒã„よã„ã‚ˆæœ¬æ ¼çš„ãªæµè¡Œã®æ§˜åを見ã›ã¦ã„る。Apache Sparkã¯ä¸‹å›³ã®ã‚ˆã†ãªã‚¨ã‚³ã‚·ã‚¹ãƒ†ãƒ ã‚’æŒã£ã¦ã„ã‚‹ãŒã€ç‰¹ã«ãã®ä¸ã§ã‚‚ã€Spark Streamingã«ã‚ˆã‚‹ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ã¨ã¨ã‚‚ã«ã€MLlibã«ã‚ˆã‚‹æ©Ÿæ¢°å¦ç¿’処ç†ãŒäººæ°—ã‚’åšã—ã¦ã„る。日本ã§ã¯Hiveを用ã„ã¦ã®ãƒãƒƒãƒå‡¦ç†é«˜é€ŸåŒ–ã«ã¦HadoopãŒåºƒã使ã‚れるよã†ã«ãªã£ãŸãŒã€Apache Sparkã®å ´åˆã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 処ç†ãƒ»æ©Ÿæ¢°å¦ç¿’処ç†ã‚’糸å£ã«ãƒ‘ラダイムシフトãŒè¡Œã‚ã‚Œã¦ã„ã‚‹ã¨è¨€ã£ã¦ã‚‚éŽè¨€ã§ã¯ãªã„ã ã‚ã†ã€‚ （出典：Apache Sparkå…¬å¼ã‚µã‚¤ãƒˆ ） 本コラムã§ã¯MLlibを用ã„ã¦ã®æ©Ÿæ¢°å¦ç¿’処ç†ã«ã¤ã„ã¦ç°¡å˜ãªä½¿ã„方を説明ã™ã‚‹ã‚‚ã®ã¨ã™ã‚‹ã€‚ Apache Sparkã¯åˆ†æ•£ãƒ¡ãƒ¢ãƒªRDDを活用ã™ã‚‹ã“ã¨ã§ã€ç‰¹å®šã®ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹ç¹°ã‚Šè¿”ã—処ç†ã«å‘ãアーã‚
http://samoa-project.net/
{{#tags}}- {{label}}
{{/tags}}