Dive into Apache Arrow（ãã®ï¼‘） - KaiGaiã®ä¿ºãƒ¡ãƒ¢Arrow_Fdwを作るモãƒãƒ™ãƒ¼ã‚·ãƒ§ãƒ³ 昨年ã€ã‹ãªã‚Šé ‘å¼µã£ã¦ãƒžãƒ«ãƒGPUã‚„æ‹¡å¼µI/Oボックスを使用ã—ã¦ã‚·ãƒ³ã‚°ãƒ«ãƒŽãƒ¼ãƒ‰ã®ã‚¯ã‚¨ãƒªå‡¦ç†æ€§èƒ½10GB/sã‚’é”æˆã§ããŸã€‚ãŸã 一方ã§ã€PG-StromãŒPostgreSQLã®ãƒ‡ãƒ¼ã‚¿æ§‹é€ ã‚’ãã®ã¾ã¾ä½¿ãˆã‚‹ã¨ã„ã†äº‹ã¯ã€ãƒˆãƒ©ãƒ³ã‚¶ã‚¯ã‚·ãƒ§ãƒŠãƒ«ã«è“„ç©ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã‚’ãã®ã¾ã¾ä½¿ãˆã‚‹ã¨ã„ã†æ‰‹è»½ã•ã®ä¸€æ–¹ã§ã€ã©ã†ã—ã¦ã‚‚行指å‘データã«ä¼´ã†éžåŠ¹çŽ‡ãªI/OãŒå‡¦ç†é€Ÿåº¦å…¨ä½“を律速ã—ã¦ã—ã¾ã†ã¨ã„ã†äº‹ã«ãªã‚‹ã€‚ 昨年ã®10æœˆé ƒã‹ã‚‰ç›´æŽ¥ãŠä¼šã„ã—ãŸäººã«ã¯ãŠè©±ã—ã¦ã„ãŸãŒã€ç¾åœ¨ã€PG-Stromã§Apache Arrowå½¢å¼ã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’扱ã†ã‚ˆã†ã«ã™ã‚‹ãŸã‚ã®æ©Ÿèƒ½å¼·åŒ–ã«å–り組んã§ã„る。目標ã¨ã—ã¦ã¯ã€ï¼“月末ã«ã¯å‹•ã‹ã›ã‚‹çŠ¶æ…‹ã«ã—ãŸã„ã¨æ€ã£ã¦ã„ã‚‹ãŒã€‚ Apache Arrowå½¢å¼ã¨ã¯ã€Sparkã®äººãŒã‚ˆã使ã£ã¦ã„るデータ形å¼ã§ã€å¤§é‡ã®æ§‹é€ 化データを列指å‘ã§ä¿æŒã™ã‚‹äº‹ãŒã§ãる。特定ã®è¡Œã‚’æ›´æ–°ã—ãŸã‚Šå‰Šé™¤ã—ãŸã‚Šã¨ã„ã£
{{#tags}}- {{label}}
{{/tags}}