こんにちは、LegalOn Technologies検索・推薦チームの志水です。 私たちのチームでは Elasticsearch へのデータのインデキシングをCloud PubSub を queue として挟んで非同期にしており、その処理にDataflowを活用しています。Dataflow(=Google managed Apache Beam) はサーバーレスでスケーラブルなデータ処理を得意としています。 Python を用いたDataflowの活用については、例えばこちらの記事が網羅的です。 この記事では似たような観点に加え、Docker上で動かす工夫やintegration testの工夫も合わせて書いていければと思います。 全体像 パッケージ構成 pyproject.toml (Poetry) Pipeline Integration test DoFnのテスト DirectRun

R&D チームの徳田（@dakuton）です。 最近、spaCyの日本語版モデルが正式サポートされたのでいろいろ触ってみたところ、解析結果ビジュアライズを全部まとめるStreamlitアプリも同じ月に提供されていることがわかったので、今回はそちらを紹介します。 なお、ビジュアライズ機能の一部(係り受け解析)は1年前の記事「その他」で紹介しています。 tech-blog.optim.co.jp 実行手順 spaCyのUniverseプロジェクトであるspacy-streamlitをインストールします。 pip install spacy-streamlit 起動用スクリプト(streamlit_app.py) import os import pkg_resources, imp import spacy_streamlit models = ["ja_core_news_lg", "ja_

はじめに システム作ってるとかライブラリ作ってるみたいなある程度Pythonを綺麗に1書くことが求められる方々に向けた記事です。 (機械学習系のライブラリを使うためにPython書いてる方とか、初学者の方にはちょっとあわないかも知れません) 綺麗に書くための作法の難しさって共有が面倒なところだと思うんですよね。その書き方は間違いじゃない、間違いじゃないけどもっといい書き方があるぞみたいなやつってなかなか指摘し辛いですし、じゃあ1人に対してレビューしたら他のメンバーにはどう伝える？そもそも伝える必要？俺の工数は？みたいになりがちです。 一番いいのはこういう時はこう書く！みたいなドキュメントを作って「ドキュメント違反です」ってレビューをしてあげることなんですが、まーそれもそれで超面倒じゃないですか。なのでこの記事がそのドキュメントの代わり、とまではいかなくとも礎くらいになればいいなと思って書き

イテレーションの速さがあなたの生産性を左右する。どうも、かわしんです。生産性の高いプログラマって１つ１つの試行が素早い（自動化しているかツールを使っている）ためにものすごいスピードで開発できていると思うんですよね。 さて、最近 Python で開発をしているのですが、世の中の Docker と Pipenv の開発環境を調べてもろくなものがなかったので、自分でテンプレートを作りました。いわゆる「俺の考える最強の Pipenv + Docker 開発環境」というやつです。 リポジトリはこちらになります。 github.com 特徴としては、以下の2つが大きいです。 pipenv install をコンテナ起動時に行うため、docker イメージを作り直す必要がない pipenv shell 相当の仮想環境のアクティベートを自動で行う なぜ Docker + Pipenv なのか Docker

本記事ではデータの性質毎にグラフおよびそれが伝える内容を整理し，Pythonによるそれらの実装を示す． ここでは From Data to Viz に従って整理する． ただし，一部のグラフ2とMapsとNetworkは扱わない． また，各グラフが得意とする表現は5 Quick and Easy Data Visualizations in Python with Codeで用いられている以下の図に従い，比較，分布，構成，関係，の4種類で分類する． 他の分類基準に興味がある方は他に記事があるのでそちらを参照されたい3． 本章の残りの部分ではグラフ作成時の注意点や実装方針を述べ，実行環境を明記する． 第2章ではデータの性質・目的毎にグラフを整理し，第3章でそれらの実装を示す． 最後に，第4章で参考資料を記す． 方針 グラフ作成時の注意点 ある変数についてプロットする際，凡例が複数になる場合は各

【無料・参加者募集中】3月に小・中・高校生向けの科学教室が3件開催されます。クリックして詳細を見る☆彡

参考 1段ネストしたリストをflattenする方法 Making a flat list out of list of lists in Python - Stack Overflow 2段以上ネストしたリストをflattenする方法 Flatten (an irregular) list of lists in Python - Stack Overflow Right Foot In: More on python flatten 色々方法があるみたいなので書留め。 1段ネストしたリストをflattenするとは つまり、 l = [[1,2,3],[4,5,6], [7], [8,9]] を [1,2,3,4,5,6,7,8,9] にするということ。 reduceを使った方法 reduceを使ってリストを畳み込むことができる。 reduce(lambda x,y: x+y,l) 組込み

2月下旬に「典型的な DP (動的計画法) のパターンを整理　Part 1 ～ ナップサック DP 編 ～ 」の前半7問をPythonで解きました。ABCのD問題で時折出題されるDPの感覚をザックリと掴むことができました。 qiita.com 1 ナップサック DP とは 問題 1:　最大和問題 2 ナップサック問題 問題 2:　ナップサック問題 3 部分和問題とその応用たち 問題 3:　部分和問題 問題 4:　部分和数え上げ問題 問題 5:　最小個数部分和問題 問題 6:　K個以内部分和問題 問題 7:　個数制限付き部分和問題 1 ナップサック DP とは 問題 1:　最大和問題 n = int(input()) a = list(map(int, input().split())) # input # == # 3 # 7 -6 9 # == # dp[0] = 0 dp = [0]

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事では、PRMLの第10章で述べられている、混合ガウスモデルに対する変分推論をpythonで実装します。 対応するjupyter notebookは筆者のgithubリポジトリにあります。連載全体の方針や、PRMLの他のアルゴリズムの実装については、連載のまとめページをご覧いただければと思います。 なかなか計算がハードな章ですが、ここでは結果だけを利用して、さくさく実装したいと思います。 なお、変分下界の計算については、PRMLの内容より少し詳しく扱っています。具体的には、教科書の式(10.70)-(10.77)の式をさらに変形し

追記（2023/06/05） 数理最適化ソルバー SCIP 専用の Python インターフェース PySCIPOpt の記事を書きました。 本追記時点で Python から SCIP を使用する方法としては、この PySCIPOpt がいちばんよいと思います。 追記（2022/11/08） 数理最適化ソルバーSCIP ですが、 Since November 4, SCIP is licensed under the Apache 2.0 License. となりました。SCIPは無償のソルバーの中では速いので、それが商用利用可能になったということは大きいです。Apache 2.0 Licenseなので、少なくともSCIPの内部コードを変更せず呼び出して使う場合は、作ったコードの開示義務（昔のことばでいうGPL汚染）はないはずです。 追記日時点では、PuLPからはSCIPが利用可能、Pyt

By Michelle Ufford, M Pacer, Matthew Seal, and Kyle Kelley Notebooks have rapidly grown in popularity among data scientists to become the de facto standard for quick prototyping and exploratory analysis. At Netflix, we’re pushing the boundaries even further, reimagining what a notebook can be, who can use it, and what they can do with it. And we’re making big investments to help make this vision a

Jupyter Cookbookposted with カエレバDan Toomey Packt Publishing 2018-04-30 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに メモ 参考資料 MyEnigma Supporters はじめに 今回の記事は下記の記事を読みながら、 Twitterを使ってメモしたものです。 medium.com メモ このNetflixのJupyter Notebookの活用法の記事面白いなぁ。久しぶりにTwitterでメモしてみようかな。 https://t.co/1gLA1N20Qk— Atsushi Sakai (@Atsushi_twi) 2018年9月4日 タイトルは「Netflixにおける、インタラクティブを超えたNotebook革命」かな。Notebookはプロトタイピングや、探索的なデータ解析の

Auto formatters for Python 👨‍💻🤖As you can see in the recent Stack Overflow developer survey, Python is one of the most popular programming languages available. With the recent rise of good auto formatters for Code like gofmt for Golang or prettier for JavaScript, there is a good question to ask: Which auto formatter to use with Python Code? An auto formatter is a tool that will format your code

はじめに 開発部の tasaki です。Python 3.7 のリリースが今月末に行われるということで、あらためて 2018 年現在の Python のパッケージ構成におけるベストプラクティスについて検討してみたいと思います。 対象読者 この記事は、 書き捨ての Python スクリプトなら書けるが、ちゃんとしたパッケージの作り方がよく分からない 公式リファレンスのモジュールの章を読んだが、結局具体的にどういう構成にすればよいのか分からない setuptools.setup 関数の大量の引数のどれを使えばよいのか分からない というような人を対象としています。 対象バージョン 処理系とツールチェーンのバージョンは、 Python 3.4 （2014/03/16 リリース）以降 pip 8.1.2 以降 setuptools 19.2 以降 を対象とします。 EPEL の python34,

砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ

約1年半ほどかかりましたが、「Pythonで学ぶ強化学習 入門から実践まで」を書き上げました。本記事ではAsian Kung-Fu Generationさんがアルバム発売の度に行っている全曲解説にのっとり、各章の見所や苦労した点を紹介したいと思います。

こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な