はじめに Docker上でsystemdを使用したサービスを起動したいと思ったが調べるのに思いのほか苦戦してしまったのでここに残します ※systemdで起動しているものを直接起動してよいのならばsystemdを使用する必要はありません ※この記事ではprivilegedオプションを使用するため権限には十分注意してください systemdとは Linuxカーネルが起動する(PID 1)のinitプロセス。 このsystemdはすべてのプロセスの親となります Docker(centos7)上のsystemd Docker上では基本的にsystemdを有効にされていません。 systemdが起動していないとsystemctlコマンドを使って操作するサービスを使うことができません。 有効にするためにはprivilegedオプションで特権を許可、PID1で/sbin/initを実行する必要がありま

こんにちは。サービスグループの武田です。 Apache AirflowはDAG（有向非巡回グラフ）でワークフローを表現し、ジョブのスケジューリングや監視などを行ってくれるツールです。AirflowではデータベースやAWSなどへ接続するための接続情報や各種パスワード情報などをSecrets Backend（以下、バックエンド）に保持できます。バックエンドはデフォルトではメタストア（PostgreSQLなどのDB）を使用しますが変更もできます。 なおAirflowのバージョンは 1.10.10 以降を対象としています。 優先順位 バックエンドは複数同時に使用できるのですが取得する優先順位があります。これを間違えてしまうと思っていたのと異なる挙動になるため注意が必要です。 指定したカスタムバックエンド 環境変数 メタストア 1はこのエントリのメインとなるものです。さまざまなカスタムバックエンドが

公式docには書いてない？かも spark-env—spark-env.sh ファイルで値を設定します。詳細については、Spark ドキュメントの「Environment Variables」を参照してください。 公式docには、saprk-env.shで設定してくださいぐらいしか書いてなくてパッと分からなかった。リンク先のSparkドキュメント見ても、configurationで設定する方法なども見つけられなかった。 結局、別のAWSのブログ記事に書いてあるやつで、見つけられた。 spark-env.shじゃなくてconfigurationで設定する こういうconfigを書けばOK [ { "Classification": "spark-env", "Configurations": [ { "Classification": "export", "Properties": { "J

Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 以下、バージョンは本記事公開時の最新 1.10.2 です。 インストール インストールが失敗するのですが？ 普通に pip install apache-airflow とすると以下のエラーで失敗します。 RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECODE=yes in your environment when you install or upgrade Airflow. To force in

概要Airflow 利用にあたって知っておいたほうが良いんじゃないかなと思う情報をまとめました。いわゆるハマりどころです。 Airflow 自体の基本的な説明(用語,DAG 定義方法,etc..) は省略しています。 基礎参照先 公式 Tutorial Dockerfile バージョン Airflow 1.10.4 Postgres 10.7 Tips 11 選 1. 日時 2. リトライ 3. start_date の変更ができない 4. 開始日時を過去日時にすると過去ジョブが自動実行される 5. context の活用 6. Macros 7. Task 間で値を受け渡す方法 8. dags ディレクトリ以下のディレクトリの切り方 9. UI の表示が UTC 固定 10. Web UI 上からジョブのパラメータを渡せない 11. DAG/Task の同時実行数制御 1. 日時Airf

— Nov 28, 2019 In part 1 of this blog, I explained DAG validation tests, DAG definition tests, and Unit tests. These tests help to verify the syntax and cyclicity in the DAG, upstream and downstream of each task, the logic of the custom operator and sensor, etc. I would recommend reading the first part of this post. In this part, we will cover the integration and end-to-end pipeline tests. Before

Testing is an integral part of any software system to build confidence and increase the reliability of the system. Recently, I joined Grab and here at Grab, we are using Airflow to create and manage pipelines. But, we were facing issues with Airflow. I had a conversation with my engineering manager and discussed on how we could make Airflow reliable and testable. Before Grab, I worked with Thought

A successful pipeline moves data efficiently, minimizing pauses and blockages between tasks, keeping every process along the way operational. Apache Airflow provides a single customizable environment for building and managing data pipelines, eliminating the need for a hodgepodge collection of tools, snowflake code, and homegrown processes. Using real-world scenarios and examples, Data Pipelines wi

Serverless computing is a cloud computing model in which a cloud provider allocates compute resources on demand. This contrasts with traditional cloud computing where the user is responsible for directly managing virtual servers. Most serverless applications use Functions as a Service (FaaS) to provide application logic, along with specialized services for additional capabilities such as routing H

Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近、Few-shot learningの欲が高まっている@oike17です。今さらSiamese Neural Networks for One-shot Image Recognition という論文を読んだので忘れないようにまとめておきたいと思います。 概要 この論文ではOne-shot Learningというタスクに対して、Deep metric learningの一手法であるSiamese Networkを適用することで当時のSOTA (State-of-the-Art)を達成した論文になります。現在の多くのFew-shot

距離学習（Metric Learning）入門から実践までこんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。距離学習 (metric learning)について勉強... 今回は、深層距離学習（Deep Metric Learning）のSiamese Networkと損失関数のContrastive Lossについて勉強したので、備忘録も兼ねて本記事を書きます。

dist = edr(x,y,tol) は、シーケンス x および y 間の実信号での編集距離を返します。edr は、x、y、または x と y の両方から削除する必要がある要素の最小数を返して、残りの信号要素間のユークリッド距離の合計が指定許容誤差 tol 内に収まるようにします。 [dist,ix,iy] = edr(x,y,tol) は、x(ix) および y(iy) 間の dist が可能な限り最小となるワーピング パスを返します。x と y が行列の場合、ix と iy は x(:,ix) と y(:,iy) の分離間隔が最小限となる値になります。 [___] = edr(x,y,maxsamp) は、ワーピング パスが x と y 間の直線近似の maxsamp のサンプル数内に入るように挿入操作を制限します。この構文は、前述の構文の出力引数のいずれかを返します。

R-treeとは空間データを効率良く検索するためのインデックス構造。R-tree について調べたのまとめておく。 目次 目次 参考資料 ナイーブな例 R-tree の概要 各ノードの要素数 参照処理 点検索 範囲検索 データの挿入・削除 挿入処理 ノードの分割 Exhaustive Algorithm Quadratic-Cost Algorithm Linear-Cost Algorithm 削除 木の再構築のアルゴリズム 更新処理 まとめ 参考資料 Guttman, Antonin. R-trees: a dynamic index structure for spatial searching. Vol. 14. No. 2. ACM, 1984. MySQL 5.7 Reference Manual - Creating Spatial Indexes PostGIS 2.3.3d

前の記事で紹介したZoteroについて、私が便利だと思った設定やアドオンを紹介していきます。設定の自由度がとても高いので、設定項目を網羅的に紹介するのではなく、目的別に利用手順や関連する設定項目を紹介していくことにします。そのため、紹介する項目選びは私の利用スタイルが強く影響していることをご了承ください（数理系の英語文献を主に扱う人種です、念のため）。 前回記事： humosy.hatenablog.com 基本設定 PDFの本文を検索したい Dropboxで他のPCと文献データベースを共有したい（公式には非推奨？） Webページのスナップショットを取るのをやめる アドオン Better BibTeX 基本の使い方と自動更新 引用キーのフォーマットを固定する 出力から除外するデータ項目を設定する 数式を含むタイトルを数式として出力する(Scripting機能について) ZotFile 添付

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?