Download as PDF, PPTX
![第1種ベータ分布を単に「ベータ分布」と呼ぶ場合もある。
その確率密度関数は以下で定義される。
ここで はベータ関数である。
期待値は、 , 分散は
ベータ関数の定義は下記の通り。
ベータ分布とは (Wikipediaより [一部改変])
図の出典： https://ja.wikipedia.org/wiki/ベータ分布](https://image.slidesharecdn.com/v03-220209132840/85/slide-3-320.jpg)
![一様分布の順序統計量
[0,1]の一様分布に従う乱数を9個発生させて順番に並び替える
そこで、例えば i=6 番目の乱数が従う分布を考える。
1番目 2番目 3番目 4番目 5番目 6番目 7番目 8番目 9番目
0.137 0.185 0.310 0.483 0.530 0.695 0.731 0.768 0.950
例：
p1 p2 p3 p4 p5 p6 p7 p8 p9
< < < < < < < <
1番目 2番目 3番目 4番目 5番目 6番目 7番目 8番目 9番目
0.137 0.185 0.310 0.483 0.530 0.695 0.731 0.768 0.950
例：
p1 p2 p3 p4 p5 p6 p7 p8 p9
< < < < < < < <](https://image.slidesharecdn.com/v03-220209132840/85/slide-16-320.jpg)
![22
シミュレーション & デモンストレーション
@interact(a=(1,15,1), b=(1,15,1))
def draw_norm_dist(a=2, b=2):
set_size = a+b-1
trial_size = 30000
bin_width = 51
def gen_orderd_unif(size):
unif = rd.rand(size) # (0, 1)の一様分布に従う乱数をsize個生成
unif.sort() # 大きさの順に並べる
return unif
# a+b-1個の順番に並べた一様乱数を生成、それをtrial_sizeセット実施して各セットa番目を抜き出す
result = [gen_orderd_unif(set_size)[a-1] for _ in np.arange(trial_size)]
plt.hist(result, bins=np.linspace(0,1,bin_width)) # 結果をヒストグラムで表示
plt.plot(p, st.beta.pdf(p, a, b)*trial_size/bin_width, c="g", lw=3) # ベータ分布の密度関数を表示
plt.show()
Pythonによる乱数を用いたシミュレーションで
も、ヒストグラムが理論的な密度関数に一致して
いることがわかる。](https://image.slidesharecdn.com/v03-220209132840/85/slide-22-320.jpg)
![SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts2-01-210607042910-thumbnail.jpg?width=640&height=640&fit=bounds)
ベータ分布の謎に迫る
- 1. 2022.2.9 松井 健一 株式会社ディー・エヌ・エー ＋株式会社 Mobility Technologies ベータ分布の謎に迫る DS勉強会発表資料
- 2. 社外秘 2 ⾃⼰紹介（松井 健⼀） 株式会社Mobility TechnologiesAI技術開発部 データサイエンスグループ グループマネージャー（Kaggle Master） （株式会社 ディー・エヌ・エーより出向） 最近のプロジェクト • ドライブデータの解析 (DRIVE CHART) • https://drive-chart.com 著書 • New!「ワンランク上を⽬指す⼈のためのPython実践活⽤ガイド」共著（2022年3⽉予定） • 「ソフトウェアデザイン 2020年10⽉号 【第1特集】Pythonではじめる統計学 2-4章」著 • 「アクセンチュアのプロフェッショナルが教える データ・アナリティクス実践講座」共著 経歴 ⼤⼿SIer ⇒ ⼤⼿通信キャリア ⇒ 外資系コンサルティングファーム ⇒ 現職 NEW!
- 3. 第1種ベータ分布を単に「ベータ分布」と呼ぶ場合もある。 その確率密度関数は以下で定義される。 ここで はベータ関数である。 期待値は、 ,分散は ベータ関数の定義は下記の通り。 ベータ分布とは (Wikipediaより [一部改変]) 図の出典： https://ja.wikipedia.org/wiki/ベータ分布
- 4.
- 5. まず、使う変数名を変えて理解しやすくしてみる xって なんだね。じゃあ試しに確率と解釈してp とおいてみよう！ ベータ関数のtってなんだね。 これも確率と解釈してpに変えてみよう！ ベータ分布の確率密度関数
- 6. まず、使う変数名を変えて理解しやすくしてみる xって なんだね。じゃあ試しに確率と解釈してp とおいてみよう！ ベータ関数のtってなんだね。 これも確率と解釈してpに変えてみよう！ ベータ分布の確率密度関数 同じだ！
- 7.
- 8.
- 9.
- 10.
- 11. コイン投げ（ベルヌーイ分布）について さらにこのベルヌーイ施行を n回実施した時の同時確率を考える。 コインを投げて表が出る事象を ,裏が出る事象を とする。 その時の確率分布を下記のように表現する。またこのような試行をベルヌーイ試行 という。 ベルヌーイ分布 … 表が出た時 … 裏が出た時 このように書く場合も。 ※ pは表が出る確率を表す。普通のコインならp=0.5になることが予測される。 表は1 裏は0 → X(表) = 1 X(裏) = ０ → 0 1
- 12. コイン投げ（ベルヌーイ分布）について と表現できます。 n回試行した時の同時確率 表が a回、裏が b回とすると a=α-1,b=β-1 とすると、ベータ分布に比例したものと同じです！
- 13.
- 14. 尤度の考え方 １回の試行の表の出る確率pがあらかじめ定数として決まっていて、 試行の結果の が変数として扱われている。 ただし、式の形が一緒なのですが、意味がかなり異なります。結果が与えられた 後に、密度関数のパラメーターを変更して得られる値を尤度と言います。 ベルヌーイ分布 ベータ分布(に比例したもの) αとβがパラメーターとして与えられ、pは０〜1の間の値をとる変数。 ベルヌーイ分布の同時確率に対する尤度に見える。 宣伝: 尤度について詳しくはhttp://qiita.com/kenmatsu4/items/b28d1b3b3d291d0cc698 コインをn回投げ終わって、表のでた回数を知っている状態。 その時、元々の1回あたりの表が出る確率pによって、どれくらい 起こりうる現象であるかを把握するための関数。（なのpを引数にと っている） 何でこんなに回りくどいのかというと、既に事象が発生してしまった 後なので、「確率」とは言えないから。
- 15.
- 16. 一様分布の順序統計量 [0,1]の一様分布に従う乱数を9個発生させて順番に並び替える そこで、例えば i=6 番目の乱数が従う分布を考える。 1番目2番目 3番目 4番目 5番目 6番目 7番目 8番目 9番目 0.137 0.185 0.310 0.483 0.530 0.695 0.731 0.768 0.950 例： p1 p2 p3 p4 p5 p6 p7 p8 p9 < < < < < < < < 1番目 2番目 3番目 4番目 5番目 6番目 7番目 8番目 9番目 0.137 0.185 0.310 0.483 0.530 0.695 0.731 0.768 0.950 例： p1 p2 p3 p4 p5 p6 p7 p8 p9 < < < < < < < <
- 17. 一様分布の順序統計量 これは、下記のような分布に従うことがわかっている。 （n個の乱数を順番に並べてi番目のものというふうに一般化） (これがなぜなのかはの詳細は巻末のREFERENCEページの「順序統計量」のPDFを参考としてください) 正規化定数 1番目 2番目 3番目4番目 i 番目 n-1番目 n番目 … … 1番目 2番目 n番目 n-1番目 n-2番目 n-3番目 j 番目 i-1 番目 j-1 番目 前から： 後ろから： p1 p2 p3 p4 p pi-1 pi+1 pn-2 pn < < < < < < i-1個 j-1個 ベータ分布の形！
- 18. 一様分布の順序統計量 1番目 2番目 3番目4番目 i 番目 n-1番目 n番目 … … 1番目 2番目 n番目 n-1番目 n-2番目 n-3番目 j 番目 i-1 番目 j-1 番目 前から： 後ろから： p1 p2 p3 p4 p pi-1 pi+1 pn-2 pn < < < < < < i-1個 j-1個 ここに入る確率が p i-1個 ここは 1-p j-1個 一様分布に従う確率変数 により定まる境界線から、 小さい方に i-1個、大きい方に j-1個得られる確率となっている。
- 19. 一様分布の順序統計量 1番目 2番目 3番目4番目 i 番目 n-1番目 n番目 … … 1番目 2番目 n番目 n-1番目 n-2番目 n-3番目 j 番目 i-1 番目 j-1 番目 前から： 後ろから： p1 p2 p3 p4 p pi-1 pi+1 pn-2 pn < < < < < < i-1個 j-1個 ここに入る確率が p i-1個 ここは 1-p j-1個 一様分布に従う確率変数 により定まる境界線から、 小さい方に i-1個、大きい方に j-1個得られる確率となっている。 表の出る確率pのコインを10回投げて、 表がi-1回、裏がj-1回出る確率分布に対する パラメーター p の確率分布となっている。
- 20.
- 21. 一様分布の順序統計量の直感的意味 前ページの結果を用いて、 がベータ分布に書き換えられるとわかる。 ※： 正確には、n,i, jを正の実数に拡張している。 つまり、ベータ分布とは、一様乱数をn個発生させ、 それを順番に並び替えて i 番目のものが従う確率分布と言える！
- 22. 22 シミュレーション & デモンストレーション @interact(a=(1,15,1),b=(1,15,1)) def draw_norm_dist(a=2, b=2): set_size = a+b-1 trial_size = 30000 bin_width = 51 def gen_orderd_unif(size): unif = rd.rand(size) # (0, 1)の一様分布に従う乱数をsize個生成 unif.sort() # 大きさの順に並べる return unif # a+b-1個の順番に並べた一様乱数を生成、それをtrial_sizeセット実施して各セットa番目を抜き出す result = [gen_orderd_unif(set_size)[a-1] for _ in np.arange(trial_size)] plt.hist(result, bins=np.linspace(0,1,bin_width)) # 結果をヒストグラムで表示 plt.plot(p, st.beta.pdf(p, a, b)*trial_size/bin_width, c="g", lw=3) # ベータ分布の密度関数を表示 plt.show() Pythonによる乱数を用いたシミュレーションで も、ヒストグラムが理論的な密度関数に一致して いることがわかる。
- 23.
- 24. 24 REFERENCE • ベータ分布 (Wikipedia) https://ja.wikipedia.org/wiki/ベータ分布 •全ての確率はコイン投げに通ず http://www.slideshare.net/matsukenbook/japanr-55839355 • 順序統計量 http://mcm-www.jwu.ac.jp/~konno/pdf/statha18.pdf • 本スライドで使ったPythonコード https://github.com/matsuken92/Qiita_Contents/blob/master/General/beta-distribution- analysis.ipynb
- 25.