「統計的仮設検定」を行う際に利用する統計用語の中で、
では、この二つの用語が混在した「有意確率」とは何だろうか。
結論を先に述べると、この「有意確率」なる用語は、その意味が共有されていない。また、そもそも使う意味もないと思われる。その理由を以下に説明する。
パーソナルコンピュータの出現以前は、各種の統計値までは電卓で計算できても、その統計値の（ある分布の下での）出現確率までは電卓では計算しにくかった（計算が複雑だったため）。
そこで、便宜的かつ実用的な手法として「統計値の数表による判断」が登場した。
それらの「数表」には、ある分布の統計値が（ある自由度の下で）示されていた。なおかつ、その値が1%・5%・10%の各”出現確率”の枠で示されていたため、そこに示されている値以上の統計値が示されていれば、少なくともその出現確率以下の基準を満たしているものとみなして、「統計的に有意である」旨の宣言がなされていた。
これを、統計分析のユーザサイドから見ると、数表には、ある統計値のある特定の出現確率(1%・5%・10%)しか書かれていなかったため、その数表に従って判断を行わざるを得なかったという観点になる。そこで、その確率を「有意水準」という名前で呼んだ。それらの値が何故1%・5%・10%でなければならなかったのか、という理由は特にない（Fischerによる”約2σの基準”は示されているようだ が、これはあくまで「5%」に限った話であり、またこれも実際には「なんとなく分かりやすい」という以上のものではなさそうだ）。
結果として、学問世界（特に「心理統計学」？）において、その数表に（便宜的に）掲載されている「特定の確率(1%・5%・10%)」を「有意水準」として位置づけて、それに従って判断を行うという「慣習」が出来上がった。これはある面では「簡易的」な手法であったが、計算力に限界のあった当時はそれが精いっぱいだった。
＃本来は、有意水準の決定と数表の作成は因果関係的には逆なのだろうけれど、当時統計を学んだ学生としては、上記のような感覚で統計処理を行っていたのが実情だった
だが、ここで微妙な問題が生じたように思われる。
「出現確率」と「有意水準」の混同である。
本来、正確に出現確率が算出できていれば、例えば
この条件下で得られたデータにおけるF値を算出したところ、F(1,16)=6.34となり、その出現確率はp=.0032となった。この出現確率pは事前に有意水準として設定した5%を下回るため、統計的に有意な差があると解釈された。
と書くべきところを、統計値自体はわかっても、その”厳密な出現確率”がわからないために、このようには書けなかった。
そこで、（どういうわけか）思い切り”簡略化”して
F(1,16)=6.34, p＜.05
と書いた。
この簡略化された統計記述の解釈としては、
本研究のデータの分析結果として得られた自由度(1,16)におけるF値=6.34の偶然での出現確率は直接計算できないからよくわからないけれども、そのF値=6.34については、F分布の数表の自由度(1,16)における”5%の出現確率” でのF値=4.49と比べてより大きい（なおかつ1%の出現確率でのF値=8.53よりは小さい）ので、そこから、研究結果として得られたこのF値の出現確率は（1%以上かつ）5%以下であることは確かだ。ついでに、この5%という値は”有意水準”として定めていた値でもあるので、その確率よりも小さいということは、この現象は”割と珍しい事象”であると判断してよい。
という内容であろう。
まとめれば「厳密な出現確率は計算していませんが、その値を下回っていることだけは間違いのない”有意水準”の判断基準値(p＜.05)だけを記述していますよ」と言っている状態であろうか。筆者も学生時代にはこの書き方を学んだ。
この書き方を（無自覚に）繰り返した結果、統計値の「出現確率」と、判断基準である「有意水準」の区別がつかなくなってしまったのではなかろうか。
＃「＊」を利用した記述も本質的には同じである。というよりも、さらに簡略化が進んでいて、一層の混乱の源になっているようにも思われる。
そして、その流れの中で登場してきたのが、謎の用語「有意確率」ではないかと推測している。
この「有意確率」なる用語は、世間的に意味の混乱が見受けられる。
例えば、ある統計系Webサイトの説明では「ある結果が偶然出現する確率」とされており、ここでは「出現確率p」の意味で用いられているようだが、それであれば人間の判断が紛れ込む「有意(significance)」の言葉は不要である。
また、別の統計Webサイトの説明では、「有意確率（有意水準）」と書かれているの で、こちらの解釈は「有意水準α」のようだ。
さらに、他の統計解説系サイトでは「ｐ値は有意確率とも呼ばれます。」とあり、こちらは出現確率p＝有意確率としている。
このように、「有意確率」という用語は、明らかに混乱を生じている。上記のように、日常的に様々な統計分析技法をお使いになり、この手のことにお詳しい専門家の皆様の間でも、異なった見解が表明されているのだ。
＃おそらく、詳しく探せばこの種の混乱した記述はまだ見つかりそうだ
本来、純粋な計算によって算出される「出現確率」と、利用者が便宜的に定める「有意水準」の間には数学的関係はない。しかし、かつての統計分析結果の”簡易記述”に よってこの両者が混同され、そこから「有意確率」なる用語が両者の意味を並行して持ってしまったのではないだろうか。
そして、「有意確率」を巡るこうした状況は、統計用語的に正確な使い方とは言えない気がするし、統計の学習者に余計な混乱をもたらしている印象もある。
結論としては、この「有意確率」なる言葉は、文字通りの意味で”誤解”を招く可能性があるため、使わない方が良いと思われる。
また、実際に使う意味もない時代になった。
ご存じの通り、最近では「高性能コンピュータ」が個人で手軽に使えるようになった（し、また統計的な計算環境も昔よりも格段に向上した ex.R、あるいは js-STAR）ため、研究結果として得られた統計値の「出現確率p」を直接求めることが現実的にできるようになった。もはや（本来簡易法である）統計値の数表は必要がない。そこで、統計分析の際には、その統計値の「コンピュータによって算出された出現確率値p」をそのまま記述し、その値の大小の判断については、読者（その領域の専門家）の判断に委ねるという方向に向かっているように窺える。
現実的には、算出された出現確率pが「5%」を下回っていることに意味を見出す研究者が多いため、状況自体は以前と変わらないようにも見えるが、上記のような事情があるため、現在の統計分析の結果の記述ルールは、かつての時代と比べてその意味合いが異なってきたものと思われる。
そして、そうした背景のもとに、過渡期の統計用語（？）であろう「有意確率」は、その役割を終えつつあるものと個人的に解釈している。
以上