スポンサード リンク

T.Ishii's Software Library

HTML5 レトロ風ゲーム館

無料ブログはココログ

« まだまだ微妙だが | トップページ | やれる事はやったかも »

学習方法も変更しつつ

今は、新しいリバーシプログラムの開発フェーズで、ここの所、新評価関数の有効性をMasterReversiの評価データ編集機能を使って確認していたのだが、現行版と比べて劇的な変化が無いので、学習方法を色々と微変更しつつ、変化が無いか確認している。

現行版の評価データの学習用に使ったデータは約250万対局分あるのだが、それらの多くは、ネットから大昔のコンピュータ同士の対局結果が収められたデータベースなんかをダウンロードしたりして数を揃えた感じになっている。

つまり、それらで最善手が打たれているかどうかは微妙なので、そもそも、こういう学習データを使って良いのか、という問題もあるのだが、学習データの中には、MasterReversiを使って序盤10手はランダム、それ以降はレベル1相当のセルフ対局を行わせたデータも約30万対局分くらいは入っている。

何故、30万対局分なのか、というと、例えレベル1相当の対局でも、それだけやらせるとなると何日もかかるので、そのデータを作成した時には、そこでヤメにした訳だ。

で、この30万対局分のデータについては、素性が判っているので、それなりに信頼できる学習データになる訳なのだが、この30万対局分のデータだけを学習データにした場合、まだ、足りない感じな訳だ。

つまり、WZebraなんかと対局させると、250万対局を学習させたデータを使った場合と比べて、負けるケースが増える訳だ。

と、いう事なので、作者的には、現行版の評価データを作成するにあたっては、素性の知れない前述のデータも学習データとして使用した訳なのだが、学習ルーチンでは、より多くの学習が行われる様にも配慮している。

具体的には、例えば、30手目で発生した局面は、素直に処理させると、30手目を受け持つ重み係数の学習用にのみ使われるのだが、現行版の学習データを作成した学習ルーチンでは、その前後2手を担当する重み係数の学習用にも使っている訳だ。

つまり、本来なら、28手目を担当する重み係数は学習データが無かったかもしれない所を、処理ルーチン側の工夫で、その近辺で当該パターンがあった場合には、それを学習させる様にしてある訳だ。

更に、それでも、当該手では学習データが存在しなかった場合にも、その他の手で重み係数が学習された場合には、その学習結果がそれなりに反映される様にもしてある。

と、いう事で、MasterReversiの評価データの学習ルーチンというのは、それほど単純でもないのだが、これは、初版の頃には、学習データが100万対局分くらいしか無かった事も影響している。

つまり、どうみても学習データが少ない感じだったので、その少ないデータを何とか有効活用しようとした訳なのだが、その結果としては、全く学習されない重み係数は減った筈なのだが、中には、精度が良くない重み係数も発生する様になっている筈な訳だ。

このため、今では、学習データはそれなりの数があるので、逆に、精度を落としかねない怪しい学習方法は採らない方が良いかなあ、という感じにもなってきている訳だ。

と、いう事なので、今回は、学習内容も変更しつつ、色々と試しているのだが、250万対局の学習データを使った場合、データがそれなりに収束するのには4時間強かかる。

なので、このデータを使った場合、あまり色々と試せない訳なのだが、前述の30万対局のデータを使った場合には、30分もあれば十分に収束する。

このため、今は、まず、前述の30万対局分のデータを使って色々と学習させ、その結果、良さそうな感じになった場合にのみ、250万対局のデータを学習させる様にしているのだが、とりあえず、これはダメだ、という方法は色々と判ってきているのだが、まだ、これがベストという方法は見つかっていない。

と、いう事なので、次バージョンの学習方法をどうするかを決めるのには、もう少し時間がかかりそうなのだが、とりあえず、現行版の手法はそれなりに優秀な感じで、少し変更すると問題が出たりしている。

なので、目に見えて良さげな方法が見つからない場合には、学習方法については現行版のままにしておく事になるかもしれない。

« まだまだ微妙だが | トップページ | やれる事はやったかも »

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/534482/66414024

この記事へのトラックバック一覧です: 学習方法も変更しつつ:

« まだまだ微妙だが | トップページ | やれる事はやったかも »

2018年6月
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30

広告

プライバシーポリシー

  • 当サイトでは、第三者配信による広告(Google Adsense)サービスを利用しています。

    Google を含む第三者配信事業者は、Cookie を使用して、ユーザーのウェブサイトでの閲覧履歴に基づく広告を配信します。 Google 広告 Cookie を使用することにより、Google や Google のパートナーは当サイトや他のサイトへのアクセス情報に基づく広告をユーザーに表示できます。

    収集された情報がGoogleによってどの様に使用されるか、収集される情報をユーザーが管理する方法については、以下のリンクを参照下さい。

    ポリシーと規約 - Google