8ce785261f104d97a4e56622b28183d8_s

1: 2020/01/15(水) 14:02:01.208 ID:L229Tgeyr
学習不足ならわかるが、過学習するとどうなるの?



2: 2020/01/15(水) 14:02:30.906
爆発する

3: 2020/01/15(水) 14:02:39.929
知らないろうが幸せだったことを知る

4: 2020/01/15(水) 14:03:21.633
ディスク容量が足りなくなる

5: 2020/01/15(水) 14:04:04.393
未知の事態に対応できなくなる

7: 2020/01/15(水) 14:04:22.218
未熟な段階で切り捨てた方のデータが取れなくなって片方を評価しなくなってしまう
みたいないめえじ

8: 2020/01/15(水) 14:04:27.192
勉強し過ぎて融通が利かないやつになってしまう

9: 2020/01/15(水) 14:04:50.934
学習したデータには非常に高い正解率を出せるようになるが、新たなデータの正解率は高くない状態になること

10: 2020/01/15(水) 14:04:52.589
学習能力の格差が広がって低いやつがグレる

11: 2020/01/15(水) 14:05:03.391
格ゲー一緒にやる友達居なくてCPU相手に100%ノーダメ勝利できるようになったやつが対人戦では弱いみたいな

12: 2020/01/15(水) 14:05:31.762
一周回って馬鹿になる何

13: 2020/01/15(水) 14:05:47.702
勉強疲れ

14: 2020/01/15(水) 14:06:12.437
テストで山張りすぎて想定範囲外からの出題に全く対応出来ないみたいな

15: 2020/01/15(水) 14:06:24.118
AIが支配する近未来の世界で暴走して人類を排除する的なアレかと思ったら違うのかよツマンネ

20: 2020/01/15(水) 14:09:03.986
>>15
過学習って呼称だとそういうイメージしてしまうかもしれんな
英語だとoverfittingだから過適合って言った方が正確なんだがな
実際そういう言い方もするけど

24: 2020/01/15(水) 14:11:10.666
>>20
確かにその訳の方がしっくりくるな

16: 2020/01/15(水) 14:07:08.847
分析量が増えるせいで処理が遅くなる

17: 2020/01/15(水) 14:08:09.965
最近課題でやったな
サンプリングが偏りすぎて正常に評価ができなくなるみたいな話だっけ?

18: 2020/01/15(水) 14:08:25.426
>>17
違う

26: 2020/01/15(水) 14:13:25.029
>>17
割とこんなイメージだったけど違うの?

29: 2020/01/15(水) 14:16:34.003
>>26
サンプル数が少なくても過学習は起こるが訓練データ自体は関係無くモデルの設計次第でも起こる

34: 2020/01/15(水) 14:24:58.816
>>29
すまん詳しく教えてくれんか
今ちょっと調べてきたらモデルが複雑で自由度が高すぎる場合に起こるって書いてあったけど
これ結局訓練データの総量増やせば解決しないの?

40: 2020/01/15(水) 14:31:11.785
>>34
データ数増やすもの過学習回避の一つの手
ただしデータ数が多いからといってもモデル設計がダメダメだと過学習は起こる
めちゃくちゃシンプルな例だと多項式フィッティングでnデータに対してnがいくら大きくてもモデルの最大次数をnにしたら過学習が起こる

42: 2020/01/15(水) 14:33:00.893
>>40
結局パラメータの自由度と訓練データを相対的な関係で設定しなきゃならないって意味ね納得した

44: 2020/01/15(水) 14:38:35.151
>>42
そういうことだな

19: 2020/01/15(水) 14:09:00.170
イレギュラーに対応できなくなる

22: 2020/01/15(水) 14:09:28.899
突然ウンチ!!とか言い出しそう

25: 2020/01/15(水) 14:13:18.803
判断じゃなくてただの記録になる
古いニューラルネットワークでよく出てた

27: 2020/01/15(水) 14:13:38.141
過学習か、どうして過学習は発生するんだろう?

28: 2020/01/15(水) 14:14:57.222
年取って新しい知識を取り入れられなくなる状態

30: 2020/01/15(水) 14:17:18.963
普通の状態が童貞だとすると
毎日セックスしすぎて麻痺したヤリチンが過学習

31: 2020/01/15(水) 14:19:12.049

no title


実際俺が遭遇したGANの過学習

32: 2020/01/15(水) 14:20:17.346
>>31
教えれ
解説よろ

35: 2020/01/15(水) 14:27:35.791
>>32
GANは識別器が生成器に騙されないように、生成器が識別器を騙せるように敵対的ネットワークで学習するわけだがエポック数増やしすぎると上のように入力データに対してなかなか出力が不変だがある閾値を超えるとエビサイド関数のように急に変化するようになる
正則化してないせいで重みパラメータがでかくなりすぎることによって起こる典型的な過学習の症状

37: 2020/01/15(水) 14:28:34.396
>>35
どうもありがとう

33: 2020/01/15(水) 14:20:25.447
「自分」が固まって、新しい物事を受け付けなくなる頑固親父

そんな感じ?

36: 2020/01/15(水) 14:28:10.930
>>33
そんな感じ オリラジ中田がAIの動画でも説明してる

41: 2020/01/15(水) 14:32:50.602
>>36
そうなんだ
ありがとう

45: 2020/01/15(水) 14:42:49.961
なるほど
ありがとう

46: 2020/01/15(水) 14:47:36.735
ちなみにデータ数に対してパラメータの自由度が十分小さいからといって過学習が回避できるという訳でもない
例えばロジスティック回帰はパラメータ数がデータ数に依らずにデータの次元と一致するがデータ集合が線形分離可能かつパラメータの決定方法が最尤法だと過学習が起こる
先ほどのGANの例でもそうだがパラメータがデカくなり過ぎることで起こる過学習というのもある
こういう場合は正則化っていってパラメータのノルムに制約を課す対策が有効

48: 2020/01/15(水) 15:00:59.755
>>46
その知識はどうやって得たの?
俺も少しでも学びたい

52: 2020/01/15(水) 15:10:57.636
>>48
自分の専門分野ってだけ
網羅的に学びたいならPRMLって本を読むといいよ
英語版は公式にpdfが無料で配布されてる(日本語版の書籍もあるけど高い)
ただ最近流行りの深層学習がしたいならPRMLだけだと不足かなって感じ

53: 2020/01/15(水) 15:12:35.657
>>52
どうもありがとう
読んでみる

47: 2020/01/15(水) 14:50:55.553
人類は不合理だから滅ぼした方がいいとか考えだす






1001:ぶる速がお届けします 2019/8/32(金) 16:58:42.59 ID:burusoku

引用元:http://hebi.5ch.net/test/read.cgi/news4vip/1579064521/