ディープラーニングの心理学的解釈 (心理学特講IIIA)¶

Shin Aasakawa, all rights reserved.
Date: 15/May/2020
Appache 2.0 license

本日の学習目標¶

課題総評と先週の補足
先週の復習 colab
用語の理解と区別:
実習
ニューラルネットワークの歴史

課題¶

本日の課題

課題総評と先週の補足¶

先週第一回講義での話 AI 人材 25 万人必要 は，大学生にとって絶好のチャンスだろう。
- なぜならウィルス禍で，産業構造が変化することが予想されるからである。
- 今後必要とされる知識，技能をいち早く身につけることが求められる。
- 今年から高等学校の情報科目では Python が採用される。いわば常識，リテラシーの一部となる。
- このような知識の習得に困難を覚える世代や集団は困難が予想される
- You cannot teach an old dog new tricks.
引用と自分の意見とを分けて記述してください
統計学について，心理統計（推測統計学）だけが統計学ではない。むしろ統計学は 19 世紀に花開いた，統計力学，熱力学を礎にしている。
一方で，ニューラルネットワークは素人の非線形統計学である との批判もあった(Anderson, 1990)。
- 物理学用語の 熱力学の第2法則 すなわち エントロピー や エネルギー はニューラルネットワークで頻用される概念である。
- ニューラルネットワークでは ボルツマン, ラプラス, ヘルムホルツ, ガウス, ラプラス, ラグランジェ などの物理学者の名前を冠したモデルや手法が提案されている。
実際に，我々の活動は須く神経活動に起因する。これはある系における分子の運動測度が異なるにもかかわらず，この系の温度は一つに定義されることと類似する。個々の分子は速度で定義される運動エネルギーを持つが，運動エネルギーは温度だけでなく，圧力，電気，その他へと変換できる。このことと同様にして，脳内の神経活動の表現である我々の活動も様々な表出形態を採る。

用語の理解と区別:¶

人工知能
ニューラルネットワーク
ディープラーニング (深層学習)
データサイエンス: データサイエンティストは 21 世紀で最もカッコいい (the sexist) 職業だ というハーバードビジネスレビューのポジショントーク記事 (2012年) が話題になって久しい。
ビッグデータ: こちらもポジショントークらしく学術論文は存在しない。データが増え続けていることは事実なので社会的な傾向とも言える。

Goodfellow et al. (2017) Fig.1 を改変

私見だが，ビッグデータの規模は，まだまだ足りないと考える。例えば，我々の網膜から入力される視覚信号は一秒間に 60 回以下であろう。そうでなければ天井にある蛍光灯は点滅して知覚されるはずである。我々が蛍光灯を常灯光として認識できることから視覚情報処理過程は 1 秒間に 60 回以下のサンプリングしか行っていないとみなせる。アニメーションでは毎秒 30 回程度の場合もある。一日 18 時間覚醒していて，その間に毎秒 60 枚の画像が視覚系に入力されていると考えると一日あたりの入力画像数は，60 (枚/秒) * 60 (秒/分) * 60 (分/時間) * 18 (時間) = 388,8000 である。一日あたり 388 万枚以上の画像を見て乳児は視覚情報処理を発達させると考えると，入力データ数が 388 万以下のデータ解析では，新生児がさらされている視覚環境に換算すると一日以下であると言える。
この授業では，単純化，簡素化した行動モデルとして現在のディープラーニング (多層ニューラルネットワーク) モデルを捉え，心理学モデルとして解釈できるか考える。

クイズ: 次の省略形を調べよ¶

ANN: 人工ニューラルネットワーク Artificial Neural Networks
BNN: 生物学的ニューラルネットワーク Biological Neural Networks
CNN: 畳み込みニューラルネットワーク Convolutional Neural Networks
DNN: 深層ニューラルネットワーク Deep Neural Networks

次の語の示すサイトを訪れ，それぞれどのようなサイトかを調べよ。¶

いずれも現在のエコシステムとしての役割を果たしている。

arXiv: 論文置き場
Colab:
Github: プログラムのソースコード置き場
Stack Oerflow: 掲示板，ノウハウ集
Reddit: 掲示板，ただしビッグネーム本人が降臨することがある

文献¶

労働新聞平成31年2月25日号知識を拡張する道具人類の歴史の延長線上に
イラストで学ぶ人工知能概論 (KS情報科学専門書) (谷口,2014)

3 つの分野の略史¶

	人工知能	ニューラルネットワーク	心理学
第一次 1950-	記号処理	パーセプトロン	認知革命
	オモチャ問題	ADALINE
		ネオコグニトロン
		アソシアトロン
第二次 1980-	Expert systems	誤差逆伝播法	コネクショニスト
	Brooks	リカレントニューラルネットワーク	脳画像研究
		強化学習	計算論的アプローチ
第三次 2010-		ディープラーニング
		畳み込みニューラルネットワーク

AI の分野¶

推論，問題解決 Reasoning, problem solving
知識表象 Knowledge representation
計画 Planning
学習 Learning
自然言語処理 Natural language processing
認識 Perception
ロボティクス Motion and manipulation
社会知能 Social intelligence
創造性 Creativity
一般知能 General intelligence

AIの進歩の５つの要因¶

計算能力の向上 (ムーアの法則，GPU, ASIC)
データ爆発 (e.g. ImageNet, AMT),
アルゴリズムの改善 (e.g. 誤差逆伝播法, CNN, LSTM)
基盤の整備 (Linux, TCP/IP, Git, ROS, PR2, AWS, TensorFlow)
エコシステム情報共有 (arXiv, Git, Reddit, Quora, Stackoverflow, ...)

from Karpathy's blog "Deep Reinforcement Learning: Pong from Pixels"

考え方，背景，キーワード¶

構成論的アプローチ vs 分析的アプローチ（人工知能と心理学との関係）
神は細部に宿る God is in the detail. あるいは悪魔は細部に宿る (The devil is in the detail)
Carbon chauvinism 日本語で炭素排外主義と訳します。これは本当だろうか？
p-値廃止の影響
計算論モデル

数学とモデル¶

数学的知識の詳細は不要だが，その精神は理解しておく必要がある。

万物は数なり --- ピタゴラス
宇宙は数学語で書かれている。数学なしでは迷宮を理解できない --- ガリレイ
作れなければ理解できたと言えない --- ファインマン

今際の際に黒板に書いてあったファインマンの言葉，カリフォルニア工科大学アーカイブ写真

若者よ，数学は理解するものではない，ただ慣れるだけだ --- フォン・ノイマン
科学は説明しないし，解釈もしない。ただモデルを作るだけである。この場合モデルとは観察された現象を説明する数学(的構成物)である。そのモデルは，ひとえに期待どおり正確であることで正当化される。 --- フォン・ノイマン
われわれの宇宙はただ単に数学で記述されているだけではない。宇宙は数学である，我々は皆，大きな数学的実態の一部なのだ。--- テグマーク