『The Master Algorithm』Pedro Domingos の読書メモ

今読書中のこの本ですが、理解を進めるためにも読書メモを書いておきます。

The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World

著者のペドロ・ドミンゴス氏は、ワシントン大学教授の機械学習・人工知能研究で長いキャリアを持つ研究者です。本書は、機械学習における大きな目標となる「マスターアルゴリズム」というコンセプトを打ち出し、その目標を達成するための道程として、既存の機械学習アルゴリズムの歴史と意味を、俯瞰的な視点から描き出した本です。

機械学習には、歴史的経緯も存在してさまざまなアルゴリズムがあります。それぞれのアルゴリズムは、固有の領域においてデータから知識を得ることができますが、さらにそれを拡張・統合し、いろいろなデータから帰納的に知識を得られる汎用的な学習アルゴリズム、「マスターアルゴリズム」を作ることができるはずだ、と著者は主張しています。「マスターアルゴリズム」の存在は、原理的に不可能ことではなく、人間の脳はまさに汎用的な学習をしており、それと同様のことはできるはずだ、と言うのです。

実際に、著者はいくつか「マスターアルゴリズム」が存在しうるという傍証を挙げています。個人的に興味深く感じたのは、生後間もないフェレットの視神経と聴覚神経を入れ替え、視神経を聴覚野に、聴覚神経を視覚野に繋ぎ替えても、フェレットは正常な視覚と聴覚を得ることができる、という実験の事例です。このことから、生物の脳は個別の機能に特化しているわけではなく、ある程度汎用的な学習機能を元にして、後生的に知覚情報の処理を学んでいるということが分かります。チューリングマシンが「演繹」ができる万能機械であるように、帰納的な学習のための万能機械である「マスターアルゴリズム」の作成は不可能ではないはずです。

そして、「マスターアルゴリズム」という大目標を描き出した後で、そのマスターアルゴリズムの候補あるいは構成要素となる可能性がある、既存の機械学習アルゴリズムを説明しています。ここで著者は、既存の機械学習アルゴリズムを5つの流派に分類しています。

• symbolist シンボリスト (記号主義者)
• connectionist コネクショニスト(ニューラルネットワーク主義者)
• evolutionary 進化主義者
• Bayesian ベイズ主義者
• analogizer アナロジー主義者

図：5つの学習アルゴリズムにおける知識の表現方法、評価法、最適化手法を表す

まず、3章の前半部では機械学習における「学習」とは何であるかを説明しています。デイヴィッド・ヒュームの帰納法に対する懐疑論、あるいはその数学的表現である「ノーフリーランチ定理」(可能なありうる全ての状況において、他のアルゴリズムの性能を凌駕するアルゴリズムは存在しえない) を説明しています。機械学習とは「過去のデータを元にして未来の (まだ見ぬ) データを予測する」ものです。これはつまり、汎化誤差 (generalization error) を小さくすることを目的としますが、未来の (未入力の) データはそもそも存在しないため、工学的には不良設定問題 (解が複数存在しうる問題) となります。しかし、これは「機械学習は不可能である」ということを述べているわけではなく、学習には偏見 (バイアス)、あるいは問題に対する前提知識や条件が必要となるということを意味しています。そして、過去のあらゆるデータを記録でき、過去のデータを説明できるだけでは不十分であり、学習にはある程度の一般化が必要となります。(そうでなければ過学習 (overfitting) に陥ってしまいます)

3章の後半部分は、シンボリスト (記号主義者) に関しての説明です。シンボリストは、知能を記号操作として捉える流派です。この流派のアルゴリズムとしては決定木の学習が挙げられます。決定木は広範に応用されているアルゴリズムであり、例えばしばらく前に話題になったアキネーター (「20の質問」と呼ばれるゲーム) や電話の自動応答の選択肢などがあります。

シンボリストのアプローチは、シンプルで人間にとっても分かりやすいものですが、欠点としては、確率的なグレーゾーンが存在する問題 (メールがスパムであるか? 病気の症状からあり得る原因を推定し診断する、など) がうまく扱えないこと、扱うべき知識が増えると機能しないこと (知識獲得のボトルネック knowledge acquisition bottleneck) がなどがあります。

4章は、近年大きく注目を集めているコネクショニスト(ニューラルネットワーク) に関する話題です。脳のニューロンとシナプス結合に着想を得たパーセプトロンのモデルは、1950年代に開発されました。マーヴィン・ミンスキーが、1層パーセプトロンは排他的論理和 (XOR) など線形分離不可能な問題を学習できないことを指摘し、一時期注目が低下しました。パーセプトロンの層を重ねることにより、この問題が解決できることは知られていましたが、重なった層 (隠れ層) で効率的に学習をすることが不可能だったのです。バックプロパゲーション (誤差逆伝播、バックプロップ) やオートエンコーダなどの手法により、隠れ層でも効率的な学習ができるようになったことが、今日のディープラーニングの隆盛の裏にあります。ちなみに、バックプロパゲーションは、複数の研究者によって何度か独立に発見・発表されており、日本では、計算神経科学者の甘利俊一氏が類似のアルゴリズムを発見していたと言われています。
近年のディープラーニングの成功を見ても分かる通り、コネクショニズムは強力な方法ですが、欠点もあります。シンボリストであれば簡単に扱える論理的な判断、構成的 (compositional) な概念を扱えないこと、ニューラルネット内部の判断が人間に理解できないことです。

5章では、「遺伝」あるいは「進化」の考え方を取り入れたアルゴリズムを取り上げています。

(以下続く。随時更新予定)

電気仕掛けの神 -Deux ex Electrica-

新たなテクノロジーの出現は、世界と社会構造を変化させ、人間の認識と思考を変化させます。現在、社会のさまざまな場所で実用化されている機械学習技術と人工知能の進歩が、今後の社会と人間の両方に大きな変化をもたらすことに疑いはありません。

けれども、AI技術の有用性と社会的影響に対する合理的・論理的な将来予測の範疇を超えて、労働からの解放や不老不死など、ユートピア的な世界観とでも言うべき言説が流布しています。

実際のところ、新たなテクノロジーの出現時に現れるユートピア的楽観主義は、思想史的には何ら新しいものではなく、ごくありふれたものであると言えます。

ハーバード・ビジネス・レビュー誌の元編集者であり、IT系ビジネス作家であるニコラス・G・カーは、19世紀末から20世紀初頭にかけて合衆国で電気が普及した際、社会に広がったユートピア的な世界観との対比を通して、情報技術とインターネットに対する過度の楽観論に対する批評を加えています。

クラウド化する世界~ビジネスモデル構築の大転換

 
1893年、シカゴで開催されたコロンビア万国博覧会では、十万個の白熱電球やアーク灯、ネオン管が街を照らし、人々のイマジネーションを大きく刺激しました。19世紀当時使用されていた照明器具は、暗く、熱や悪臭やススを発生させ、爆発事故の危険を持ったガス灯でした。まばゆく輝く清潔な電灯は、人々を大いに驚愕させたと言われています。

電気は空想科学小説の中から現実世界に飛び出してきた、目に見えない不思議な力のようなものだった。作家も講演者も競って、電化された素晴しい未来のシナリオを書いた。なかには暗いシナリオもあったが、ほとんどは楽観的で、楽観的に過ぎるシナリオも多かった。十九世紀最後の数年間に出版された百五十冊を超える本が、科学技術のパラダイスがすぐにも出現するだろうと予測した。二十世紀に入って間もない時期も、ユートピア的な作品が人気を集め続けた。

…電化は、病と争いの絶えない地球を浄化して、清潔な新しい楽園に変えると、人々は聞かされていた。ある未来学者は、次のように書き記している。「煙除去装置、吸塵装置、オゾン発生期、水、空気、食品および衣類の滅菌装置、路上の事故防止装置、自動上昇装置、そして地下鉄などがすぐにも普及するだろう」。都市において病原菌に感染したり怪我をしたりすることは、ほとんどあり得ないこととなるだろう。また、「帯電した水が最も強力な殺菌剤になるだろう」と考える人もいた。帯電した水を「あらゆる傷」に吹きかけるだけで、「不潔な細菌」を除去するというのだ。「電気の持つあらゆる潜在力を用いれば、いまや望むままに、大陸全体を熱帯の庭園に変えることもできる(引用者注：すなわち、食料を望みのまま好きなだけ得られる)」とまで言う人もいた。

吹雪やかんばつなどの極端な気候現象を除去する電気装置によって、人間が「天候を完全に支配する」ようになるだろう。家庭内でも「電気的平衡装置が、心を鎮める電磁波を発生させるので、いかなるいざこざも解消し、家族の調和は保障される」だろう。電灯が「夜昼の区別をなくしたように」、新しい輸送・通信システムが「距離を実質的に解消する」だろう。ついには「人間という機械」が「完全に解明されて、最大の効率を発揮するように開発される」だろう。そして、一個一個の人間という機械をつなぎ合わせれば、より高度な機械となるだろう。人間は「素晴らしいメカニズム」の「歯車」となり…「脳の命令に従って指が動いたり書いたりするように、集団の頭脳の意思に応えて行動するようになる」だろう。 *1

環境問題や病気の撲滅。人間の精神性の向上。ここで描かれた未来は、「電気」を「AI」に文字列置換すれば、現在でもそのまま発表できそうな文章ではないでしょうか。新たな役者たちが、昔ながらの仮面と衣装を身にまとい、決まり切った演目を演じているのです。

そして、カーの指摘するところによれば、電力会社や家電メーカーも、マーケティングのために積極的にユートピア的なレトリックを利用したと言われています。

特に、ゼネラル・エレクトリック(GE)は、人々が生まれながらにして持っているテクノロジーに対する楽天主義に調子を合わせるのがうまかった。…人々の頭にいわゆる「積極的電化意識」を植え付けようとして、GEは多額の費用をかけて雑誌広告、パンフレット、学校や婦人クラブでのプレゼンテーションを通じ一斉に宣伝した。

…一八九九年、電気事業という新たな業界関係者のための専門家団体がテキサスで設立された。ジョヴィアンズというこの協会のモットーは、「電気のために一致団結して全力を尽くす」ことだった。…協会の創設者の一人であるエルバート・ハバードは一九一三年に執筆した随筆の中で、ジョヴィアンズが共有すべき絆と目的について次のように述べている。「電気は、精神世界と物質世界の曖昧な領域を占めている。電気技師は己の仕事に誇りを持っている。当然だろう。神もまた偉大な電気技師なのだから」*2

 やはりここでも「GE」を「Google」に置き換えれば、そのまま現代に適用できる文章に見えます。そして、「神は偉大な電気技師である」という主張は、「宇宙は巨大なコンピュータである」という近年よく聞かれる主張とそっくり対応しているように見えます。

実のところ、当代の最先端技術が宇宙を統べる超越的な原理であり、世俗的・実用的な技術の進歩が何らかの超越へと至る道であるという主張は、合衆国の文化の中で繰り返し発見できます。

発電は少なくとも短期間、米国文化を貫く二つの相容れないテーマ、すなわち”功利主義”と”超越主義”を調和させることができたのだった。*3

合衆国の社会には、プラグマティズム、すなわち「世俗的な実験精神や行為指向の強い実利精神」を重んじる文化があります。その一方で、実利的・実用的な技術の進歩を通して、キリストが統べる理想の千年王国をこの地上において築くことができる、という思想も存在しています。
本来は両立するはずのないこの2つの思想ですが、合衆国文化の中では2つが融合し、社会の思想に対して強い影響を与えています。カーツワイル氏のシンギュラリティ論、人工知能の進歩が人間の精神性を高め、いずれ宇宙が覚醒し知性で満たされるという思想も、この文脈に位置付けることができるでしょう。

百年前、電気事業の団体協会に加わった発電所経営者や電気技師は、自分達はより完璧な新しい世界の設計者なのだと考えていた。彼らにとっては、神も「偉大な電気技師」であり、目に見えない全能の精神をもって宇宙を活気付けているのだった。電気技師たちは自身の仕事を遂行することで、神の仕事を遂行していた。そして、神の計画は彼らの計画だった。*4

もちろん、電気は極めて有用な技術であり、人間の生活と社会を大きく変化させたことに疑いはありません。けれども、現代に生きる私たちは、百年前の電気技師たちが想像したようなユートピアが決して表われなかったことを理解しています。

繰り返して述べておくと、私は人工知能技術が無用であるとか、社会を全く変化させないと考えているわけではありません。けれども、現在メディアで盛んに宣伝されているようなユートピアあるいは世界の破滅が発生する蓋然性は、ごく低いものであると考える根拠があります。確かに、ヘーゲルが指摘している通り、未来は認識の対象たりえず、希望と恐怖の対象です。けれども、未来を真剣に考えようとするのであれば、希望と恐怖を脇に置き、実証的基盤に依拠した地に足の付いた議論が必要であると考えています。

電化の時と同様、強力だが正体不明の新技術が登場するときは、楽観論は自然な反応ではあるが、厄介な兆候を見失わせる可能性もあるのだ。情報処理の偉大な理論家、ノーバート・ウィーナーは次のように述べている。「やみくもに進歩を信じることは、強さを秘めた信念ではなく、黙認に通じ、それゆえ弱さにも通じる考え方である」*5

*1:p.105-106

*2:p.106-107

*3:p.105

*4:p.275

*5:p.150

『シンギュラリティ教徒への論駁の書』のロゴができました

このブログだけを見ている人は多分居ないでしょうが、一応宣言。

未来学者レイ・カーツワイル氏のシンギュラリティ論と、その根拠である「収穫加速の法則」を懐疑的な観点から検証するブログを書いています。

上記のブログ『シンギュラリティ教徒への論駁の書』のオリジナルロゴができました! それがこちらです。

これは、S字曲線とも呼ばれるシグモイド曲線 (Sigmoid) の「S」を意匠化したものです。

このアルファベットの「S」にはいろいろな意味を持たせています。シンギュラリティ (Singularity) の「S」でもありますし、ブログのテーマでありURLにも含まれている懐疑主義 (Skeptics)、そして、シンギュラリティ論自体の愚かしさ (Silliness, Stupidness) をも象徴しています。(また、私の戸籍名の頭文字だったり、旧ブログのタイトルなどの意味も含まれていたりします)

今後とも本ブログと『論駁の書』をどうぞよろしくお願い申し上げます。

未使用の割り箸を「本」で数えることは、完全な誤用とは言えない

コンビニの店員が、割り箸を「本」で数えたことに対して苦言を呈するブログ記事が話題となっています。

「お箸は何本、お付けしましょうか？」

先日、コンビニで買い物をしたあと、若い女性の店員さんにこう尋ねられて、一瞬迷った。
本数で迷ったわけではなくて、「箸の数え方について」。
僕は、箸の数え方が「一膳、二膳」であることを知っている。
しかし、この店員さんに対して、これみよがしに「二膳お願いします」というのも、なんだかちょっと嫌味だなあ、とか思って。

「お箸は何本、お付けしましょうか？」- いつか電池がきれるまで

http://fujipon.hatenablog.com/entry/2013/12/19/181202

私自身は、箸の数え方が「膳」であると知っている一方で、割り箸を「本」で数えることに対してもあまり違和感を感じなかったため、少し調べてみました。

私が物の数え方に悩んだ際に参照する「数え方の辞典」では、「箸」の項目でこう記述されています。

本、膳(ぜん)、揃(そろ)い、組(くみ)、具(ぐ)

"箸2本で「1膳」「ひと揃い」と数えます。火箸・菜箸は食事用ではないので「膳」では数えず、2本で「ひと揃い」「ひと組」「1具」といいます。割り箸は「膳」で数えますが、未使用のものは「本」でも数えます。"

『数え方の辞典』

このように、日本語の専門家による辞典によっても、未使用の割り箸が「本」で数えられる場合があると指摘されています。

もちろん、辞典の記述が数え方を定義する訳ではありません。どんな状態だろうと割り箸は「膳」で数えるべきだ、と感じる人も居ることでしょう。しかし、これは私自身の印象でしかありませんが、割り箸は割られるまでは単なる一”本”の細長い棒であり、2本の棒が組み合さって始めて有用な使い方ができる「箸」だとは認識されていないため、未使用の割り箸を「本」で数えることは必ずしも誤用であるとは言い切れないのではないかと思います。

根本的には、「『膳』だろうと『本』だろうと、言いたいことは伝わるからいいじゃん」というだけのつまらない話なのですが、日本語に関する知識がお手軽に他人を貶めるツールとして使われているのは、非常に残念だと思います。

数え方の辞典

本論とは全く関係ありませんが、「数え方の辞典」はとても良い辞典です。インフラ系SEとして、ドキュメントや提案書などを書かなければいけない状況が頻繁にあり、物の数え方で悩むことがあるため、その際にはよくこの辞典を引いています。

たとえば、「工場」や「ブラウザ」の数え方を即答できるでしょうか。

(ちなみに、この2つの数え方もちゃんと辞典に掲載されています。)

経済学が科学ではない、たった1つの根本的な理由

経済学が基礎としている概念は、その根底において、個々人の価値観と無縁では存在しえません。

根本的な概念があやふやである以上、表面上をどれほど数学的に取り繕ったとしても、経済学はまともな科学とは言えず、その人が信じる価値観を表明する政治的プロパガンダとしての性質を逃れられないのです。

これは、経済学の概念を物理学における基礎概念と比較してみれば理解できます。

例として、力学における質量を取り上げます。全ての物質は質量を持っていますが、そのことは何らの道徳的な意義を持っていません。どうして物質に質量が存在するのかという理由は、最近ようやく理解が進み始めたところですが、しかし古典力学の範囲においても、質量は完全に操作的定義が可能です。質量の定義は、キリスト教徒だろうとムスリムだろうと無神論者だろうと議論の余地はありません。

一方で、経済学の基礎概念は物理量とは全く異なります。「商品」、「サービス」あるいは「価値」や「効用」といった概念の意味は、各個人の価値観を考慮に入れなければ定義ができません。例えば、人間の臓器や、セックスは、「商品」、「サービス」なのでしょうか。何ら信仰を持っていない平均的な日本人であっても、臓器売買や売春の合法化による経済効果を論じるエコノミストの議論を見ると、どこかしら違和感を感じるのではないでしょうか。つまり、これは「商品」や「サービス」といった経済学の根底をなす概念ですら、個々人の価値観と無縁ではないということです。

経済学、広い意味での社会科学において、道徳的な価値判断が入り込んでしまう理由は、経済学が「実証的」な側面と、「規範的」な側面を持っているからです。物質の運動の記述は、純粋に「実証的」です。運動方程式は、人々が物質のあり方について持っている信念に影響を受けません。一方で、経済の法則は、人々が何を信じ、何を考え、どう行動するかに強く影響を受けます。そのため経済法則は、人々が何を信じるべきか、何を考えるべきか、どんな行動をするべきか、というエコノミスト個人の判断から逃れられないのです *1 。そのために経済理論は、必然的に、経済世界を客観的に表現する側面と、人々の考え方や価値観に影響を及ぼそうとする側面の2つを持つことになります。

 このような性質は、物質を対象とする(教義の自然)科学には存在しません。物理学者は、物体や電磁波が道徳的にどのように振る舞うべきかについて関心を持っていないからです。

もしエコノミストが語っていることについて、論理的には完全に筋が通っているのに、何故か納得できないと感じたのであれば、その人がどういう価値観を持っておりどんな社会が望ましいと思っているのか、語られない価値観について考えてみてください。

*1:社会がどうあるべきか、という議論は、経済学において「規範的な」議論と呼ばれています

カミとカネの類似点を教えてください

エンデの遺言、シルビオ・ゲゼル、イサカアワー、イスラーム金融 - 数えられなかった羊

カミもカネも、永久不滅である。

それ自体は実体を持たず、人々が信じることによって現前する。

なんとなく周囲の人が信じているものを信じておくと、とりあえず便利で波風が立たない。でも、小集団なら強い連帯感が感じられる。

カミもカネも人間が考え出した。そして同時に、カミとカネによって人間は創造された。

インフレかデフォルトか

私が信じている世界観は、究極的には次の2つにまとめられます。

1. 利子のある借金に依存した経済体制は、永久に経済成長が続くと仮定している

2. しかし、物理的な世界は永久に成長し続けることはできない

現在、多くの先進国では借金を返済する手段が失われつつあります。また、私たち自身の生活を考えてみても、この先消費生活の規模が数倍にも拡大するとは、とても考えられないのではないでしょうか。

しかし、現在の経済は、既に借金という形で将来の拡大を約束してしまっています。それが果たせないとなった時には、取りうる手段は2つしかありません。

つまり、タイトルに書いた「インフレ」か「デフォルト」のどちらかです

この2つのうち、政治的に取りうる手段はインフレ以外にありえないと、私は以前考えていました。
デフォルトの場合は、誰がその引き金を引いたのか、それが発生したタイミングも、有権者の誰にとっても明白に分かります。

一方でインフレの場合、引き金となるのは中央銀行による通貨価値の毀損であるかもしれませんが、それによってインフレが発生する因果関係は明確にはなりませんし、時間的にも原因と結果の間に開きがあります。加えて、インフレの際は得をする人間も居ます。

というわけで、金融経済を物理世界の現実と一致させる手法として、政治的に唯一選択できる手段はインフレしかないと思っていたのだけれど、現在のアメリカの政治的混乱を見ていると、どうもそうとも言えないような気がしてきました。

オチは得にありませんが、現在のアメリカの債務上限をめぐる混乱によって、アメリカがテクニカルデフォルトへ陥りそうになっている状況が興味深かったので書いてみました。