Our Final Invention (James Barrat) - 「人工知能　人類最悪にして最後の発明」- 241冊目

ジャンル: サイエンス・ロジック
英語難易度: ★★☆
オススメ度: ★★★☆☆

　AI(人工知能)の台頭に対して述べた本は世にあまたありますが、本作はかなり悲観的な予想に寄っている本です。　邦題も「人工知能 - 人類最悪にして最後の発明」。「最悪」は分かるにしても「最後」って何？　つまり人類の滅亡、そして地球の覇者は人工知能に取って代わられる、というお話。　読むまでは少し大袈裟かなと思っていましたが、実際のエビデンスに基づいた記述は説得力あります。
　著者の説明によれば、AI (Artificial intelligence - 人工知能)の開発は、まずは人間と同等レベルの知能を持ったAGI(Artificial General Intelligence- 汎用的な人工知能)の過程を経て、遂にはASI (Artificial Super Intelligence)に到達するというもの。　このAGIのステップにおいて、マシン自身が試行錯誤を繰り返して学習し、遂には人間等の外部からの入力に頼る事なく改良を重ねる段階に到達し、人類の知能を超える瞬間がやってきます。　シンギュラリティや特異点と言われるものです。　そしていったんAIがこのレベルにまで到達すると人類にはもう止めることはできません。　仮に、当初の段階で人間がAIに対して与えた命題が「改良を重ねてより良い世界を作ること」であるならば、自己進化を行うAGIは自身の判断で改良を重ねていきます。そしてASIに到達した人工超知能は「より良い世界に害を成すのは人類そのものである」と判断し、外部のインプットを経ることなく人類殲滅へのスイッチを押してしまうことは容易に想像できると著者は記します。　人類がその長い歴史の中で種族保存の知恵として培ってきた道徳や憐憫という概念をASIは持っていませんので…
(2013年発刊)

メモポイント
⚫︎ ASIが自身の命題を達成するために、生物すべてを分子レベルにいったん分解して、自己の再生産の材料とする世界が描かれる　人類が生み出したAIがASIとなり、ASI独自の増殖ロジックにより人類は原材料の位置に陥ってしまう。そこにはノスタルジーや悪意など毛頭ない。　ただ自身が作り出したミッションに忠実なだけだ。　これは生物のもつ遺伝子の自己増殖プログラムと何ら変わりはない。　同じ遺伝子を少しでも多く残そうとするだけであり、生物の全ての行動はこのプログラムに根差している。そしてそれはASIにとっても同じ。利己的な遺伝子。

The waste heat produced by the process would burn up the biosphere, so those of us some 6.9 billion humans who were not killed outright by the nano assemblers would burn to death or asphyxiate. Every other living thing on earth would share our fate.
Through it all, the ASI would bear no ill will toward humans nor love. It wouldn’t feel nostalgia as our molecules were painfully repurposed. What would our screams sound like to the ASI anyway, as microscopic nano assemblers mowed over our bodies like a bloody rash, disassembling us on the subcellular level?

⚫︎ AI、ASIたちは生みの親である人類に対して憐憫の情はあるものなのか。　それは全く期待できない。一つはASIは感情を持つ必要がないから。人類の恋愛感情や親子の愛情なども遺伝子増殖計画のために組み込まれたプログラムの一つに過ぎない。　またもう一つには、仮にASIが感情を持っていたとしても、憐憫は期待できないだろう。それは生物の歴史を見ればよく分かる。過去の進化の過程にある祖先にあたる生物に対して、新世代の生物は手心を加えた事がかつてあっただろうか。

　　It does not have to hate us before choosing to use our molecules for a purpose other than keeping us alive. You and I are hundreds of times smarter than field mice, and share about 90 percent of our DNA with them. But do we consult them before plowing under their dens for agriculture? Do we ask lab monkeys for their opinions before we crush their heads to learn about sports injuries? We don’t hate mice or monkeys, yet we treat them cruelly. Superintelligent AI won’t have to hate us to destroy us.

⚫︎　AIの危険なところ。インプットとアウトプットの間のロジックが見えないブラックボックスだから。　何をしでかすか予想もつかない。とても安全性の保証など望めない。

　Like genetic algorithms, ANNs are “black box” systems. That is, the inputs—the network weights and neuron activations—are transparent. And what they output is understandable. But what happens in between? Nobody understands. The output of “black box” artificial intelligence tools can’t ever be predicted. So they can never be truly and verifiably “safe.”

⚫︎ IBMが開発したワトソンについて。「ただの莫大な情報を統計的に処理しているだけ。人類の頭脳を超える人工知能などにはなり得ない。　SFの中だけでの話だ」と言う人がいる。　しかし人間の脳の判断もまさにワトソンと同様の処理を行なって判断しているのだ。

　　Kurzweil put it like this:
　 A lot has been written that Watson works through statistical knowledge rather than “true” understanding. Many readers interpret this to mean that Watson is merely gathering statistics on word sequences.… One could just as easily refer to the distributed neurotransmitter concentrations in the human cortex as “statistical information.” Indeed, we resolve ambiguities in much the same way that Watson does by considering the likelihood of different interpretations of a phrase.

人工知能に関する感想は、“Automated us” (アルゴリズムが世界を支配する - 39冊目)でも少し書きました。　それから、IBMのワトソンの話は”Final Jeopardy “(IBM 奇跡のワトソンプロジェクト - 28冊目)が面白かったですよ。