Hope for the best and prepare for the worst. ヘルスケアAI（healthcare artificial intelligence）導入がもたらし得る憂慮すべき状況に関する考察
浅井 篤 大北全俊 圓増 文 大西基喜 尾藤誠司
キーワード
ヘルスケア人工知能（healthcare AI）、濫用（abuse）、パターナリズム、COI、情報の奴隷(slave of information (technology))、自己診断、共感マシーン(flesh and blood医師でなくていい)、健康管理社会（health- controlled society）、プライバシー、Professionalism
要約
ヘルスケアAI（以下、特に断りのない場合はAIと記す）の医療への導入は医療サービス提供者および受領者に大きな利益をもたらし選択肢を増やし得る。しかしAIは我々の社会を一層健康にする潜在力を持つ一方、同時に好ましくない状況を引き起こしかねない諸刃の刃ではないだろうか。我々は本論で以下のような状況を予測する。医師がAIを濫用し依存し、専門的スキルの習得・維持・鍛錬を怠る、データとAIアウトプットだけを見て患者を診ない、パターナリズムが再興する、ＣＯＩに影響された医師やAI診断・推奨が患者に不利益をもたらす。一般市民は不安で過敏な健康・医療情報の奴隷になり、AIから情報や助言を常に強迫的に求める。自己診断による弊害も起きる。一部の医師は半技術的失業状態に追い込まれ、ホスピタリティー発揮や感情的交流の役割も他の専門職や共感マシーンにとって代わられかねない。共感を表出するAIが感情や人格を持つと錯覚する人々も出てくるだろう。社会全体がAIによる情報共有・集約を行い、健康監視社会が到来しプライバシーは軽視され、または概念ごと消失するかもしれない。この世は諸行無常であり、現時点では確立している職業も役割も必ず変化していくだろう。加えてAIと人間との密接な関係が、人々を社会的に孤立させたり従来の人間関係に悪影響を及ぼしたりする可能性も否定できない。しかし我々はHope for the best and prepare for the worstであるべきである。結論として我々が予測する好ましくない状況に対処する幾つかの方法を提案したい。
本文
１ 背景
人工知能（AI）とは、人工的につくられた人間のような知能を持つ実体またはシステムであり（１）、「大量の知識データに対して、高度な推論を的確に行うことを目指したもの」である（２）。AIは圧倒的な情報処理能力、つまり大量のデータを高速で処理する能力を持つ（３）。
ヘルスケアAI（以下、特に断りのない場合はAIと記す）の医療への導入は医療サービス提供者および受領者に大きな利益をもたらし、選択肢を増やし得る。医療機関における診療支援としては、対話システムを活用した自動問診システム、外来における検査・処方支援（「予測入力」）、退院サマリの自動作成、お薬手帳管理・処方箋管理、コンピューター診断システム導入による鑑別診断、診断仮説提示、検査示唆等の診療支援がある。CTやＭＲIの画像、眼底所見の読影・診断、ゲノム解析による治療内容の個別化、創薬、疾患発症予測も可能になる（４）。米国ではすでに医学生の診断スキルの教育にAIが用いられている（５）。
循環器や脳神経そして放射線科等の専門の医師らがいない医療施設では、AIによる診療支援は非常に有益だろう。多忙な検診施設でも同様である。心筋梗塞や超急性期脳梗塞、時間の経過した慢性硬膜下血腫等の見落としが減少し、微小な癌所見の見逃しを防ぎ得る。専門医やベテラン医師が足りない僻地ではとりわけ有益となる。遠隔医療も可能になる。診療全般においても、医師の診断の不確実性は低下し、鑑別診断の幅は広がり、医師が思いつかない治療方法が加わり診療の選択肢は増え、意思決定にかかる時間は短縮されることが期待されている。人間のアナログな予想からよりデジタル的なパーセンテージによる情報が提示される。医師等の医療専門職には時間的余裕が生じ、実際に患者に向き合う時間が増え、患者をより全人的に把握する機会が生じうる。医師に精神的余裕が生まれることで、患者との感情的交流も充実するかもしれない。これらが実現すれば大変好ましいことである。
AI導入と平行してＩＴ技術の進歩で、インターネットやスマートフォンで一般市民が医療情報にアクセスしたり、専門家からセカンドオピニオンや医療相談を受けたりすることもできる。AIによるオンライン診断も可能になるだろう。医療介護の巡回ロボットの使用も想定される（４、６）。一人暮らしの高齢者がロボットとの会話で癒され認知機能の低下を防ぐことができる（７）。ソーシャル・ネットワーキング・サービス（ＳＮＳ）を使った自殺相談も始まっている（８）。
AI内臓のウェアラブル端末や埋め込み型センサーによって一般市民が自らの健康状態をモニターできるようになってきている。一般市民はAIおよびIT技術を使った「モバイルヘルス」が可能になり、ウェアラブル端末を用いた自己のバイタルサインや健康状態のモニタリングや経過観察（トラッキング：追跡）などの「自己定量化」が行われている。埋め込み型センサーで血糖値等の測定もできる。そしてAIが彼等のバイタルサイン、食事や睡眠パターン、幸福度等に関する大量のデータを分析し、医師に匹敵する精度で分析することが可能になることが期待される（６）。薬の飲み忘れや体重測定回避、不健康な行動や嗜好に対して警告を出すウェアラブル端末も出てくるだろう。この結果人々の健康状態は現在より改善する可能性がある。
対面でのコミュニケーションが要求される現在の医療の仕組みが変わり、AIの導入で患者は医療機関を訪問して対面で診療を受ける必要が減少し、医療サービスへのアクセスが改善する。AIを用いた診断・治療計画ツールを用いた看護師等による診療（「準医師」）も実現する（６）。一般市民は生身（flesh and blood）の医師にかかるか、AIを活用する病院にかかるか、AI内臓ウェアラブル端末を用いた自己診断を用いるかなど、医療の活用方法の選択肢が広がるだろう。
将来的にはAIしか存在せず人間の医療専門職のいないクリニックも出現するかもしれない。特に患者との直接の交流が必要でない放射線科や病理診断分野でのAIによる医療の全面自動化が行われる可能性は低くない（５,219-256）。AI導入が廉価ですめば一般市民が支払う医療費が少なくなり、経済的理由で医療サービス利用を控えていた人々も必要な医療を受けることができるようになる。
今まで存在しなかったAIが医療現場や日常生活に加わり、医療専門職、患者・市民、社会の関係性や人々の医療関連行動は大きく変わる可能性がある。新しい選択肢が増え、より健康な社会が構築されると期待される。AIの医療施設および一般市民の日常生活への導入はこれからも加速的に進んでいくだろう。AIを用いた医療関連技術は今後一層加速度的、指数関数的に止むことなく進化していく。それを止める理由は、過激で原理主義的な反テクノロジー的立場に立たない限り、または技術的失業に対する恐怖によらない限り、見つからないと思われる。筆者らももちろん反対ではない。ただ忘れてはいけないことは、あらゆることには作用と副作用があることだ。何事にも二面ある（Every bioethical issue has at least two sides.）（９）。我々は今のうちに、AI導入によって生じる前述の好ましい側面だけでなく、関係者や社会に生じ得る必ずしも好ましくない様々な変化を予測する必要がある。
本論では日本社会にAIが投入されたときに生じ得る、医療倫理と医のプロフェッショナリズム関連領域の懸念を予想し、医療に関係する人々と社会全体へのインパクトを検討する。圧倒的な情報処理能力を持ち大量のデータを高速で処理する能力を持つ存在が、医療現場のみならず市民生活に導入されたときに生じ得る懸案事項を考察する。医療専門職について論じる場合は主に医師を想定して議論を進めるが、医師の役割の変化は当然他の職種に影響を及ぼす。結論として我々が予測する好ましくない状況に対処する幾つかの方法を提案したい。
最初に今回はあくまでSpeculative argumentsであることを断っておく。我々の予想が全く外れ、本論での議論は単なる杞憂、筆者らの荒唐無稽で偏執狂的な妄想の産物だったという結論になるかもしれない。しかしそれはそれで歓迎すべきことだ。AIの導入で医療がすべての面で良くなる可能性も当然あるが、我々はHope for the best and prepare for the worstという心構えで以下に幾つかの懸念を論じたい。加えて我々の論文では、いわゆる「２０４５年問題」（特異点（シングュラリティー、AIが人類の能力を超える瞬間））については検討しないし、自己意識と「人格」、本当の感情を持ったAIについても考察しない。
２ ヘルスケアAI導入がもたらし得る医療倫理的懸念：医師の診療態度への悪影響
２－１ 医師の医療・健康AI濫用とその帰結
医師がAIを濫用つまり不適切に使用する事態が生じる。AIを使用しなくても何ら問題のない患者の診断や治療方針決定にAIを使おうとするかもしれない。問診や診察だけで容易に診断のつく単純な上気道炎や尿路感染症、喘息発作、筋緊張性頭痛の場合にAIを使用する状況である。医師が肺炎の診断に、明確な病歴と症状、身体所見そして単純ＸＰでの所見があるにもかかわらず、躊躇なく胸部ＣＴを取るのに似ていると言えよう。あるいは胸痛の性状とEKGだけで急性心筋梗塞と診断できるのに、採血検査と心エコーの検査を自動的に「ルーチン」的に加えるようなものだ。医師は問診も身体診察もおろそかにして、診断も治療方針決定も既存の医療機器とAIに頼ることになる。その理由には患者の要望、医師の経験と自信のなさ（医師の不安解消のため）、金儲け（点数稼ぎ）等があるかもしれない。問診や診察にもはや意義を見出さないようになるからかもしれない。
米国のコメンテーターはClinicians may turn to machine learning for diagnosis and advice about treatments — not simply as a support tool と述べている（１０）。AIが誤診したりバイアスの入った助言をしたり不適切な推奨をしたりする可能性を忘れ、AIの判断を無批判に丸呑みし、診療行為を丸投げする。AIに入力されない情報は診断に反映されず、誤入力された数値は間違いを起こす。医師がAIに盲目的に「依存」する事態が実際に起きると、医師としての臨床・対人能力はいつの間にか低下し、専門職としての生涯学習鍛錬を怠けるようになってしまうし、誤診・過剰または過小医療に繋がり患者に害が及ぶ。自動化は人間のスキルを損なう。飛行機の自動運転導入によるパイロットの操縦スキル低下が危惧されている（５,355-366）。
最小限の労力で最大限の効果を得ようとする医師は、喜んで今までのスキルを手放し、AI操作修得に時間を費やすだろう。病理学者らの座談会でもAIの導入で病理医が怠け者になるリスクがあることが指摘されている。自分の仕事を誰かがチェックしてくれると思えば怠け心が生まれると予想されている（１１）。
２－２ 患者との意思疎通時間の短縮（逆説的主張）
AIが導入され診療業務が効率化されると、医師は患者一人当たりの診療時間を短縮でき、質を落とすことなくより多くの患者を診察することができる。あるいは患者一人あたりの診療により長い時間をかけることも可能性になると言われる（１２）。AI投入が医師に時間的余裕をもたらすという次のような見解がある。The ability of artificial intelligence to automate and help in the clerical functions (such as servicing the EMR) that now take up so much of a clinician’s time would also be welcome. Although not currently accurate enough, automated charting using speech recognition during a patient visit would be valuable and could free clinicians to return to facing the patient rather than spending almost twice as much time on the “iPatient”—the patient file in the EMR（１３）またAI活用で画僧診断が素早く完了する場合、医師は診療の他の側面に集中することができる（１４）。次のような、問題がないとは思えない予想もある。Physicians are liberated from the burden of upkeep and stress of making the appropriate medical decision.（１５）
しかし筆者らは次のような疑いを持っている。今でも電子カルテばかり見ている医師は、今後はAIのデジタル表示と患者がウェアラブル端末で記録して持参するデータ（または前もって送信されていたデータ）ばかりを見て、患者さんの生の言葉をほとんど聞かず、表情も見ず、歩き方も観察せず、身体診察もしなくなるのではないか。脈すら触れないかもしれない。患者さんと対面して話す時間が逆に短くなり面談は軽視される。AI導入時代においては、ウェアラブル端末のデータが医師の最も注目する「患者」または代替的存在（サロゲイト）になる。もちろん従来の医療行為に時間的余裕ができたので患者さんと対面する時間が増えるかもしれないが、一人当たりの患者の診察時間が短くなった分、よりたくさんの患者さんを予約にいれて診察しようとするため悪名高い「三分間診療」は変わらないかもしれない。
特にAI導入でお金がかかった場合は、投資分を回収しようと医師が行動するだろう。新しい医療機器を入れたから採算が取れるように検査数を増やすように、AIをどんどん使いよりたくさんの患者を一定時間にこなそうとする可能性は小さくない。不慣れなAI操作に時間がかり、増々実質的診察時間は短縮することも考えられる。従来通りの「三分間診療」「患者の顔をみない面談」「ろくな診察もない治療」に不満を持つ患者さんも出てくるかもしれない。しかし、AIがあればそんなことは全く構わない患者さんもいるだろう。診療精度・治療成績が向上すれば、患者側としても問題ないという可能性もある。
２－３ 医師による「客観的データ」を用いたパターナリズムの再興の可能性
我々は、AIの診断・推奨を手にした医師は一層パターナリスティックになるのではないかと懸念する。最先端のAI導入によって一度は廃れたパターナリズムが逆説的に復活するのだ。AIの診断予想や推奨はデジタルなパーセンテージとして提示される。たとえば、長年の喫煙者で１０年以上にわたり降圧剤服中、加えて軽度糖尿病に関して投薬なしで経過観察中の５０代の肥満気味の男性が定期受診の時に、「一週間から咳と黄色い痰が出て今日は朝からなんとなく熱っぽくてだるい。鼻炎は前からあるが少し鼻水がある気がする。最初は咽頭痛があったが今はない」と述べたとする。この男性は週二回程度の割でジム通いをしているが、今週はだるいので行っていないが、体調自体はそんなに悪くない。いつもは晩酌をするがここ数日飲む気がしない、多忙のせいかもしれない。いつもかぜをひくと倦怠感と咳が長引くと言う。
AIが問診と身体診察の結果に基づいた鑑別診断リストとして、上気道炎（30％）、細菌性肺炎（20％）、気管支喘息（10％）、肺結核（1％）とリストアップしたとする。肺炎を心配している医師はそれらを見て、自分の経験から真っ先に細菌性肺炎を疑う。医師は細菌性肺炎の確定診断のための検査をAIに尋ねる。AIは白血球および分画を含めた末梢血検査、CRP, BUN, Cr、そして肺ＣＴ検査を第一の選択肢として推奨する。それらは彼が必要と思うメニューでもあった。医師は患者にこれらの検査を緊急に実施することを勧める、なにしろ肺炎である可能性が２０％もあるのだから。しかし患者はそんなに体調悪くないし、時間もない。いつもの薬だけ出してほしいと、医師の検査についての推奨を辞退しようとする。
AIのデジタル推奨を受け取る医師にとって、同推奨が自らの診断仮説または懸念と近似または一致する場合、そうでない場合と比較して、医師は自分のAIと一致した診断仮説を、個人的主観性やバイアス、恣意性を排した客観的で普遍的妥当性を有する精度の高い回答と見なすのではないか。自分の考えはAIの２０％という数字に支持された、より強固なものだと認識するだろう。自分だけのアナログ的な直感に基づく不確実性を含んだ予想が、デジタルな表現で客観的で確かなものになり、ゆえにより普遍的で高い価値があり、しがたって誰もが受け入れなければならない、選んで当然の選択肢と認識されるのではないか。このようなAIにバックアップされた医師の最終的な推奨は、医学的観点から一層有益なものと感じられ、ゆえにそれを拒否する患者は一層愚かだという判断になろう。
今まで患者が診療方針を受け入れなかった場合には、自らの側の不確実性ゆえにその診療辞退を受け入れていた医師は、AIの提案を錦の御旗または「水戸黄門の印籠」として、患者の拒否を愚かなこととはねつけ、今まで以上に強く更なる診療実施を過剰な強さを持って説得するかもしれない。またゼロでない％の鑑別診断が上がった場合、それらの検査があまり侵襲的でない場合には、絨毯爆撃的に精密検査をしようとする可能性もある。AIはおそらく治療効果や生存期間を最適化する提案をするように設定されるだろう。しかし患者が治療に何を望むかは自明とは限らず、価値観や周囲の状況によって望む診療は変わり得る。その場合にAIにできることは少ない（１２）。
医師が肺炎の可能性を非常に低いと判断しAIも同様の見解を出す場合も同様で、医師は一切検査をしようとしないだろうし、患者が採血やレントゲン検査を希望した場合は、患者のことを医学的適応のない診療を要求するデマンディングで困難な患者と見なすだろう。肺ＣＴやＭＲＩなどを要求したなら、患者を叱責してしまうかもしれない。なにしろ肺炎の可能性はほとんどないのだから。ここでも医師の意見をAIがバックアップし、その判断をより客観的で正しいものと思わせる力が働く。
２－４ ヘルスケアAIを用いた営利目的の自由診療問題（「幹細胞治療」類似問題）と利益相反
米国の論者は次のように警告する。Clinical decision-support systems could be programmed in ways that would generate increased profits for their designers or purchasers (such as by recommending drugs, tests, or devices in which they hold a stake or by altering referral patterns) without clinical users being aware of it. Tension between the goals if improving health and generating profit（１０）。一部の最新AI導入を売りにしている施設では、前述したように必要以上にAI機器を使用しようとするだろう。AI導入で経済的に得をする医療専門職の利益相反問題には注意が必要である。AIが医療機関の利益になるような診断や推奨、つまりより深刻な診断、より多くの検査、より多くの処方を提案するようにプログラムされないとも限らない。患者の不安を煽るのだ。同時にAIは企業の製品であり商品で基本的に企業のプロダクトであり、企業の第一目的は利益追求なので、患者ではなく、より製作企業または医療者ユーザー（つまり購買者）の利益になるプログラム構成に偏る懸念もある。自社製品を使用させようとするかもしれないし、より検査を受けるように推奨するかもしれない。AI使用の有効性を過剰に表現した広告が流されるかもしれない。まさに幹細胞治療などの自由診療と同様の弊害、つまり課題な広告、有効性や害についての不十分または歪曲された説明、過剰医療や誤診による重篤な有害事象が発生する可能性がある（１６）。ある意味に製品が幹細胞からAIに変わっただけである。これらは医療と医療専門職に対する信頼を損ない、AIを使用する医師や医療機関に関わる不信が新たに起きるかもしれない。
３ ヘルスケアAI導入がもたらし得る医療倫理的懸念：患者が不安で強迫的な健康・医療情報の奴隷になる
AIは大量の知識データを圧倒的な情報処理能力によって、高速かつ的確に処理し高度な推論を行う。たとえば５０代で高血圧と肥満気味の男性が、「今日は朝からなんとなく胸のあたりに圧迫感がある。背中にも少し違和感がある」と定期受診で述べたとする。診療を支援するAIが、問診と身体診察の結果に基づいた鑑別診断リストとして、筋骨格系由来胸痛（40％）、胃食道逆流症（20％）、心筋梗塞（5％）、狭心症（3％）、胸部大動脈解離および肺血栓塞栓症（1％）とリストアップする。その患者を長年よく知っていて、以前にも同様の訴えがあったことを知っている医師は筋骨格系由来胸痛と判断する。しかし鑑別診断リストに「心筋梗塞」「胸部大動脈解離」という病名を見た場合に、患者はどのような反応をするだろうか。
今までは医師の説明で納得していた人でも心筋梗塞を恐れ、今まで見たこともない「肺血栓塞栓症」という病名をみて非常に不安になる可能性がある。医師がどこまで患者にAIの情報を提示するか、どうそれらを説明するか、患者がどんな性格か等によって、不安の生じ方が変わるだろう。選択肢が増えるほど鑑別診断リストが長くなるほど、患者の不安は増すのかもしれないし、精密検査要求も強くなる可能性がある。医師がいくら「その胸痛はゴルフをしたせいだ」「草むしりをしたのが原因だ」と説明しても不安は払拭されないだろう。AIをいつどのように使ってその結果をいかに開示するか、その使用について患者にどのように説明するのかも問題になりそうである。患者からAI使用の同意を取得するだけでもかなり時間がかかるだろう。
一般市民が日常生活つまり医療機関外で、自分が所有するAI内臓ウェアラブル端末が提示する情報や予測やアドバイスを受け取る場合、人々の健康関連不安は、上述の医療現場で生じるそれよりも一層強いものになると筆者らは予測する。たとえば心電図をモニターできるAIが「心拍数が高いです」「期外収縮が出ています」「右脚ブロック（CRBBB）です」と提示した場合、一般の人々の心理状態はどうなるだろうか。AIのプログラムにもよるが、もしAIが「あなたの血管年齢は80才」とか「がんの可能性が５％」とか「その倦怠感は糖尿病かも」等のコメントをした場合、人々はどういう行動に出るだろうか。筆者はかなりの割合の一般市民が医療機関に殺到すると予測する。
自分に関する健康関連情報が毎日のようにAIから届けられる場合、一般市民は今まで以上に、自分の医学または健康状態を自己診断し、十分記憶も理解できない診断名に不安になり医療機関に駆け込むか、または自己ケアを行う可能性が高い。一部の一般市民は情報の誤解やAIは100％正しいという盲信に基づいてAIが提示する情報とその推奨に過敏になり、不安は人々を強迫的にし、自分の自覚症状や体調を落ち着いて検討することなく情報だけに振る舞わされ右往左往するのではないか。親が子供のことを心配してAIを持たせる場合は、自分自身のことよりも一層不安に駆りたてられるのではないだろうか。AIに体重が重く生活習慣病予備軍と指摘された人は過度で過激なダイエットをして倒れるかもしれない。正常範囲外だが病的意義はないデータの存在をインプットされていないAIを使用する人や、そのように説明されても理解できない人はパニック状態になるだろう。
今ですら家庭血圧を５回も１０回も測定し克明に記録し一喜一憂する人々がいる（筆者の経験）。今でも健康テレビ番組が、ある睡眠薬は糖尿病改善に効果があると報道すれば、翌日内科外来は当該睡眠薬処方希望の患者があふれ、納豆がダイエットに効果的と言えば翌日スーパーの納豆が完売になる世の中である（１７）。科学的データに基づいて正確な診断や提案をすると見なされるAIが提供する情報はテレビ番組のコメントより正確に思えるため、人々はより一層それらの情報の中毒になりやすいと思われる。ある人は可能性を事実と取り違え、他の人は情報を鵜呑みにして不必要に不安に陥るだろう。AI診断がスクリーニング的な存在だとすると、その後自動的に推奨される精密検査が過剰になる懸念がある。人々はAIが提示するパーセンテージに、それがデジタルであるがゆえに「客観的で正しい」と感じ、より大きな不安に陥る。情報過敏症であり、かつ健康過敏症である。健康のためには他のすべてのことは二の次にしてしまう健康至上主義者になるかもしれない。
作家の田中慎也は、大多数の人間はインターネットに頼り切っていて依存と呼んでも差し支えない程度になっている、インターネットの急速な発達に伴い目的を最適に達成する方法を知るだけでなく、目的そのものの選定や行動自体を情報の側に決めてもらっている現状がある、情報という得体のしれない集積に支配されて振り回される情報の奴隷になり、ひたすら情報を飲み続けていると看破している（１８）。Direct-to consumer self-monitoring AI deviceの普及で、多くの人々はいつも不安で過敏で強迫的な健康・医療情報の奴隷になってしまうのではないか。そして病院に駆け込む人もいれば、無理な自己治療をして体を壊す人も出てくるだろう。さらに過剰な医療使用と医療費高騰に繋がりかねない（１９）。
不安で過敏で強迫的な健康・医療情報の奴隷は不適切な医療を要求したり、医師の説明に不信を抱いたり（もちろん不信を抱くことが正当なことも少なからずあるが）、AI診断をあらゆる症状に要求する可能性もある。AI情報の権威化である。AI設備のある病院に患者が殺到するかもしれない（今MRIやPETがある施設に患者が集まるように。結局、医師に余分な時間はできないのではないか）。頭痛の患者がCTではなくMRIを要求するように。AIも旧型マシーンはダメで最新型でなければならない。人々は医師や他の医療専門職の意見よりもAIの判断を尊重することになる可能性もある。船木は、我々が様々な重要な判断を人間よりもAIに任せた方が安心であると思い始めていると指摘する。膨大な量のデータに参照しながら、たえず判断を修正して正しい答えを与え、しかも突発的な勘違いはしないAIの判断は、人間による判断よりもずっと信用できそうだからである（２０）。一般の人々にとって、医療情報を正しく扱うことは困難である。なぜなら我々は信じたいことだけを信じる傾向があり、そして医療デマに騙されやすいからだ。情報を得るインターネットを辞書だと思っていたら、落書きだったり広告だったりすることがある（１７）。
４ ヘルスケア人工知能（healthcare artificial intelligence）導入がもたらし得る医療倫理的懸念：伝統的医師像の解体と共感マシーンの出現
サスカインドらは『プロフェッショナルの未来』という著作で、AIが医療や健康維持活動に導入された場合に、医療専門職、特に医師の専門職としての役割がどのように変容し得るのかを次のように予測している（６,137-196）。医療専門職と患者、他医療専門職との関係、専門職と社会、医療現場そのものがAI導入で大きく変わり、少なくとも医師という専門職は今まで通りの姿ではいられない。医師から言えば好ましくないが、サービスを受ける者としては好ましい変化が起きる。社会における役割および医師と社会の「社会契約」は、永遠不変の絶対的なものではなく否応なく変容する。
知識こそ専門職の仕事の中核に存在するが、人々が専門知識に直接アクセスできる方法を入手することになる。人々が専門家の助けを求めるのは、専門家が自分たちの知らないことを知っているからだが、その知識への一般市民のアクセスが容易になる。仕事がチェックリストや標準フォーマット、各種システムの開発でルーチン化し、手作業も個人からチーム・アプローチになっている。その結果、医師は独自の実践的知識の「門番」としての機能を喪失する。従来の医師の仕事をAIやシステムを活用して看護師が行うこともあり得る（６,137-196）。
オンライン診断システムも普及し、医師抜きでの診断、医師のいない患者も出現する。対面ではなくインターネット等を介した映像で診療を行う「テレプロフェッショナリズム」も普及する。現在の専門家の仕事は細かいタスクに分割されルーチン化され、他の人々でも実施できるようになり、準専門職への委任とタスクの移転が起きる。患者と意思疎通して診察を行い、その情報を標準化された診断および治療システムに伝える仕事を担う新しい医療専門職が出現することが予想されている。彼等は肥満や糖尿病などの慢性疾患管理に配属されるだろう（５,219-256）。
筆者らはサスカインドらやフォードの予測は的中すると考えている。つまり医師は準技術的失業に見舞われる。AIが医師の診断・意思決定能力と同等の能力を発揮し始めたら医師はどうなるか。医師は現在のコンサルタントから、AIと患者の関係を取り持つカウンセラーまたはコーディネイターになり得る。AI・ロボット使用費用が医師の人件費よりも安くなった場合には、一部の医師は失業するかも知れない。「機械に奪われにくい仕事」には創造性系、マネージメント系、ホスピタリティー系があると言われる。他人との感覚の通有性を持つ生身の人間が必要とされるホスピタリティー系には介護士、看護師、保育士、インストラクタが含まれる（２１）。ホスピタリティー系のスキルや態度は、医師よりも他の医療専門職、特に看護師の方がずっと得意だろう。AI導入で医師に患者と向き合う時間ができ患者に全人的ケアを提供する場合でも、その役割は看護師や他の職種に取って代わられるのではないだろうか。
さらに他人との感覚の通有性における生身の人間の絶対的な必要性について考えてみよう。ある実験では、When people thought they were talking to a computer, they were less fearful of self-disclosure, and displayed more intense expressions of sadness compared with people who thought the conversational agent was controlled by a human. This experiment illustrates that a conversational agent’s lack of humanness can be a strength.（２２）。ＳＮＳ自殺相談では「対面や電話での会話が苦手な人を相談につなげられた」との見解が出ている（８）。他方でintuition and empathy are very hard for AI and people would be concerned that AI performs specific tasks requiring human feelings such as empathy and compassion. People need personal contact (２３)という見解もある。
サスカインドらは、将来知識面のみならず、感情面の対応についてもAIが対応できるようになるかもしれないとして、感情を察知し表現するシステムとしての感情コンピューティングや共感ロボットに言及している。また多くの専門職たちが、共感を示す姿勢に欠けているのは残念な事実だと指摘している。機械が不誠実な人々よりもうまく共感をシミュレートすることが可能になるのは間違いなく、機械は誠実な人々よりもうまく、利用者の間に好ましい感情状態を生み出せるようになるかもしれないとも予想している（６,339-343）。
共感者に対するニーズがある場合でも、筆者らの見解では、必ずしも生身の人間である必要はないと思われる。共感性が適切に発揮でき相手の心が好ましい状態になるのであれば、共感する存在は機械でもよいだろう。現在でも、対面や電話での会話が苦手な人は人間との交流ではなく、コミュニケーション・デバイスを使用した機械とのやり取りを望むかもしれない。他者の共感を必要とする人々は、本当に生身の人間の本当の感情を望んでいるのだろうか。職業上、相手に期待されている感情を表出せよというルールに従って感情労働（emotional labor、公的に観察可能な表情と身体的表現を作るために行う感情の管理）（２４）を行い、仕事として共感的態度を取っている人間は、相手に対する自分の自発的内的感情を抑圧・制御している。そのような専門職といわゆる内面は存在しないが態度だけを相手に合わせて表出している機械の間で、受け手にとって実質的に何が違うのか。生身の人間は時に苦悩している人に心の深いところの情動を動かされ本当に共感するかもしれないが、そうでない場合も多々あると思われる。我々はいつでも誰にでも共感できるわけではないのだ。
尊大な医師や機嫌の悪い看護師、冷淡な検査技師、やる気のない薬剤師は時に存在する。人間の弱さや苦痛に無関心な「ロボット」のような人間に暖かい感情的支援を求め、無視されたり傷付けられたりするよりも、感情がないために感情的になることがなく、自意識がないために自己利益がない、「人間的な」共感性を適切に表出するようプログラムされたAIの方が良い場合もあるのではないか。コミュニケーションや共感の獲得だけなら、生身の人間より、暖かくて柔らかい優しそうなベイマックスのようなロボットの方がいいかもしれない。
感情的に安定しているように見え、丁寧で、不機嫌なこともなく、嫌味やひどいことも言わず、共感と思いやりが表出できるのであれば、人間であろうと機械であろうと何の違いがあるのだろうか。生身の人間はある意味、不安定で感情反応の予測が困難で面倒である。人間らしさには思いやりや優しさが含まれるが、人間臭さには弱さや偏見が含まれる（もちろんそれがいいという人もいるだろうが）。患者さんの辛さに心の底から共感する医療専門職は本当のところ、今だって少数派かもしれないのだ。このように診療関係において、共感を示す存在は医師である必要はなく、人間ですらある必要はないと言っても間違いではないと思われる。
最近公開されたある映画では、主人公が、執事・生活支援ロボットの感情のレベルを自分の気持ちの状態で上下させる。感情レベルが高いとそのロボットは人間らしい表情を浮かべ、そのレベルを下げると昔ながらの典型的なロボットの無表情になる。その主人公はある時、ロボットの感情表現がうっとうしかったので最初は感情のレベルを８から６へ下げる。しかしその後、主人公がとても悲しくつらくなった時、感情レベルを再び８引き上げ、自分の悲しさに共感してもらうというシーンが描かれる（２５）。AIは学習によって相手の状態からその人の感情を認識する能力を修得し、人間に共感的態度を表すことが可能になるだろうし、人が自分のニーズにあわせて調節することもできよう。
共感を表出するAIが、人間と同じように感情や人格を持つと錯覚する人々も出てくる可能性が指摘され問題視されている。我々はモノを擬人化し非人間的な物体に人間性を見出す傾向にある（２６、２７）。たしかにAIは、人間ではないという観点からは「にせもの」（simulacra）であり、使用者にAIが感情や人格を本当にもっていると故意に錯覚させるような説明や広告は許容されない（２７）。しかし使用者がAIとは何たるかを理解し上で、子供が大好きな縫ぐるみや人形と接することで感情的に心地よくなるのと同じように、共感マシーンであるAIとのやり取りで―それが感情交流という観点からは一方通行であったとしても―精神的によい状態になるのであれば許容されると考えるし、この機械―人間関係が人間としての尊厳を損なうとは思えない。もちろん認知機能が低下した患者や子供、精神的に不安定な人が共感AIを使用する場合は注意が必要だろう。
日本人は今でさえ西欧の人々に比べると「ロボット」好きであり、日本では多くの人がロボットに対して好印象をもっている。一方欧米ではロボットは人間を支配したり脅威となったりする存在と捉えられ、これまであまりいい印象を持たれていない（７）。日本人はどんなものにも人格や神性を見出す神道的なアニミズムの世界観に大きな影響を受けている。しがたって感情や自己意識を持たないAIを知らず知らずのうちに擬人化する可能性は、西洋人の場合よりも高いかもしれない。さらにはロボットと人間との密接な関係が、人々を社会的に孤立させたり従来の人間関係に悪影響を及ぼしたりする可能性も、介護ロボット領域で指摘されている。したがって注意は必要であろう。
５ ヘルスケア人工知能（healthcare artificial intelligence）導入がもたらし得る医療倫理的懸念：ヘルスケアAIによる情報共有・健康監視社会の到来
個人の携帯端末の集積される情報を公衆衛生に利用するというアイデアがある。インフルエンザ患者が発生した場合、保健当局が患者の携帯端末のデータを利用して、その患者の周囲にいた人々を割り出す。インフルエンザやより高病原性の高いウイルスや病原体の封じ込めに役立つ。特定された人々に発症リスクを知らせ自宅待機させることもできる（２８）。個人のスマートフォンやウェアラブル端末に、その人の日々の歩数、血圧、体重、体脂肪、食事内容、家族歴、個人健康記録、薬物使用情報を一括して記録し、そのデータをAIに送り受診勧告などをするシステムを、地域共同体や社会が実施しようという構想もある（２９）。
日本人作家の伊藤計劃は2010年の小説『ハーモニー』で、健康を何よりも優先すべき価値とするイデオロギーの下にある社会を描いている。人々はある一定年齢になると人体にWatchMeという装置を入れ、医療分子で身体を精密に分析され、リアルタイムでモニターされ、 体内の恒常性を常に当局に監視される。健康のために自らを厳しく律することが社会的に求められ、己の健康を常に証明し続けなければならない。さらにWatchMeは個人用医療薬精製システム（メディケア群、一家に一台の薬品工場）と繋がっており、異常に対して万全の予防を行う。誰も病むことのない社会が実現した社会が描かれていた（３０）。また、米国人作家デイヴ・エガーズは2013年の小説『ザ・サークル』で、ＳＮＳとインターネットが高度に発達した巨大企業を想定し、個人の完全な個人の「透明化」（超小型カメラ「シーチェンジ」で、個人生活をずっと公開）の試みや、体内センサーを飲み込みウェアラブル端末で身体情報をモニターし異常がでると企業の産業医が瞬時に把握できる仕組みを描いていた。本書では主人公が「秘密は嘘」、「分かち合いは思いやり」、「プライバシーは盗み」などと発言するシーンも出てくる（３１）。原書では繰り返し太文字で、“ALL THAT HAPPENED MUST BE KNOWN”という文章が登場する。
筆者らの見解では、AI、ＳＮＳ、ウェアラブル端末活用と情報収集システムの構築によって、将来の社会は情報共有と健康管理を是とし、社会全体の健康関連の公共利益が個人のプライバシー権保護よりも重視される時代になる可能性がある。上述のように健康増進を目的とした医療監視が技術発展によって今日より一層容易になるのは明らかだ。近い将来には埋め込み型センサー等を用いた体内状態監視装置も現実のものになるだろう。このような社会は健康至上主義に支配される可能性がある。健康至上主義的政策は政府の強制として展開する場合と、一般市民が善意と共同体意識から進んで支持する場合もあるだろう。みんなが健康に長生きすることに反対する人はいないだろう。しかし社会全体が健康になるために個人の健康関連情報を常にモニター、集約、分析されるため、人々の自分のデータに対する諸権利、データ提供の選択肢、自由は抑圧される可能性が出てくる。共同体の知る必要性が個人のプライバシーの権利を凌駕するのだ。『ザ・サークル』のような世界では、「知らせる義務」が発生していた（３１）。国家による健康管理社会であり、市民による相互監視社会になるだろう。ウェアラブル端末装着や体内モニター留置が義務になる時代も来るかもしれない。自らの情報や秘密の秘匿や反健康的行動の自由は消失する可能性が高まってきている。もちろんより多くの人がより健康になり得る社会は今の世界よりも好ましいが、他の多くの大切な価値が犠牲になる懸念はある。
６ 結論：Hope for the best and prepare for the worst
背景で触れたようにAIは我々の社会を一層健康にする潜在力を持つが、同時に好ましくない状況を引き起こしかねない諸刃の刃ではないだろうか。我々は本論で幾つかの憂慮すべき状況を予測・記述した。もちろん現時点では未来のことはわからないが、AIがR. M. Hareが想定したArchangel（大天使）のように見なされるようになるかもしれない。もちろんプログラムに異存するAIは大天使のように独立した人格を有していないので同等の存在にはなり得ないが、人間からそのように扱われる可能性はある。大天使は超人的な思考力と超人的な知識を持ち、人間的な弱点を全く持たない存在者、理想的観察者、理想的な指令者である。人間的弱点や自己への偏愛もない。あらゆることを理性によって瞬時に行う。選択可能な行為の帰結も含めて、その状況のすべての特質を直ちに調べることができる者である（３２）。
医療現場のAIや市民のウェアラブル端末のAIが「医療大天使」と認識され始めたら、一部の生身の医師（flesh and blood doctors）は相対的にHareの言うプロール（下級・単純労働者、決まりきった仕事に従事する者）になってしまうかもしれない。プロールは無知で世界に対する理解がなく結果を予測できない。近視眼的で利己的で何でも自己都合に合わせてしまう。無批判に規則に従う、衝動的で偏愛的、人間的弱点を極端なまでに持つと言われる（３２）。
『平家物語』の冒頭では、「祇園精舎の鐘の声、諸行無常の響きあり、沙羅双樹の花の色、盛者必衰の理（ことわり）をあらわす」と述べられる。人の世ははかなく、この世に不変・不滅のものはなく、勢い盛んなものは必ず衰えるという意味である（３３）。筆者らもこの世界観を共有する。一般市民や患者を含む社会全体が、人間の医師よりもAI医師の方が好ましい判断した場合には、伝統的な医師像は崩壊し、現在享受している社会的地位や名誉そして収入は維持できないかもしれない。しかし、それはそれで仕方ないことであろう。根拠のない自尊心は捨てて受け入れるしかない。諸行は無常なのだ。
とは言っても、人間の医師を完全に凌駕するようなAIは登場しないかもしれないし、もっと確実なことはAIを含めどんな機械も突然故障するということだ。新幹線が鳥のせいで停電し、地震でモノレールが不通になるように、突然AIが使用できなくなることが確実にある。大震災では壊れてしまう。SNSやインターネットは断線するしダウンする。機械だって誤診する可能性はゼロではない。どれだけAIが優秀で共感性に富んでいたとしても、やはり人間の医師が良いという人々もいるだろう。生身の人間の人間臭さが性に合うという患者もいるかもしれない。テクノロジーで解決出来ることと出来ないことがある。加えて、法的社会的問題から、近い将来にAIだけによる完全自動化・無人医療が実現する可能性は小さいと思われる。いずれにせよ我々は来たるべき医療の変化や健康維持へのAI導入によって生じる帰結についてHope for the best and prepare for the worstであるべきだろう。以下に今まで述べてきた好ましくない状況に対する対処法を幾つか提案して結論としたい。平凡で常識的で限界がある提案だが、他に画期的な妙案は現時点ではないように思える。
１ 臨床研究および社会調査で手遅れにならないうちにAI導入の問題点を特定する。AI導入による医学的アウトカムの改善の度合いだけでなく、医療現場での人間関係への影響、一般市民の生活や受診パターン等の行動の変化、AIの過度の使用が個人の社会的孤立を引き起こさないか、人々の感情生活に悪影響はないか、さらにはAIの使用が経済状態や患者背景、認知機能によって左右され差別を生まないかなどの社会調査を継続的に実施すべきだろう。自己診断による健康関連有害事象の発生や患者側のAIへの不満や誤解、錯覚についても調べなければならない。医療費の推移も確認しなければならない。同時に患者と家族が医療専門職とAIのそれぞれに何を期待し、どのような共同作業を望むかを明らかにすることも重要だ。多領域の専門家や社会的な関与を通してAIの開発を進めることが必須である。
２ 医療専門職―特に医師がAIを濫用する事態を予防するためにAIの適切な使用ガイドラインを策定する必要があろう。当該ガイドラインはAIの進歩に合わせた迅速かつ継続的に改訂されなくてはならない。我々はもはやAIのない現場には後戻りできない。今や高度先進医療品や医療技術がない医療は誰も想像できないし、受け入れることもできないだろう。したがって医療現場へAI導入による医師の診療行為への悪影響を最低限にしなければならない。そのためには従来通りの医療倫理・プロフェッショナリズム教育は継続されなくてはならないし、ＣＯＩの管理も厳格に実施する必要がある。なぜならAIが導入されたからといって医療の目的が突然変わるわけではなく、医療の倫理も同様だからである。AIと相補的に活動できる医療専門職の育成方針確立と教育プログラムの構築が必須である。医療専門職はまた、患者心理全般を学ぶと同時に、患者がAIから受ける心理的影響も研究し学ばなければならない。
３ 一般市民に対して「ヘルスケアAIの使用上の注意」を周知しAIリテラシーを高め、可能な限り誤解や錯覚を防ぐ必要があろう。これはAIを一般社会に導入しようとする者たちの責務である。AIの機能を理解し限界を認識し、機械は壊れたり間違ったりすることを忘れないようにしなければならない。我々はAIを過信してはならない。科学技術の進歩に振り回されたり踊らされたりしないような心がけが必要だ。そして医師は専門職としての態度や技能を、社会が求める限り可能な限り維持しなければならない。またAI故障時に患者に害がでないように対応能力を維持すべきだろう。
４ 社会として大切な価値を簡単に手放さない。医療現場も社会全体もプライバシー、行動と選択の自由、公正さ、真実と信頼、そして中庸の大切さを忘れてはならない。健康至上主義に基づいた健康管理社会の到来は避ける必要がある。健康はとても大切な価値だが、唯一絶対の価値ではない。多様な価値を保有できる社会を実現するために、心ある医療専門職および生命医療倫理学者は発信を続けなくてはならないだろう。テクノロジーですべての問題や悩みが完全に解決されることはないのだ。
５ 医師にとって「最悪のこと」、つまり適切な感情表現をしながら迅速で精度の高い診療提供できるAI導入によって技術的失業が起きる可能性がある。近い将来にそれが起きる可能性は低いが、それに備えておく必要はあるだろう。診療支援や補完ではなく、主たる実践者の置換が起きてしまった場合の心構えをこれからしておかなくてはならない。技術的失業という事態が始まった場合には、潔く専門職の活躍の場から退場することも覚悟しなければならないかもしれない。同時に「生身（flesh and blood）医師のセールスポイント」を今から考案することが大切だ。生身の人間としてのThe best of meは何なのか。AIによって今ある医療体制が消失するかもしれないことを考えながら、専門職として変わることが必要だろう。患者や市民に求められる医師の人間味や人間臭さとは何なのかも探る必要がある。しかし「人間は人間だという理由だけで、AIやロボットよりもいつまでも無条件に優れていて好ましい」という考えに固執してはならないだろう。諸行は無常である。
６ 最後に本論で予想した医師によるAI濫用も一般市民の情報の奴隷化も健康管理社会の到来も、その根底には我々の自らの健康に対する強い不安があるからだと思われる。医師も一般市民もみんな不安だから意思決定支援のためにAIの助けを求めるのだろう。大量で精度の高い健康・医療情報が容易に入手・交換・分析され、健康を保持するための推奨が形成される時代において、我々人間は自分の健康に関する不安とどう付き合っていけばいいのだろうか。どうすれば健康・医療情報の奴隷にならずに済むのか。いかに手ごわい不安を手なずけるのか。人間の健康に対する頑固な不安に対する特効薬は、現時点では存在しないように思える。いつ何時自分や愛する者に突然の死を迎えるかわからないという事実がある以上、過剰な不安を抱かずに生きるためには、我々人間側の心の持ち様を変えるしかない。しかし現状では我々の手強い不安に対する特効薬はないように思える。したがって今回はこれ以上本問題には立ち入らない。ただ死すべき存在としての人間の健康に対する不安への対処が、健康や医療に関わる問題でAIを適切に使用するためには必須だと強調しておきたい。さもないと医療専門職も一般市民も患者もすべて情報の奴隷となり、「AI中毒」に陥ってしまうだろう。
文献
１松尾豊 「人工知能は人間を超えるか ディープラーニングの先にあるもの」KADOKAWA/中経出版、東京、２０１５年、ｐ45）
２人工知能学会設立趣意書、1990 年6 月29 日 The Japanese Society for Artificial Intelligence. https://www.ai-gakkai.or.jp/about/about-us/jsai_teikan/
(２０１８年１２月５日最終アクセス)
３ 小林雅一 AIが人間を殺す日 集英社新書、2017年、東京、112-170
４ 奥村貴史 プライマリ・ケアと人工知能 プライマリ・ケア 2018;3:72-5
５ マーティン・フォード著 松本剛史訳 ロボットの脅威 人の仕事がなくなる日 日経ビジネス人文庫 東京、２０１８年（Martin Ford. Rise of the robots: Technology and the threat of a jobless future. 2015, Basic Books, Massachusetts,ｐ158）。
６リチャード・サスカインド、ダニエル・サスカインド著、小林啓倫訳 プロフェッショナルの未来―AI、IoTの時代に専門家が生き残る方法 朝日新聞出版、東京、２０１７年、ｐ６９－７８。（Richard Susskind, Daniel Susskind. The Future of the professions. How technology will transform the work of human experts. Oxford University Press, New York, 2015, 46-55.）
７ 井上剛伸 会話能力をもつロボット Geriatric Medicine 2017;55:273-277.
８ 熊谷豪 自殺相談はＳＮＳ「有効」毎日新聞２０１８年６月６日
９ Mader Sylvia, Bioethical Focus. Human Biology 8th edition. McGraw-Hill, New York, 2004, p12.
１０Danton S. Char, Nigam H. Shah, David Magnus, Implementing Machine Learning in Health Care — Addressing Ethical Challenges. NELM 2018;378: 981-3.
１１福島敬宜・Ralph H. Hruban, Gunter Kloppel ゲノム医学、デジタル病理、人工知能で難治性に立ち向かう膵胆道病理学の近未来像 週刊医学界新聞2018年7月30日
１２ 沖山 翔 人工知能と医師は共存できるかーAIの進展と医療現場での影響、西村周三監修 医療白書 ２０１７-２０１８年度 ＡＩが創造する次世代型医療 ヘルスケアの未来はどう変わるか。株式会社日本医療企画、東京、2017、ｐ40-51
１３ Abraham Verghese Cultural Shock – Patient as Icon, Icon as Patient NEJM 2018; 359:2748-51.
１４ Andrew L. Beam; Isaac S. Kohane. Translating Artificial Intelligence Into Clinical Care. JAMA 2016 ;316:2368-9.
１５ Anthony C. Chang Big data in medicine: The upcoming artificial intelligence. Progress in pediatric cardiology 2016;43:91-4.
１６TTamra Lysaght T, Wendy Lipworth W, Tereza Hendl T. Ian Kerridge ITsung-Ling Lee TL, Megan Munsie M, et al. The deadly business of an unregulated global stem cell industry. J Med Ethics 2017; 43: 744–746.
１７ 朽木誠一郎 健康を食い物にするメディアたち ネット時代の医療情報との付き合い方 ディスカバー携書、2018年、東京、７０－１４１
１８ 田中慎弥 孤独論 逃げよ、生きよ。徳間書店、2017、東京、ｐ48-50.
１９ Anita Ho, Oliver Quick. Leaving patients to their own devices? Smart technology, safety and therapeutic relationships. BMC Medical Ethics 2018;19:18.
２０ 船木亨 『現代思想講義―人間の終焉と近未来社会のゆくえ』 ちくま新書、2018年、東京.,37-49
２１ 井上智洋『人工知能と経済の未来』文春新書、２０１６年、東京,147-199
２２ Miner AS, Milstein A, Hncock JT. Talking to machines about personal mental health problems. JAMA. 2017: 318: 1217-8.
２３ Jim Banks Practical and ethical implications of putting AI and robotics to work for patients IEEE PULSE 2018;9:15-18.
２４ A. R ホックシールド 管理される心 感情が商品になるとき 石川准、室節亜希。世界思想社、2000年、京都
２５ キケ・マイジョ監督『エヴァ』、２０１２年スペイン
２６ Tijs Vandemeulebroucke, Bernadette Dierckx de Casterle, Chris Gastmans. The use of care robots in aged care: A systematic review of argument-based ethics literature. Archives of Gerontology and Geriatrics 2018; 74: 15-25.
２７25 Danish Council of Ethics, Recommendations concerning social robots, Updated 21st October 2010, Copenhagen, Denmark.(in Japanese, Translated by Shigeru Yamaguchi, March 2016)
http://www.dinf.ne.jp/doc/japanese/resource/hikaku/robot/Recommendations_Social_Robots.html
(accessed 8 December 2018)
２８ フレッド・グテル著、夏目大訳 「人類が絶滅する６のシナリオ」河出文庫 ２０17年 東京、255-334.
２９ 金谷泰宏、市川学 超スマート社会（Society 5.0）における医療サービス、西村周三監修 医療白書 ２０１７-２０１８年度 ＡＩが創造する次世代型医療 ヘルスケアの未来はどう変わるか。株式会社日本医療企画、東京、2017。ｐ37.
３０ 伊藤計劃 『ハーモニー』早川書房、2010年、東京
３１ デイヴ・エガーズ著・吉田恭子訳 『ザ・サークル』 早川書房 2017年 東京
Dave Eggers The Circle, Penguin Books, 2013, London.
３２ R. M. Hare Moral Thinking Its levels, method and point. Oxford University Press, Oxford, 1981, p44-64. （日本語版、勁草書房、内井惣七、山内雄三郎監訳、１９９４年、東京、67-96）
３３ 武田友宏・森田亨（とおる）川書店編、ビギナーズ・クラシックス 日本の古典 平家物語 角川文庫、東京、２００１年、ｐ１５－１６。
