2021年2月に日立京大ラボ・京都大学シンポジウムが開催されました
- 講演1 アジア的AI倫理へ 出口康夫氏
- 講演2 自動運転車の法と倫理:リスクと共生する 稲谷龍彦氏
- 講演3 人間の意思決定や行動変容を支援するAI技術と倫理 工藤泰幸
- 講演4 自発的に助けないチンパンジー、道具を使わないボノボ 山本真也氏
- 講演5 技術受容から問う<文化>と<技術>の共進化 塩瀬隆之氏
- 講演6 アフリカからの学びと価値の創造:差異を楽しめるか? 重田眞義氏
第3回日立京大ラボ・京都大学シンポジウム
「好奇心が駆動するBEYOND SMART LIFEの実現に向けて」
仮想空間と現実空間を連携し、AI等の活用によって最適化をはかる「超スマート社会」の実現に向けて、国レベルでの議論や取り組みがはじまっている。しかし、“スマート”だけではない社会のつくり方もあるのではないかーー。
2021年2月8日に開催された、第3回日立京大ラボ・京都大学シンポジウム「好奇心が駆動するBEYOND SMART LIFEの実現に向けて」では、第一部で社会イノベーションと倫理の関わり合い、第二部で人や生物の文化に学ぶ社会イノベーションに関する研究発表を通じて、”スマート”だけではない社会の可能性を探るために、社会や人と技術とのあるべき関係・倫理、さらにはそれぞれの地域の文化理解の必要性を検討した。
Zoom Webinarによるオンライン生配信には、長時間におよぶプログラムにも関わらず558名が参加。全国から熱い関心が寄せられているようすがうかがわれた。
シンポジウムの冒頭、京都大学理事・副学長(研究、評価、産官学連携担当)を務める時任宣博氏が開会挨拶に立ち、科学技術の発展による生活の質の向上とグローバル化の過程において、「解決すべき課題が多様化・複雑化している」と指摘。本シンポジウムでは「今後の科学技術開発とそれに基づく社会変革のめざす方向性を明確にしていきたい」と期待を述べた。
続いて、日立製作所執行役常務CTO兼研究開発グループ長の鈴木教洋が登壇。日立京大ラボが、「資本主義社会の先にある人間の新たな幸せとは何か」を議論した内容をまとめた書籍、『BEYOND SMART LIFE 好奇心が駆動する社会』(日本経済新聞出版、2020.8)を上梓したことに触れ、本シンポジウムにおいても「社会、人、技術における倫理、それぞれの地域社会の文化に着目して新たな社会像を探ることができるのではないか」と投げかけた。
シンポジウムのモデレーターを務める「勉強家」兼京都精華大学人文学部特任講師の兼松佳宏氏は「今日は来場者の皆さんとやりとりしながら、“筆頭の学生”として学んでいきたい」と開会挨拶を締めくくった。
第1部:社会イノベーションとAI倫理
講演1 アジア的AI倫理へ
出口康夫氏 京都大学大学院 文学研究科 教授
出口氏の専門は数理哲学。確率論・統計学の哲学、科学的実在論、シミュレーション科学・カオス研究の哲学、カントの数学論、スコーレムの数学思想、分析アジア哲学など多岐にわたる。今回は、東アジア的な「脱倫理」のあり方を通して、AIと人間の関係を捉えなおす視点を提示いただいた。
人間や社会を考えるとき、「人間はどうあるべきか」「どういう社会をつくるべきか」など、「べき」の問題は避けられない。「基本的人権」などの概念は、近世の西欧で生まれてデファクト・スタンダード化した。21世紀の国際社会は、これらのデファクト・スタンダードを継承しつつどのように多元化・多様化・多層化していくかが思想的課題となる。今日は、AIと人間の関係を、“自遊”としての「自由」、「脱倫理」、「聖なる愚者」の系譜、「委ねのネットワーク」というキーワードで見ていきたい。
「自由」とは最も広い意味では「Xから免れていること」だと捉えられる。近世以降の西欧の「自由」は、すべての運命を決めているのは「X=決定者(神・物理法則)」であり、そこから逃れる非被決定性、つまり自分のことは自分で決める「自己決定権」が中心にある。
一方で、アジアには絶対的な「決定者」はなかったが、「X=能力の限界」から逃れるという仏教的な概念「自在(能力の無限さ)」がある。もうひとつ、「X=規則」から逃れる、老荘思想的な「脱規則性」をもつ「自遊」という概念が考えられる。「脱規則性」とは、規則を相手に押し付けたり、押し付けられたりするゼロサムゲームから降りるということだ。
ここで「自遊」に注目して、二つ目のキーワード「脱倫理」を考えてみたい。西洋的倫理思想の主流には事実としての「to be(ある)」、規範としての「ought to be(べき)」の二元論で考えられてきた。しかし、「自遊」という人間観を基礎に置いたとき、本来のあり方を発現させる、「to make it so(しからしめる)」という東アジア的な「脱倫理」のあり方が考えられる。
三つ目のキーワード「聖なる愚者」は、たとえば宮沢賢治の「デクノボー」のように、人間の尊厳、本質、かけがえのなさを「根源的なできなさ(incapability)」に置く東アジア的な考え方だ。これは、人間を「できること(capability)」、つまり「機能」の束として捉える、西欧の機能主義的人間観の真逆の考え方である。
我々はエコシステムの中で生きていて、他者や動植物など無数のエージェント(agent)に「アフォード(afford)」されていなければ指一本動かせない。この「アフォーダンス(affordance)」という考えから、行為者性(agency)を占有できないという「根源的できなさ」が、人間の本性として導かれると思われる。
つまり、我々の生のあり方とは、自らの行為者性や主体性を他のエージェントとの「委ねのネットワーク」に支えられている。自律・他律のゼロサムゲームから降りることこそが「自遊」であり、「委ねのネットワーク」の一員として生きることが、「しからしむ」という意味での脱倫理的な倫理ではないかと考える。
将来、人間と同等かそれ以上の知能をもつ対話型AIが現れて、我々の情報に基づいて不断のアドバイスをするようになると、我々の自己決定権としての自由が侵害されるのではないかという意見がある。一方、我々の自己決定性を守るために、無生物ないし人工物であるからという理由だけで、人間と機能的に見分けのつかないエージェントのアドバイスを無視してもよいという考えにも倫理的に問題があるようにも思える。このジレンマを解く一つの方策として、「委ねのネットワーク」としての人間社会をベースにして、人間とAIが共に生活をするなかで、身体レベルでの同期に基づく対話や共生を生み出し、自律・他律のゼロサムゲームを回避するというシナリオも可能ではないだろうか。
講演2 自動運転車の法と倫理:リスクと共生する
稲谷龍彦氏 京都大学大学院 法学研究科 准教授
稲谷氏の専門は刑事学(刑事政策)。法と科学技術や企業犯罪に関する領域を研究している。今回は、自動運転車を素材として、先端科学技術と企業によって生じる問題に関する議論をお話いただいた。
昨年、日本は世界初となるSAE(Society of Automotive Engineers)レベル3の型式認証を行ったが、自動運転車を巡る法整備も進んでいる。道路運送車両法では保安基準対象装置に「自動運行装置」の定義が加わり、道路交通法も自動運転システムの走行を前提とする改正が行われた。自動運転システムの実装にあたっては「自動運転車の運行設計領域において、自動運転システムが引き起こす人身事故であって、合理的に予見される防止可能な事故が生じないこと」とが目的とされているが、その理解をめぐっては、「ハザード・ベース対リスク・ベース」という重要な潜在的対立が存在している。
端的にいえば、ハザード・ベースは、法規制の目的を法益侵害自体の抑止として理解する議論であり、一方、リスク・ベースは、一定の確率で人身損失が起きうるとしても、自動運転車が社会にもたらす便益の大きさや、事故抑止に要する社会的費用、また、自動運転車が実装されないことによる社会的費用なども考慮すると、これを許容して良いという議論だと整理できる。
刑法の基本的な立場はハザード・ベースだ。各自が責任をもって行動すれば、お互いの権利を侵害することはないと考え、無責任な行動をとる人に制裁を加えるよう設計されている。この立場は、危険な行為や事物は、各個人が自分の意思を適切に働かせることで、危険を生じないように統制できることを前提としている。ところが、人工知能にはこのような意味での統制を行い、その事故の危険をゼロにすることはできない。そのため、現行の刑法では自動運転車のように自律的に動いていくシステムを適切には扱えないことが問題になる。
実際、2019年度の刑法学会分科会では、「コントロール不可能な自動運転車を流通させること自体が刑事制裁の対象となる」という見解も有力であった。つまり、自動運転車の開発者や品質管理担当者らは、開発し、流通させた自動運転車が事故を起こすたびに、業務上過失致死傷罪を問われうる。ところが、この考え方には複数の副作用がある。イノベーションは明らかに阻害されるし、システムを通じて現れる危険も個人に帰責されてしまう。後者は、たとえば私が専門とする企業犯罪の場合、「個人がある結果をコントロールできた」という前提で責任者とされる個人を処罰して問題が解決されたことにされてしまい、その背景にある、個人を違法行為に駆り立てるような企業や社会経済の構造が見過ごされる、という形で現れる。
つまり、既存の刑法理論が、内的な意思の力で外的な事物や環境を支配できるという「理想的な個人像」を前提とする限り、統計的な危険行為や外的環境の影響下で意思決定せざるを得ない人間が引き起こす問題には対処できない。より合理的なリスクマネジメントに適した制度を構築するために、刑事責任モデルやその基礎になる哲学のレベルから、刑法理論を刷新する必要があると考える。
現在の法制度の限界が、近代的な人間観に基づいて「どうあるべきか」という規範を導き出すことによって生じているとするならば、問題設定自体を「どうありたいか」へとずらしていくことが重要だ。つまり、自動運転車がもたらすような状況に対応できる法理論の基礎になり得るのは、他者や事物との相互依存的な関係性のなかで、望ましい自分と社会のあり方を求めていくような倫理学ではないか。
また、自動運転車による事故のように、確率的・統計的な危険の適正な水準に関する一義的な答えはない。この点を踏まえて、法の支配の理念を守り、権力の恣意的な行使を防ぐためには、「どうありたいか」を具体化していくための重層的かつ動態的な民主主義を実現しなければならない。たとえば、自動運転車が事故を起こした場合、そのリスクに関与した全員(開発者、運用者、支援者)に対して情報提供を求め、その情報を基にして、必要があれば製品・サービスの再設計や企業統治の改善などに関し、様々なステークホルダーを交えて議論し、より良い「ありよう」を求めていくことが重要な意味を持つ。ここで重要なのはシステムや社会全体の改善なので、関与者たちが将来に向けてより良い状態をつくりあげる責任を負うと約束するのであれば制裁を行わないというしくみも有効ではないか。
さらに、制裁や再設計のプロセスに、シビックテックなどを活用すれば、より広く様々な人の意見を反映していく途も開かれるかもしれない。いずれにせよ、固定された「あるべき」人間像から導出される単純な制裁の実現に陥ることなく「我々はどうありたいのか」を人々と共に考える、開かれた動態的な法システムを提案したいと思う。
講演3 人間の意思決定や行動変容を支援するAI技術と倫理
工藤泰幸 日立製作所 基礎研究センタ 日立京大ラボ 主任研究員
工藤の専門は情報科学。2016年に開設された日立製作所と京都大学の共同研究部門・日立京大ラボで心理学に学ぶAIの研究に従事する。今回は、社会イノベーションのプロセスにおいて、地域社会に参加する人々の意思決定や行動変容を支援するAI技術のサービスの可能性について報告された。
社会イノベーションには、さまざまなソリューションを組み合わせる必要があり、その規模に応じてステークホルダーも複雑化する。都市・まちづくりのレベルになると、あらかじめ地域と一体になって企画・運用する必要性がある。たとえば、自治体や地元企業のまちづくり企画を日立が支援する場合、その地域の金融機関と連携してESG融資の活用も考えながらアセスメントや提案を行いたい。
私自身は、情報科学の研究者として、日立の提供するソリューションにIoTやAIをどう活用すべきかを考えている。ひとつの方向性として、社会活動における個人や集団の意思決定を支援する「社会Co-OS」というアーキテクチャを構想している。個人や集団が日々行う「運用ループ」では協力行動の促進を、社会活動の方針決定に関わる「企画ループ」では変革サイクルの加速を、IoTやAIでサポートするというものだ。今後はソリューションやサービスの提供だけでなく、協力行動の促進に向けた人間の行動デザインにも踏み込みたい。
社会イノベーションを進めるにあたって、個人行動の影響は非常に大きい。しかし、社会と個人では「合理的」とされる行動が異なるときに「社会的ジレンマ」が生じる。たとえば、放置自転車の問題では、個人としては放置するほうが時間的・経済的にメリットがあるが、社会全体としては駐輪場を利用するほうが安全で街の美化にも役立つ。地球温暖化という大きな課題でもこうした社会的ジレンマが見られている。
社会的ジレンマの解決には、「機構的アプローチ」「制度的アプローチ」「心理的アプローチ」があると考えられている。人々の心に訴えかける「心理的アプローチ」では、公共交通の利用促進を呼びかけることでマイカー利用が減少するなど、フィールドでの成果も出ている。我々も心理的アプローチに注目し、AI活用の新たな支援領域にする研究を進めている。
心理的アプローチの課題は、問題の内容、状況や環境によって最適な方法は異なることだ。現場に応じて必要となる専門的な分析を、IoTやAIで自動化して普及を促したい。現場のデータを入力することで、協力行動を阻害する状況の分析、効果的な対策を予測するAIを目指している。このAIの開発のために、社会的ジレンマを模倣した実験データを用いて機械学習を行っている。現在、分析結果から「阻害要因」「効果予測」「有効施策ランキング」を表示する、プロトタイプを開発し、訓練データを拡充しているところだ。
実用化に向けては、人文科学や社会科学の研究者の協力が必須だと考えている。心理学や経済学の先生方からは訓練データに関するアドバイスを受けたり、哲学や社会学の先生からはAIによる介入方法の受容性、介入の倫理的な是非について共同研究を行ったりしている。行動変容を促すAIを導入するにあたっては、対象者の意思確認と事前合意に基づいて介入し、納得感を得てもらえるように、我々も配慮したいと考えている。
今後は、我々のコア技術である予測技術をトピックに、サービスソリューションを順次展開していく。ゴールイメージは、人間や自然までを考慮した「拡張された社会」をサイバー上に構築することだ。多種多様な価値観に対応した、レジリエントな実世界を実現したいと考えている。
第2部:人や生物の文化に学ぶ社会イノベーション
講演4 自発的に助けないチンパンジー、道具を使わないボノボ
山本真也氏 京都大学 高等研究院 准教授
山本氏の専門は比較認知科学。ヒトの進化の隣人である類人猿、ヒト社会と強いつながりをもつイヌやウマを主な対象に研究する。今回は、「ヒトとは何か」「ヒトらしさとはどういうものか」を、チンパンジーとボノボを通してその起源から紐解いていただいた。
チンパンジーとボノボとヒトは、約600万年前には共通祖先としてひとつの種だったが枝分かれした。ヒトに最も近縁な種であるにも関わらず、さまざまな違いが見られる。このような違いはどのようにしてなぜ生まれたのか。あるいは、ヒトらしさはどのような環境によって生まれたのかを解明したいと考えている。そのキーワードのひとつになるのが「文化と協力行動」だ。
文化も協力行動も、かつてはヒトにしか見られないと考えられていた。しかし研究が進むに従って、チンパンジーやボノボもヒトの文化や協力行動の進化的基盤をもっていることがわかってきた。たとえば、チンパンジーは道具を使用するだけでなく、道具の使い方を他者から見て学び、行動を変容させるということが実験から明らかになっている。これは、文化を継承していく上で非常に重要な行動特性だ。
しかし、チンパンジーは常に他者の行動を真似るわけではない。社会学習には「他者が優れていればその行動を真似る」「自分のやり方に満足できないときだけ他者を参照する」という大きく二つの戦略がある。後者は、常に他者と比較することがないので認知的な負荷が小さく、むしろ自然界ではこれが優勢であり、チンパンジーはこの戦略をとっている可能性が考えられる。これは、「足るを知る暮らし」あるいは、個体差を認め合う関係にもつながる非常に大事な考え方ではないか。
もうひとつ、チンパンジーの社会学習には、基本的には積極的に教えることはせず、見て学ぶ側のモチベーションにほとんど委ねられるという特徴がある。これは文化継承におけるヒトとチンパンジーの大きな違いだと考えられる。しかし、チンパンジーが手助けしないというわけではない。相手から明示的に要求を受けたときは手助けをすることがわかっている。
この実験結果を発表したとき、「チンパンジーは認知能力に欠けており、相手の困っている状況を理解できないから自発的に手助けをしないのではないか」という議論が主にされていた。そこで、手助けする側の個体に7つの道具を渡し、相手が必要とするものを理解して手渡すかどうかを研究すると、チンパンジーは他者の状況を理解して、柔軟に手助け行動を変化させることがわかった。つまり、相手の状況は理解できていても、自発的には手助けしない。ヒトとチンパンジーの違いは、認知能力というよりもむしろモチベーションの違いであることが示唆された。
おそらく、ヒトとチンパンジーの共通祖先の段階では、要求に応じた利他行動がメインだったと考えられる。約600万年前にヒトとチンパンジーの系統に分かれ、ヒトは自発的な利他行動を独自に進化させ、現在に見られるような利他性や互恵性を基盤とする協力社会を発展させてきたのではないかと考えられる。
ヒトが自発的な利他行動を進化させた要因のひとつは共感性にある。困っている他者に同情する共感性に加えて、自分が助けてあげた他者の喜びを自分にフィードバックする共感のシステムをもつことで、自発的な利他行動を進化させたのではないだろうか。チンパンジーは「できるけどしない行動」をたくさん見せるが、ヒトは「できることは常にしなければならない」という強迫観念をもっていることがある。チンパンジーの行動を知ることを通して、どういった社会が幸せなのかを考えるきっかけになればと願っている。
講演5 技術受容から問う<文化>と<技術>の共進化
塩瀬隆之氏 京都大学総合博物館 准教授
塩瀬氏の専門はシステム工学。博士課程では「機械学習による熟練技能継承支援システム」を研究。経済産業省で技術戦略を担当したのち京都大学総合博物館に復職した。今回は、私たちの暮らしや心の動きにまで入り込んでくる技術を受容し、理解していくことについてお話いただいた。
博士課程で人工知能による熟練者の技の継承をテーマに研究をしていた当時、ロボットやバーチャルリアリティで何ができるだろうかとワクワクしていた。しかし近年は、「技術が心をえぐるほどに私たちの生活に届くようになってきた」と感じている。もはや技術者には高性能なものをつくることに加えて、「どのように技術は社会に溶け込んでしまうのか」を含めた教育が必要だと考えている。
「先端技術が必ずしも社会に普及しないのはなぜか?」 と事前質問をいただいたが、「何ができるのか」をよく理解しないで、誤解と盲信からスマート家電を購入する人は意外と多い。「自分にとって意味があるものかどうか」を知るには、その技術を理解しなければならない。
医療や介護現場での情報技術の導入実態を改善するために、「知覚できた有用性」と「知覚された使いやすさ」を調べる「技術受容測定(Technology Acceptance Model)」というモデルがある。障害のある人の作業所に3Dプリンタを導入し、このモデルを用いて使い方の研修前後の「有用性」と「使いやすさ」をデータ化すると導入レベルが低下した。作業所では、「障害のある人が自分でつくることによって自己肯定感をもってほしい」と考えている。理解が進んだことによって、「自動的につくってしまうのであれば3Dプリンタは必要ない」と判断されたからだ。
技術はあくまでも中立である。技術を理解して適材適所に置けばいいのだが、社会には「技術に仕事を奪われる」という懸念がある。たとえば、駅の改札で切符をもぎっていた駅員は自動改札機に仕事を奪われ、自動改札機のメンテナンスをしていた人はICカードに仕事を奪われたと考えられている。しかし、人の仕事を奪ったのは機械や技術ではなく、それを導入した人間なのだ。
技術受容の研究をしていると、理解と誤解、盲信と疑念の狭間で、みんながその判断に加担していることに無自覚なままで、技術が選ばれているのを感じる。論理で理解して感情で拒絶しているのか、感情では共感しているけれど論理で拒絶しているのか、すべての技術がその間にある。このため、技術が槍玉に上げられるのだが、冷静に考えればすべて人が決めているとわかるはずだ。
私たちは、物心つく前からあったものを「技術」とは呼ばない。私は、子どもたちにマイナンバーや電子マネーを渡してロボットと一緒に仕事をする「ミニ・フューチャーシティ」を開催しているが、子どもたちはごく自然にロボットと一緒に働く。「ロボットに仕事を奪われるかも」と心配するのは大人であり、最初から隣にいるならわざわざ忌避する技術ではない。
これからの新技術は人命や倫理観につながるものになる。技術者、その技術を導入する人、技術を使う人の三者がしっかり対話できる場を明示的に設けていく必要がある。生命倫理も、昨年話題になったクローンベイビーのように、生命像そのものを書き換えかねない技術がすでに出てきている。それを許すかどうかを、今までは専門家と呼ばれる人たちに委ねてきたが、これからは自分たちも意見表明をしなければならない。
講演6 アフリカからの学びと価値の創造:差異を楽しめるか?
重田眞義氏 京都大学大学院 アジア・アフリカ地域研究研究科 教授
重田氏の専門は人類学。アフリカ農業における諸問題をヒトー植物関係論の立場から考察してきた。今回は、アフリカの人々によって培われてきた文化的資源としての有用植物とそれに関する民俗知識の分析から、差異を楽しみ多様性を愛でる人間に普遍的なあり方についてお話いただいた。
異文化との接触はさまざまな創造の源泉であると同時に、差別や排除、分断や抑圧のきっかけにもなってきた。今日は、私自身のアフリカ経験を振り返りながら、さまざまな差異への気づきとその理解が、社会イノベーションにつながるのではないかという視点を提示したい。
私が最初に暮らしたスーダンのアチョリ地域には、イネ科穀類「ソルガム(モロコシ、高粱)」の品種が30以上あり、「なぜこんなに多くの品種があるのか」と素朴な疑問をもった。調べていくと、一つひとつの種の違いを認識して、大きい穂、重い穂、いろんな色や形のものを選ぶという、人と植物の関わり方があった。このようなアフリカの農民のやり方が、結果としての多品種につながっている実感をもった。集団をマスで捉えるのではなく、少数の個体に目を向けるというアプローチは、人の関わり方からも感じられた。
エチオピアのある村では、「エンセーテ」というバナナに似たバショウ科の植物が、驚くほど多品種で保存・継承されている。エンセーテは5メートルほどの巨大な草だが、茎と地下茎に蓄えられたデンプンを食物にするほか、ほぼすべての部分を利用できる。栄養体繁殖で増やし続ければ、年間通して収穫が可能だ。2〜3年で食用可能になり、1本を収穫すると家族4人が1ヶ月は食べられる。今風に言えば、地域の食料安全保障に貢献する作物である。
私が1986年に記録したとき、エンセーテは178品種があった。栄養体繁殖だけでは、こうした品種の多様性は生まれない。しかし村人の畏怖の対象となっている村の周辺部から野生のエンセーテの花粉が飛来し、村で栽培するエンセーテと交雑することで新しい品種が生まれ、村人がその種子を保存するというダイナミズムがある。私はこれを民俗的品種保存と呼んでいるが、村人たちは意図的に多様性を高めようとしているのではないことがポイントだ。
アフリカに通うなかで、経験則を重んじ、現状肯定的で循環的な考え方が、アフリカの在来知のひとつの形態であり、多様性の肯定につながっていると指摘して来た。ただし、多様性を肯定するのは、多様であることが利益や利得をもたらすからではない。多様性は目的的に求めるものではなく、結果として多様性を実現していることがポイントだ。多様性を実現するプロセスこそが重要であると言い換えることもできる。
繰り返すが、差異こそが多様性の源泉であり、その前提は差異の容認である。多様性は複雑な「系」のなかで生成されるダイナミックなものであり、結果としての多様性を愛でる傾向性は人間に普遍的なものではないか。残念ながら、多様性を愛でる傾向性は失われつつあり取り戻すのは難しい。多様性を支えていた価値観は別なものに変化しているからだ。わかりやすい例でいうと、「役に立つ」研究ばかりをしていると、役に立つ研究の源泉となるエネルギーを失ってしまうということにもつながるのではないかと思う。
閉会挨拶
プログラムを終えて、閉会の挨拶に日立製作所基礎研究センタ長の西村信治が登壇。「スマートライフの先にある社会を考えるうえで、AI倫理について議論するべきだと考えた。また、コロナ渦や社会の分断が課題になるなかで、様々な文化からの学びをシェアしていただいた。今後、日立京大ラボ、京都大学、他社や市民のみなさまとネットワークを広げて、課題を共有し、実証提言を進めたい」と締めくくった。