Interest


いまの興味 My Current Interest:

Toward the Internet of Realities


The meaning and answers to the question “What is reality?” have always been shaped by the context of the times, including politics, culture, and technology. With the advent of information technologies that enable unprecedented experiences, and with virtual reality, digital twins, the metaverse, and AI forming new types of spaces and entities that can shape society, it is believed that the importance of this question is increasing, particularly in the pursuit of happiness for humanity and global society.
The definition and interpretation of “reality” vary widely, but it is often discussed in contrast to “facts.” While “facts” refer to phenomena that can be confirmed through objective observation, experimentation, and evidence and are accepted as universal truths, “reality” encompasses the subjective totality of phenomena that include the understanding and interpretation of the world formed by personal perception, experience, and social consensus. Based on this definition, there are as many different realities as there are people. However, in past societies, particularly before the internet, it is thought that clusters of relatively similar realities existed. Mass media homogenized the way society was perceived by people, and the limited mobility of physical goods and information forced people’s daily patterns into a certain rhythm, like commuting for school or work. The development and spread of modern information media technologies have made it possible for people to encounter content based on their preferences, giving them a sense of liberation and omnipotence free from social attributes. Technologies such as virtual reality and generative AI have the potential to further this trend. However, these technologies also pose risks, such as confining people to a filter bubble, reducing their sense of belonging to cities, communities, and regions, and lowering mutual understanding between different individuals.
Through research activities focused on “understanding and connecting reality,” we aim to discover and solve problems that maximize the happiness of both individuals and society as a whole. For this reason, we have developed the following sub-themes and are conducting research activities in collaboration with researchers and partner companies both within and outside the university.
reality_exp

Reality Embedding: Gaining Representations of Reality
We explore the design and acquisition of vector spaces that can represent and compare individual “realities” through both theoretical and data-driven approaches. The theoretical approach draws from various theories in information science, the humanities, and cognitive science to understand “reality” and conduct research and development on data selection and investigation methods necessary for acquiring its embedded representation. In the data-driven approach, we aim to acquire embedded representations of reality through the learning of large-scale data that may constitute reality, referencing foundational technologies in artificial intelligence. To date, we have achieved many results using similar approaches, such as acquiring embedded representations of urban spaces, gaining insights into the diversity of life patterns, and developing methods for comparing different cities. Additionally, in the field of ubiquitous computing, we have developed various technologies to recognize situations, contexts, and activities through multimodal sensing. If reality is the spatiotemporal synthesis of “facts” and “subjectivity,” then it is possible to approach its embedded representation by building upon these insights and experiences. If successful, this could lead to the realization of diverse computing methods that integrate facts with subjectivity and experience, potentially leading to the creation of new media.

Reality Networks: Information Infrastructure for Connecting Realities
As noted earlier, understanding “reality” quantitatively is important, but it is also possible and important to pursue research activities aimed at developing the network infrastructure to connect different realities independently of that understanding. Through this iterative process, the resolution of our understanding of reality may increase. In social psychology, the shared worldview and values between people are known as “shared reality,” which is considered one of the factors in communication. In this research, we define the state in which internal mental states resonate, and shared reality is heightened, as the state in which realities are connected, and we work on research and development of media and infrastructure technologies to realize and circulate that state. Inclusive group telepresence projects such as the MetaPo project serve as early examples of this concept. We are currently conducting advanced research in the JST CREST project (October 2022 - March 2028) and have begun collaborating with overseas research institutions and companies.


Reality Transformation: Social Demonstration and Implementation
Building on the knowledge and technologies obtained through the aforementioned research, we aim to contribute to solving real societal issues and creating new value. While focusing on media technologies that connect or transform reality as core tools, we also take a multifaceted approach that does not rely solely on them to identify and solve social issues. We already have multiple research fields in Japan, including initiatives in the JST RISTEX project (October 2023 - March 2027), which is addressing social isolation and loneliness in Oiso Town, Kanagawa Prefecture. Additionally, we are collaborating with the international nonprofit organization Urban Technology Alliance, which promotes smart cities and includes more than 30 municipalities and research institutions worldwide. Through this collaboration, we aim to foster serendipity in discovering and solving problems and creating value from a broad domestic and international perspective.


リアリティのインターネットに向けて


「現実とは何か」という問いの持つ意味や、その答えは、その時代の背景、政治、文化、技術などによって常に変化してきました。情報技術によりこれまでにない体験が可能となり、バーチャルリアリティ、デジタルツイン、メタバース、AIなど新たな形態の空間や主体が社会を構成しうる現代においては、人類や地球社会の幸福を追求する上で、その問いの重要性はますます高まっていると考えられます。

「現実」の定義や解釈は多岐にわたりますが、「事実」との対比で語られることが多いです。客観的な観測や実験、証拠に基づいて確認でき、普遍的な真実として受け入れうる「事実」に対し、その事実を個人の知覚や経験、社会的合意によって形成される世界の理解や解釈を含む現象の主観的な総体が「現実」である、という位置づけです。この定義によると、人の数だけ異なる現実がある一方で、これまでの社会、特にインターネット以前の社会では、ある程度近い現実のクラスタが存在していたと考えられます。マスメディアは、人々にとっての社会の見え方を均質化し、物質や情報の限られた移動性は、通学や通勤を通じた一定のリズムに人々の生活パターンを押し込めていました。現代の情報メディア技術の発展と普及は、嗜好性に基づいたコンテンツとの出会いを可能にし、人々に社会属性からも自由な解放感と全能感をもたらしてきており、バーチャルリアリティや生成AI技術はさらにそれを推し進める可能性があります。しかしその一方で、それは人々をある種のフィルターバブルに押し込め、都市やコミュニティ、地域への帰属感の減少や、異なる人々との相互理解の低下を招くリスクも伴っています。
我々は、「現実を理解し、つなぐ」という観点での研究活動を通じて、個人の幸福と集団や社会の幸福を同時に最大化するための問題の発見と解決を進めたいと考えています。そのため、下記のようなサブテーマを検討し、学内外の共同研究者や協力企業とともに、研究活動を実施しています。

figove


Reality Embedding :「現実」の埋め込み表現の獲得
個々の「現実」を表現し比較可能なベクトル空間の設計と獲得を、理論とデータ分析の両方のアプローチから探求します。理論的アプローチでは、主に情報科学、人文科学、認知科学の諸理論から「現実」の理解を試み、その埋め込み表現を獲得するための利用可能および必要なデータ選定や調査手法などの研究開発を行います。データ分析のアプローチでは、人工知能の基盤技術を参考にし、現実を構成すると考えられる大規模データの学習を通じて、現実の埋め込み表現の獲得を目指します。これまで、私たちは同様のアプローチで都市空間の埋め込み表現の獲得や、生活パターンの多様性の獲得、異なる都市の比較方法など、多くの成果を創出してきました。また、ユビキタスコンピューティング分野において、マルチモーダルなセンシングを用いた状況、文脈、活動を認識するための様々な技術の研究開発を行ってきました。「現実」が「事実」と「主観」の時空間的な合成であるならば、これらの知見や経験を基礎として、その埋め込み表現に近づける可能性があります。この研究を進めることで事実と主観・経験を統合した多様なコンピューティング手法の実現が期待でき、新たな価値の創出につながると考えています。
プレスリリース「日本の都市利用パターンを可視化する新データセット公開 都市計画から出店戦略まで幅広い応用に期待 ~アンカー付きエリア埋め込みデータセット「OpenUAS」~」
https://www.nagoya-u.ac.jp/researchinfo/result/2024/08/-openuas.html

Reality Networks:「現実」をつなぐ情報基盤
上述したように「現実」を定量的に理解することは重要ですが、その理解とは独立・平行し、異なる現実をつなぐためのネットワーク基盤の研究活動も可能であり、重要です。むしろその試行錯誤を通じて、現実の理解の解像度が高まる可能性があります。社会心理学では、人々の間で共有された世界像や価値観を「共有リアリティ」と呼び、コミュニケーションの要因の一つとなることが知られています。心の内的状態が呼応し、共有リアリティが高い状態に変化することを、本研究では現実がつながった状態と定義し、それを実現し流通させるメディアと基盤技術の研究開発に取り組みます。包摂性の高いグループテレプレゼンスMetaPoプロジェクトなどは、その先行的な事例として位置づけられます。現在
JST CRESTプロジェクト(202210月~20283月)において先行した研究を行っており、海外研究機関や企業とも連携を開始しています。



Reality Transformation: 社会実証・社会実装
上記で得られた知見や技術を元に、実際の社会課題の解決や新たな価値の創造に寄与する取り組みを進めます。現実を変化させたり、つなぐためのメディア技術をコアな武器としつつも、それのみに固執しない多角的なアプローチによって社会課題の発見と解決に取り組みます。
JST RISTEXプロジェクト(202310月~20273月)で神奈川県大磯町の社会的孤立や孤独問題に先行的に取り組んでいるなど、国内に複数の研究フィールドを有しています。また、世界30以上の自治体や研究機関などが所属するスマートシティを推進する国際NPO Urban Technology Allianceと連携し、国内外の幅広い視点での課題発見や解決、価値の創出を促す偶然性を高めるプロジェクトを進めていきたいと考えています。