本日の談話テーマ: GAI は文章の統語を理解するようになったのか？

最新情報: 「ChatGPT談話室」記事シリーズの企画を開始した目的等については、以下の「メタ心理学者とChatGPTの談話室 その一」の記事を参照してください。
http://www.kitaoka.co/note/meta/

この投稿は、(株)オフィス北岡代表の北岡泰典が配信する「メタ心理学者とChatGPTの談話室 その43」です。

今回は、ChatGPTのようなGAIは文章の統語を理解するようになったのか、ChatGPTと聞いてみました。

以下の文章は、(株) オフィス北岡代表の北岡泰典が Note で発信した投稿の引用となっています。

以下が、ChatGPTとの英語の質疑応答内容です。

ChatGPT FAQ #43 (29/4/23):

Q: In the seventies, Professor Shigeo Kawamoto, a then worldly known linguist, said in one of his lectures at Waseda University in Tokyo, Japan, that translation machines would never understand the syntaxes of sentences and thus would never be able to produce perfect translations.

Yet, I recently watched a Ted presentation given by Greg Brockman, an OpenAI co-founder, in which he indicated that an OpenAI engineer had been working on training a model to predict the next character in Amazon reviews, and that this model had turned out so successful that it made a sort of semantics emerge from the underlying syntactic process.

I understand that this statement by Brockman means that GAI’s like ChatGPT have finally come to understand the syntaxes of sentences.

Please comment on this matter.

A: It is true that there has been significant progress in natural language processing (NLP) and machine translation over the years. While it was once believed that machines would never fully understand the syntax and nuances of human language, advancements in deep learning and neural networks have led to the development of models like ChatGPT that can generate text with a high degree of accuracy and coherence.

However, it is important to note that while NLP models have made significant strides in recent years, there is still much work to be done in terms of improving accuracy and addressing issues like bias and fairness. Additionally, even the most advanced models like ChatGPT are not perfect and can still make errors or generate nonsensical responses in certain situations.

In the case of the OpenAI engineer working on predicting the next character in Amazon reviews, it is possible that the model was able to learn some level of semantics from the underlying syntactic patterns of the text. However, it is important to note that this is a relatively narrow task compared to the complexity of full machine translation. It is also possible that the semantics learned by the model were limited to the specific domain of Amazon reviews and may not generalize well to other types of text.

In summary, while significant progress has been made in the field of NLP, it is important to maintain a realistic perspective on the capabilities and limitations of these models. While they may be able to generate coherent text, they are not capable of true understanding or comprehension of human language in the same way that humans are.

以下が、DeepL の翻訳結果 (未編集) です。

Q: 70年代、当時世界的に有名だった言語学者の川本成夫教授は、東京のワセダ大学での講義の中で、翻訳機は文の構文を理解することはできず、完璧な翻訳をすることはできないだろうと述べています。

しかし、最近見たOpenAIの共同設立者であるグレッグ・ブロックマンのTedプレゼンテーションでは、OpenAIのエンジニアがAmazonレビューの次の文字を予測するモデルのトレーニングに取り組んでおり、そのモデルが非常にうまくいった結果、根本の構文プロセスから一種のセマンティクスを出現させることに成功したと述べていました。

ブロックマンのこの発言は、ChatGPTのようなGAIが、ついに文の構文を理解するようになったということだと理解しています。

この件に関してコメントをお願いします。

A: 自然言語処理（NLP）や機械翻訳が長年にわたって大きな進歩を遂げてきたことは事実です。かつては、機械が人間の言語の構文やニュアンスを完全に理解することはないと考えられていましたが、ディープラーニングやニューラルネットワークの進歩により、ChatGPTのように、高い精度と一貫性を持ったテキストを生成できるモデルが開発されています。

しかし、近年、NLPモデルは大きな進歩を遂げたものの、精度の向上や偏りや公平性といった問題への対応という点では、まだ多くの課題が残されていることに留意する必要があります。さらに、ChatGPTのような最先端のモデルであっても完璧ではなく、状況によってはエラーを起こしたり、無意味な応答を生成したりすることがあります。

Amazonのレビューで次の文字を予測することに取り組んでいるOpenAIのエンジニアの場合、モデルがテキストの基礎となる構文パターンからある程度の意味づけを学習できた可能性があります。しかし、これは完全な機械翻訳の複雑さに比べると、比較的狭いタスクであることに注意する必要があります。また、モデルによって学習された意味論は、Amazonレビューという特定のドメインに限定されており、他のタイプのテキストにはうまく一般化できない可能性があります。

まとめると、NLPの分野では大きな進歩がありましたが、これらのモデルの能力と限界について現実的な視点を維持することが重要です。これらのモデルは首尾一貫したテキストを生成することはできても、人間と同じように人間の言語を真に理解したり、理解したりすることはできないのである。

本談話のChatGPTの回答は「玉虫色」で、早稲田大学の河本茂雄教授の主張が正しかったとも間違っていたとも、言っていないと思ったので、再度、単刀直入に、翻訳機械は文章の統語と文法を完全に理解できるか、聞いてみました。

以下が、ChatGPTとの英語の質疑応答内容です。

ChatGPT FAQ #43_2 (29/4/23):

Q: In our previous chat, you said “While [the GAI related models] may be able to generate coherent text, they are not capable of true understanding or comprehension of human language in the same way that humans are.”

Do you think that translation machines will eventually be able to perfectly understand the syntax grammar of sentences, if not cultural and contextual factors involved?

A: It is possible that translation machines will eventually be able to understand the syntax and grammar of sentences with a high degree of accuracy. Advances in NLP and machine learning have already led to significant improvements in this area, and it is likely that further progress will be made in the coming years.

However, it is important to note that even with perfect understanding of syntax and grammar, translation machines may still struggle to accurately translate text due to cultural and contextual factors. Human language is incredibly nuanced and context-dependent, and it can be difficult for machines to accurately interpret and translate text without a deep understanding of the cultural and social contexts in which it was produced.

Furthermore, there is always the possibility of ambiguity or multiple possible interpretations of a given sentence, which can make translation a complex and challenging task. While it is possible that translation machines will one day be able to generate perfect translations, it is likely that significant challenges will need to be overcome before this goal can be fully realized.

以下が、DeepL の翻訳結果 (未編集) です。

Q: 前回のチャットで、あなたは”（GAI関連モデルは）首尾一貫したテキストを生成できるかもしれないが、人間と同じように人間の言語を真に理解したり理解したりすることはできない “と言っていました。

文化的・文脈的な要素が絡まないまでも、いずれは翻訳機が文章の構文文法を完全に理解できるようになると思いますか？

A：いずれ翻訳機が文章の構文や文法を高い精度で理解できるようになる可能性はあります。NLPや機械学習の進歩により、この分野ではすでに大きな改善が進んでおり、今後さらに進展する可能性が高い。

しかし、構文や文法を完璧に理解しても、文化的・文脈的な要因によって、翻訳機が文章を正確に翻訳することに苦労する可能性があることに注意が必要です。人間の言葉は非常に微妙で文脈に依存するものであり、翻訳機がテキストを正確に解釈し翻訳するためには、そのテキストが作られた文化的・社会的背景を深く理解する必要があります。

さらに、ある文章には常に曖昧さや複数の解釈が存在する可能性があり、翻訳を複雑で困難な作業にしてしまう可能性があります。翻訳機が完璧な翻訳を生成する日が来るかもしれませんが、この目標を完全に実現するためには、大きな課題を克服する必要があると思われます。

二つ目の質問へのChatGPTの回答によれば、文化的要因と言語の両義牲のために完全な翻訳は難しいとは言っていますが、文章の統語と文法を完全に理解できるようにはなる、という立場にいるようです。

本著者は、河本教授の講義を受けた 1970 年代から、ずっと、機械翻訳は完全な統語理解は不可能である、という立場にいましたが、本日の談話のように、もし仮にChatGPTが将来的に完全な統語理解ができるようになったとしても、そもそも言語を作り出しているメタ意識 (ConsciousnessではなくAwareness) のモデリングは、機械には金輪際不可能なので、このことを根拠に、「シンギュラリティは起こりえない」と主張してきています。

以上、本日の「メタ心理学者とChatGPTの談話」は、いかがでしたでしょうか？

北岡泰典「メタ心理学宣言」ページ: https://www.kitaoka.co/meta/

作成 2023/5/13