ウルトラ兄弟の読解モデルを与えた例のとおり、AIは読解モデルの語彙やフレーズをコメント生成にそのまま利用している
本文から抽出するより読解モデルから拾ってくる確率のほうが高い
AIは次に来る語の予測(確率計算)をしているだけなので、文法レベルで正しければ、意味が通らなくてもそのまま出力してしまう
「中国語の部屋」で説明できる現象

形式（構文）と意味（意味論）の違い:
哲学者ジョン・サールは、コンピュータは記号をルール通りに操作（シンボル・グラウンディング）しているだけであり、人間のような真の意味理解や意識はないと主張しました。
中国語の部屋（ちゅうごくごのへや、Chinese Room）とは、哲学者のジョン・サールが、1980年に “Minds, Brains, and Programs（脳、心、プログラム）” という論文の中で発表した思考実験[1]。
中国語を理解できない人を小部屋に閉じ込めて、マニュアルに従った作業をさせるという内容。チューリング・テストを発展させた思考実験で、意識の問題を考えるのに使われる。

現代のLLM（大規模言語モデル）との関係:
ChatGPTなどのAIも、膨大なデータから単語の出現確率やパターンを計算して出力しているだけで、「中国語の部屋」と同じではないかという議論が現代でも続いています。