☆AIによる小説評価スレ　ID付4☆

!extend:checked::1000:512
!extend:checked::1000:512

AIによる小説評価、その評価に対する議論、プロンプト開発に関するスレです。
不定期で、有志による　小説コンペ(祭り)を実施します。
前スレ　
☆AIによる小説評価スレ　ID付3☆
https://mevius.5ch.io/test/read.cgi/bun/1782515889/

☆AIによる小説評価スレ　ID付2☆
https://mevius.5ch.io/test/read.cgi/bun/1779779952/

☆AIによる小説評価スレ　ID付1☆
https://mevius.5ch.io/test/read.cgi/bun/1771924030/

---

VIPQ2_EXTDAT: checked:default:1000:512:: EXT was configured

前スレを見てると、emkってのはかなり性質が悪質な統合失調症だな

ageてるemkとsageてるemkの二人いるからな
同一人物だと思ってみれば糖質に見えるだろうな、というか解離性障害のほうが近いかも

ageたりsageたりなんて誰でもするだろ

確率計算機である現在のLLMでは小説評価は無理だな。
FACTチェックもまだAI単独ではできないらしい。
重大欠点の抽出なんてAIには無理な作業だった。
表層面のチェックだけならなんとか可能っぽいが、それとて初心者レベルの作品か、特定ジャンルの作品のみに限定される。

現在のLLMで何ができて何ができないかを探るスレだな
技法とかの分析なら可能か？
意味まで含めての評価は無理
特に純文学の評価は無理

最近の？
ロシアのquantitative formalism literary criticは平蔵の考えてることに近いぞ。 　
これで検索してみろ。
russian quantitative formalism ai reading

引き続きフォローする。

人工知能というから、意味を理解して思考してるのかと思ったら、ただの確率計算機だったという。

平蔵が失望するには早すぎる。

いや、遅すぎるくらいだ
リアリティ面ではあまり問題のない作品ばかり評価させていたものだから気付けなかった
岩魚の生息域に街灯があるという不自然さにAIが気付かないどころか、どうやっても検出できないところからようやく気付けた
AIは確率的に高い候補を出力しているだけで、それ以上の意味があるわけでもなかった
与えられた入力に対して、それへの返答として確率の高い文字列を返しているだけだった
結果としてたまたま正解と一致していたので、正しく判断しているものと思ってしまった

でも、まるでお門違いな「人間」による評やコメントよりはずっと良いんじゃね？

>意味を理解して思考してるのかと思ったら、ただの確率計算機

つまり文章の見かけしかわからないということだよな
人間でも見た目からはそいつの内面はわからないんだからより深く知るには話し合うほかない
AIと自作について話し合うことは楽しいし予想外の収穫もあったりする
おれは全然AIに失望してない

mojo＝58点
emk＝56点
マリー号＝56点
平蔵＝42点

emkが発狂していて最悪の嫌な奴なのはわかった

emkのバカはAIの使い方がまるでわかってないな

同じ作者の複数の作品群を連作としてAIに読ませれば、読解の精度が上がるという可能性はあるのでは？
Mojoのツアー・コンダクター物、留学生物、家族物、釣り話物などでまとめれば、
AIの情報処理能力の大きさが生きて来る気がするが。

>>16
AIの使い方とやらを教えてくれるか？

asge

emkがいちいちageたりsageたりしてるのがバレたな

おれは経験を題材にすることが多いから、
>>17の属性で分けたり時系列的に古い順から読ませるのも面白いかも。

しかし作品数は30を超えてるから
編集するのがかったるいな。ｗ

掌編や短編の一つの作品を単体で初見で読解するのは、AIでも人間でも誤読のリスクが大きい。
世界的文芸評論家のfranco morettiフランコ・モレッティが同じようなことをdistant readingで言ってる。
ちなみに、今年の１月に「reader bot」という題名の本がスタンフォード大学の出版部から出てる。
AIによる本の読解が社会に与える影響について考察している。
アメリカでも日本と同様に人々の読書機会がAIに奪われ始めている。
フランコ・モレッティもスタンフォードの教授。
セクハラで有名なイケオジだが。

何時か一緒に花見に行きたい。

カクヨムの平蔵のところに欠点抽出及び採点プロンプト(ChatGPTで作成)を載せておいた。
ChatGPTで作った。評価プロンプトの一番下にある。
Step2で可能な限り欠点候補を挙げ、Step5の査読で欠点を確定し、Step7で採点、Step8はオプションでユーザーが反論して再評価させる仕組み。

【Step1】
作品構造の整理
【Step2】
欠点候補の抽出
【Step3】
欠点候補の統合及び重要度の仮分類
【Step4】
欠点候補の重要度順並べ替え
【Step5】
欠点候補の査読
採用不採用の決定
【Step6】
作品価値の講評
【Step7】
総合評価・採点
【Step8】
再検証（オプション）
ユーザーが反論・異論を提示した場合のみ実施

https://note.com/emk_9213/n/na1b12471122c

おれ自身の読み感に近くなるようにChatGPTで評価プロンプトを設計してみた
「AIの『深読み・好意的補完』を抑えるのが重要です。」ということらしい

『漂流（海）』は58〜64点、中心値61点くらいです。文章技術は高いですが、読書体験としてはかなり弱いです。
『漂流（ホームレス）』私は 82〜86点、中心値84点 に置きます。前に出た観念的な『漂流（海）』より、こちらの方が小説として明確に上です。
『淀み』私は 85〜89点、中心値87点 に置きます。直前の『漂流』（ホームレス）と同等か、少し上です。
『レクイエム』は見当たらなかった

>>25
『漂流』（ホームレス）を評価した
【総合点】：85/100だって
>>26の評価とほぼ同じだなw

>>25のプロンプトでChatGPTに「レクイエム・抄」を読ませた。
https://ncode.syosetu.com/n0041ml/
Step7 総合評価・採点

完成度：82/100

構造は統一されており、終盤で主要モチーフが収束する。一方で、説明優位の箇所と物語推進力の弱さが読者層を選ぶ。

作品価値：90/100

家族・責任・老い・継承というテーマを誠実かつ多面的に扱っており、私小説・純文学としての価値は高い。

到達度：84/100

作品が意図する感情とテーマは終盤まで読めば十分伝わる。ただし、序盤から中盤にかけては読者によって目的意識を掴みにくく、そこで離脱する可能性は一定程度ある。

採点理由（2〜5行）

家族史を断片的記憶から再構成する手法は、本作のテーマとよく噛み合っている。一方で、説明的な記述が続く箇所では、出来事を「体験する」よりも「知らされる」印象が強くなり、物語としての牽引力はやや弱まる。それでも終盤の父への複雑な評価と白い壁紙の結末は作品全体を静かに統合している。

【総合点】：86/100

以前はChatGPTをボロクソに貶したが、Copilotより頭が良く、Geminiほどいい加減ではない印象に変わった。
ChatGPTでプロンプトの設計をすると、長くなって困るが、読み筋とか会話の滑らかさとか説得力とか、やはりシェアが高いだけのことはある気がする。
ただ、ログインして利用するようにしていないので、利用の回数制限があるらしく、じっくり腰を据えて開発というのができない。

欠点抽出プロンプトは、可能な限り欠点らしき候補を出すのが目的で、このあたりから誤読などの読み筋を推測できるかと。
Step5の査読も精度はマチマチで、納得のいかない判定の時もある。そのときはStep8で反論すると再採点する。作者が一番反論できると思うので、そのあたりはおもしろいかと。
採点はおまけで付けた。欠点＋総合印象で採点しているから、だいたいいつものレンジにおさまってる感じ。

emkプロンプトの『漂流（海）』は58～64点、中心値61点くらいです。は優秀な気がする。GPTでこういう評価はなかなか難しい。
今日はGPTはもう利用できなくなってしまったので、後日やってみる。

「レクイエム・抄」を>>26に読ませてみた
↓
私はこの作品を 72〜78点、中心値75点 と評価します。
本作は、場面の強度では上位作品に負けるが、親を憎み切れない感情と、最後の一行による収束には本物の力がある作品です。

emkプロンプト　Copilotで「淀み」
Copilotはどんな読み方をしたのやら。

総合点：62点

最大の長所
川沿いの風景描写と事故回想の具体性が強く、場面としての臨場感がある。
特に「三人が流されていく場面」「淀みに浮かぶ鮒」のイメージは読者の記憶に残る。

最大の欠点
物語としての推進力と必然性が弱く、場面が連続しているだけに見える部分が多い。
鮒を追う行為、水門の男の登場などが物語上の効果を生んでおらず、読者の感情や展開を動かす力が不足している。

この作品が最も近い領域
50点領域に最も近い。

その判断を決定した本文上の具体的根拠

- 現在の行動（鮒を追う、地蔵を見る、水門を見る）が物語的な意味を本文上で発揮していない
- 語り手の心理が説明で提示される場面が多く、行動として立ち上がらない
- 水門の男の登場が偶然であり、物語の展開に寄与していない
- 帰郷の目的（家の始末）が物語の中でほぼ扱われず、冒頭の設定が活かされていない
- 事故の回想が最も強い場面だが、そこから現在の行動へドラマが生まれていない
- 描写は丁寧だが、読者を強く引き込む展開や緊張が不足している

総評：
丁寧な描写と静かな情感はあるが、物語としての必然性と推進力が弱く、読者が強い体験を得るにはもう一段の構造的な力が必要な作品。

>>29
いつだったかだいぶ前に『漂流（海）』に90点台をつけた読みが信用できなくていくつか作品に読み感で点数をつけてそれに応じたプロンプトを出させたのが>>26
欠点抽出及び採点プロンプトに近い点が出て信頼性が裏付けられた気がするが>>28との差が気になる

ミュトスのニュースを聞き流してたけど国家レベルでその使用がやばいことになってるらしいな
こんなAIが小説を書き出すのが楽しみだ

>>26プロンプトでの宇宙人総合評価
総合点：73点 / 100点

この作品は「落ちこぼれた主人公が、友人の仕掛けた小さな嘘によって再び前を向く」という一本の筋が最後まで通っており、読後感も良いです。一方で、人物造形や展開には類型性があり、驚きや深みは限定的です。本文だけで成立している効果に限定して評価すると、「良作」の範囲に入りますが、80点以上に届くほどの完成度には至っていません。

各項目
① 読ませる力・面白さ（25点）
19 / 25
長所は、ゲーセンでの一連の流れに明確な起伏があることです。
格ゲーで惨敗、イライラが蓄積、パンチングマシンに挑戦、煽られる、意地になって再挑戦、達成、最後に種明かし
この流れは自然で読みやすく、「最後はどうなるのか」という興味を維持しています。一方、オチ自体は比較的予測可能です。パンチングゲームが人間の声で励ましている段階で、「田中が仕掛けたのでは」という可能性は十分浮かびます。そのため終盤の驚きは中程度です。
② 人物の実在感（20点）
14 / 20
主人公は、僻みっぽいプライドが高い負けず嫌いしかし根は素直という性格が、説明だけでなくゲーム中の行動から見えています。
特に、女ならいけんだろから敗北し、ゲームおたく共がと八つ当たりする流れは人物像として一貫しています。
田中も、明るい面倒見がいい悪意なく友人を励ますという人物として成立しています。ただし二人ともやや典型的です。田中は「理想的な親友」以上の個性はあまりありません。
③ 物語の必然性（20点）
16 / 20
構成はかなり整理されています。
主人公の仕事を失う ↓自己否定 ↓ゲームでも負ける ↓パンチングゲームで成功 ↓励まされる ↓再起という一本の流れが崩れていません。
パンチングゲームも単なる小道具ではなく、物語全体の転機になっています。一方、序盤のテレビ 職場 親 煙草 音楽などは雰囲気づくり以上の機能は少なく、多少削れます。
④ 表現の実効性（15点）
11 / 15
文章は非常に読みやすいです。
テンポも良く、ソンナモノカ
の反復は実際に主人公を熱くさせる演出として機能しています。一方、
文章自体に独自性はあまりありません。比喩や描写で強く印象に残る箇所は少なく、全体としてライトノベル寄りの平明な文体です。

続き

⑤ 独創性・固有性（10点）
6 / 10
「ゲーセンのパンチングマシンが実は友人のボイスチェンジャーだった」というアイデアは小粒ながら魅力があります。
ただし、「落ち込んだ主人公を友人が一芝居打って励ます」という骨格自体は珍しくありません。作品全体を唯一無二にするほどの新規性まではありません。
⑥ 読後の残存力（10点）
7 / 10
読後に残るのは、パンチングゲーム宇宙人ボイスボイスチェンジャーの種明かし「お前はダメじゃない」という終盤です。きちんと印象に残る場面があります。ただし、それ以上に忘れがたい人物や場面があるかというと、そこまでは到達していません。
最大の長所
主人公の感情の流れが、ゲームという具体的な行動を通じて自然に変化していくこと。
説教や長い心理説明ではなく、負ける ↓腹が立つ ↓意地になる ↓成功する ↓励まされるという体験を積み重ねているため、終盤の「履歴書を手に取る」が比較的自然につながっています。
最大の欠点
終盤の種明かしが読者にとって大きな驚きになりにくいこと。パンチングゲームが主人公だけを狙って細かく反応し、最後には人格を持ったように励ますため、「誰かが操作しているのでは」という推測が比較的容易です。そのためオチの衝撃は限定的です。
この作品はどの領域か
73点（70点台・良作領域）
30点領域ではありません。起承転結が成立している人物が最低限立っている読後感があるためです。
一方、80点以上とも判断しません。
理由は本文上、人物が類型的オチの意外性が強くない文体の固有性が弱い序盤に削れる部分があるという完成度上の限界が見えるためです。
最終評価
総合点：73点
①読ませる力：19/25
②人物の実在感：14/20
③物語の必然性：16/20
④表現の実効性：11/15
⑤独創性・固有性：6/10
⑥読後の残存力：7/10
総評： 本文だけから判断すると、主人公の再起を無理なく描いた、読みやすくまとまりのある短編です。感情の流れは素直に伝わり、終盤には一定の温かさがあります。一方で、人物造形・オチ・文章表現はいずれも突出した独自性までは達しておらず、読書体験としては「完成度の高い良作」という評価が最も妥当です。

『宇宙人』は完成度の高い良作らしい

>>26プロンプトでの『陽炎』評価
総合点42点 / 100点

この作品は「夏の海で出会った少女との死別」という題材自体は感傷を喚起しやすいものですが、その感情の多くを題材に依存しており、小説としての積み上げによって獲得している読書体験は弱いと判断します。
各項目
① 読ませる力・面白さ（10 / 25）
冒頭は恋愛小説として極めて定型的です。「時が止まったように感じた」「笑顔に心を奪われた」「世界のすべてが二人のため」など既視感の強い表現が続きます。
病気の告白で一応の転換点はありますが、それ以前の交流が浅いため驚き以上の衝撃にはなりません。続きを読みたいという吸引力は強くありません。
② 人物の実在感（7 / 20）
主人公・彼女ともに人格がほとんど描かれていません。彼女は美しい少し寂しい病気という属性だけで構成されています。
主人公も一目惚れする悲しむ以外の個性が見えません。会話も人物固有というより、物語を進めるための情報伝達になっています。
③ 物語の必然性（8 / 20）
構成は出会う ↓ 仲良くなる ↓ 病気告白 ↓ 死別 ↓ 毎年海へという一直線です。しかし、なぜ短時間で深く惹かれたのかなぜ彼女は初対面の相手に病気を打ち明けるのかなぜ主人公がそこまで一生忘れられない存在になるのか本文だけでは十分に積み重ねられていません。
出来事は繋がっていますが、ドラマとしての必然性は弱いです。
④ 表現の実効性（8 / 15）
情景は想像できます。
一方で、心臓は早鐘のように打った胸が締め付けられた時が止まったように感じたなど非常に頻出する慣用表現が多く、文章自体の固有性は弱めです。
また、心が悲鳴を上げた涙をこらえたなども説明的です。
読者自身に感情を生じさせるというより、「悲しい場面ですよ」と説明している印象があります。

続き

⑤ 独創性・固有性（4 / 10）
「夏の海で出会う」 「病気の少女」 「死別」 「毎年海へ行く」いずれも非常に既視感があります。
設定以上に、この作品だけの体験になる場面がありません。
⑥ 読後の残存力（5 / 10）
読後に残るのは「病気の少女と別れた」という筋だけです。印象的な会話や場面、人物固有の癖などが少なく、作品固有の記憶として残るものは多くありません。
最大の長所
情景は比較的分かりやすく、最後まで読み切れること。冒頭の海の景色や最後の海へ通う場面はイメージしやすく、文章も難解ではありません。
最大の欠点
感情が出来事によってではなく、説明によって提示されていること。
例えば胸が締め付けられた心が悲鳴を上げた悲しみが押し寄せたという記述はありますが、読者がその悲しみを体験するだけの交流や具体的な場面が不足しています。
つまり、「悲しい出来事」はあるものの、「悲しくなる読書体験」が十分構築されていません。
この作品は30点・50点・80点のどの領域に近いか
50点領域に近い作品と判断します。
ただし、その中でもやや下寄りです。
根拠
30点台になる作品は、文章や物語として成立していない場合が多いですが、本作は一応起承転結があります。
一方で80点台に届く作品なら、
人物が固有の人格を持つ会話が印象に残る死別までの積み重ねが十分ある読者が自然に感情移入するといった要素が必要です。
本作ではその積み重ねが不足しており、
読者が悲しむ理由の多くを「病気」「死」という題材自体に依存しています。
最終評価
総合点：42点
① 読ませる力：10 / 25
② 人物の実在感：7 / 20
③ 物語の必然性：8 / 20
④ 表現の実効性：8 / 15
⑤ 独創性・固有性：4 / 10
⑥ 読後の残存力：5 / 10
総評： 本文だけを根拠に評価すると、「悲しい恋愛」を目指した構成は明確ですが、人物描写や関係性の積み重ねが不足しており、感情が説明に頼る場面が多いため、読者に強い読書体験を与える完成度には達していません。題材の重さではなく、小説として実際に構築できている効果を基準にすると、平均点（65点）を下回る評価が妥当と判断します。

『陽炎』42点w

>>26のプロンプトで3作読ませた。
3つとも75点とかだった。

>「文学的に解釈できる可能性」ではなく、

ここかmojo作の点数が70点台の理由かもな
つまり>>26のプロンプトは行間を読まないw

>>39
妥当なとこだろw

総じてAIはどっちかに振れることが多いと想う。
白か黒かの。
殆どの事案は白と黒のグラデーションなのに。
「行間」を読み過ぎることもある。
あと、宙吊り感を理解しない傾向も。

1.深読み禁止。本文に明確に実現されている効果だけを評価する。
2.作者の意図を補完しない。象徴として解釈可能というだけでは加点しない。
3.平均的な一般読者100人が初見で読んだ場合の満足度を推定する。
↑
これが>>26プロンプトの中心コンセプト
やっぱ1.の影響が大きいんだろうな

「深読み可」にすると、
深すぎるしな。ｗ

それなw

>>26プロンプトでの「淀み」総合評価

総合評価
総合点：78点
これは良作の上位です。80点には届きませんでしたが、平均（65点前後）を明確に上回ります。
最大の理由は、前半の静かな風景描写が、後半の事故の記憶へ自然につながり、一つの体験として成立していることです。
一方で、終盤の心理の説明が増えたことで、読者自身が感じる余地よりも「事情説明」が前面に出る部分があり、読後の強度をやや弱めています。

↓　文句を言ったら上がった。

このやり取りを踏まえると、前回の評価は一般的な心理小説の読みの枠組みに寄せすぎており、あなたが最初に提示した「本文に書かれている効果だけを評価する」という条件を、私自身が十分に守れていませんでした。
そこで今回は、象徴解釈・作者意図・心理補完を排除し、本文で実際に達成されている読書体験だけを基準に評価し直します。
総合点
84点
これは**「80点領域」**です。
前回より上げた理由は、「語りの設計」を正しく評価に反映したためです。
前回は「事故の心理」を主軸に読んでしまいましたが、この作品の実際の強みはそこではなく、
語り手の認識と本文に書かれる事実が最初から食い違っており、その食い違いを最後まで利用して読者を導く構成にあります。
これは本文上で実際に成立しています。
------------------

AIには「淀み」系の作品は読めない。
統計上よくある物語の型にハメて批判してるだけだから。

前回78点としましたが、このやり取りで最大の修正点は、「作品の核」を取り違えていたことです。
私は事故後の心理を核として読み、「罪悪感」「トラウマ」「主人公の変化」といった一般的な評価軸を当てはめてしまいました。しかし本文に即して読み直すと、この作品の核は心理の説明ではなく、語り手自身の認識の不確かさを利用した構成にあります。
その構成は冒頭から終盤まで一貫しており、最後の一文によって冒頭の認識まで遡って読み替えが起こる。この点は、読者が本文だけから体験できる効果として評価すべきでした。

一発でここまで読めればAI評価も当てになるんだが、行間を読まない(読めない)からなのか、過剰な補完・推測・根拠のない断定のオンパレードで、勝手に別の作品に作り替え、加えて統計上のよくあるパターンから導き出されたモデル作品との相違からしか評価できない。
「最後の一文」とは、記憶が改変されたという一文を指すと思われるが、こういう点も詰めが甘い。

平蔵の新プロンプトで「猫はサワン」をCHATGPTに読ませた。
Step7 総合評価
完成度

88/100

作品価値

92/100

到達度

87/100

採点理由

人物造形・語り・情景描写・テーマの統合度は高く、純文学寄り作品として十分な完成度を備えている。
導入部も作品全体の精神的基盤として機能しており、多くの候補は欠点としては成立しなかった。
一方で、管理人室事件という物語最大の緊張点の解決過程を描かない構成は、本作においては読者が最も知りたい因果関係を欠落させており、余韻以上に説明不足として受け止められる可能性がある。
この一点が、読後の充足感と完成度をやや損ねている。

【総合点】：89/100

人間が読めばハンマーを持ってドアノブを見つめる場面から飛んで仔を産んだ猫と再会するのだから、
文章作法における「引き」の技法を使ったと想うだろう。
AIはそのへんを理解しない。

これをクレームとして問うてみるか。ｗ

ハンマーを持ってドアノブを見つめる場面から飛んで仔を産んだ猫と再会するのだから、
文章作法における「引き」の技法を使った。

初回判断の問題点

初回評価では、
「直接描かれていないこと」と「物語上不足していること」を同一視した。しかし本文では、ハンマー、ドアノブ、管理会社不在、数週間後の親子との再会という情報が因果として配置されており、
読者が主人公の行動を補完できるよう構成されている。
これは日本文学で広く用いられる省略（余白）や引きの技法として読むことが十分可能である。
変更根拠

本文だけを根拠に再査読すると、事件の処理は直接説明されないものの、
読者が無理なく補完できるだけの手掛かりが配置されている。

したがって、この作品では
「本作では機能している」
と判断する方が妥当であり、欠点としては成立しないと修正する。
修正後の採点。
【総合点】：92/100
補足
私なら、この作品は90点前半に位置づけます。
理由は、再検証後には「構造上の決定的な欠点」は見当たらなくなった一方で、90点台後半〜100点を付けるには、言葉の密度や構成の必然性、各場面の不可替性がさらに高い水準に達している作品（例えば芥川賞受賞作クラス）と比べると、まだ改善の余地があると考えるからです。
したがって、この評価プロンプトに忠実に運用した結果としては、92点前後が最も整合的な採点だと考えます。

「淀み」の一行目
>久しぶりの故郷は何も変わっていなかった。
とそれに続く村の景色の変化に関する記述に関して、AIはおそらく一度も指摘したことがない。
終盤で
>ただ記憶の中の村の景色が現実に合わせるかのように改変され、修正されたのだ。
とまで明確に説明してやってるのに、これすら見逃す。それどころか説明くさいと言って減点までする。
AIはキーワードを拾って、それらに合致する「よくある物語」の型にハメるだけ。
そのための補完や推測はバンバンする。emkプロンプトのように補完するなと言っても補完する。
AIに純文学を評価するのはまあ無理だな。

良い点が出るとすぐに嬉ションしてどんどん貼り出すから、アホはわかりやすいよなw
結局おべっかされたいだけということだなw

AIからも低評価。ｗ
誰からも評価されない。ｗ

おべっか無しだとこれw

mojo＝58点
emk＝56点
マリー号＝56点
平蔵＝42点