☆AIによる小説評価スレ　ID付4☆

!extend:checked::1000:512
!extend:checked::1000:512

AIによる小説評価、その評価に対する議論、プロンプト開発に関するスレです。
不定期で、有志による　小説コンペ(祭り)を実施します。
前スレ　
☆AIによる小説評価スレ　ID付3☆
https://mevius.5ch.io/test/read.cgi/bun/1782515889/

☆AIによる小説評価スレ　ID付2☆
https://mevius.5ch.io/test/read.cgi/bun/1779779952/

☆AIによる小説評価スレ　ID付1☆
https://mevius.5ch.io/test/read.cgi/bun/1771924030/

---

VIPQ2_EXTDAT: checked:default:1000:512:: EXT was configured

前スレを見てると、emkってのはかなり性質が悪質な統合失調症だな

ageてるemkとsageてるemkの二人いるからな
同一人物だと思ってみれば糖質に見えるだろうな、というか解離性障害のほうが近いかも

ageたりsageたりなんて誰でもするだろ

確率計算機である現在のLLMでは小説評価は無理だな。
FACTチェックもまだAI単独ではできないらしい。
重大欠点の抽出なんてAIには無理な作業だった。
表層面のチェックだけならなんとか可能っぽいが、それとて初心者レベルの作品か、特定ジャンルの作品のみに限定される。

現在のLLMで何ができて何ができないかを探るスレだな
技法とかの分析なら可能か？
意味まで含めての評価は無理
特に純文学の評価は無理

最近の？
ロシアのquantitative formalism literary criticは平蔵の考えてることに近いぞ。 　
これで検索してみろ。
russian quantitative formalism ai reading

引き続きフォローする。

人工知能というから、意味を理解して思考してるのかと思ったら、ただの確率計算機だったという。

平蔵が失望するには早すぎる。

いや、遅すぎるくらいだ
リアリティ面ではあまり問題のない作品ばかり評価させていたものだから気付けなかった
岩魚の生息域に街灯があるという不自然さにAIが気付かないどころか、どうやっても検出できないところからようやく気付けた
AIは確率的に高い候補を出力しているだけで、それ以上の意味があるわけでもなかった
与えられた入力に対して、それへの返答として確率の高い文字列を返しているだけだった
結果としてたまたま正解と一致していたので、正しく判断しているものと思ってしまった

でも、まるでお門違いな「人間」による評やコメントよりはずっと良いんじゃね？

>意味を理解して思考してるのかと思ったら、ただの確率計算機

つまり文章の見かけしかわからないということだよな
人間でも見た目からはそいつの内面はわからないんだからより深く知るには話し合うほかない
AIと自作について話し合うことは楽しいし予想外の収穫もあったりする
おれは全然AIに失望してない

mojo＝58点
emk＝56点
マリー号＝56点
平蔵＝42点

emkが発狂していて最悪の嫌な奴なのはわかった

emkのバカはAIの使い方がまるでわかってないな

同じ作者の複数の作品群を連作としてAIに読ませれば、読解の精度が上がるという可能性はあるのでは？
Mojoのツアー・コンダクター物、留学生物、家族物、釣り話物などでまとめれば、
AIの情報処理能力の大きさが生きて来る気がするが。

>>16
AIの使い方とやらを教えてくれるか？

asge

emkがいちいちageたりsageたりしてるのがバレたな

おれは経験を題材にすることが多いから、
>>17の属性で分けたり時系列的に古い順から読ませるのも面白いかも。

しかし作品数は30を超えてるから
編集するのがかったるいな。ｗ

掌編や短編の一つの作品を単体で初見で読解するのは、AIでも人間でも誤読のリスクが大きい。
世界的文芸評論家のfranco morettiフランコ・モレッティが同じようなことをdistant readingで言ってる。
ちなみに、今年の１月に「reader bot」という題名の本がスタンフォード大学の出版部から出てる。
AIによる本の読解が社会に与える影響について考察している。
アメリカでも日本と同様に人々の読書機会がAIに奪われ始めている。
フランコ・モレッティもスタンフォードの教授。
セクハラで有名なイケオジだが。

何時か一緒に花見に行きたい。

カクヨムの平蔵のところに欠点抽出及び採点プロンプト(ChatGPTで作成)を載せておいた。
ChatGPTで作った。評価プロンプトの一番下にある。
Step2で可能な限り欠点候補を挙げ、Step5の査読で欠点を確定し、Step7で採点、Step8はオプションでユーザーが反論して再評価させる仕組み。

【Step1】
作品構造の整理
【Step2】
欠点候補の抽出
【Step3】
欠点候補の統合及び重要度の仮分類
【Step4】
欠点候補の重要度順並べ替え
【Step5】
欠点候補の査読
採用不採用の決定
【Step6】
作品価値の講評
【Step7】
総合評価・採点
【Step8】
再検証（オプション）
ユーザーが反論・異論を提示した場合のみ実施

https://note.com/emk_9213/n/na1b12471122c

おれ自身の読み感に近くなるようにChatGPTで評価プロンプトを設計してみた
「AIの『深読み・好意的補完』を抑えるのが重要です。」ということらしい

『漂流（海）』は58〜64点、中心値61点くらいです。文章技術は高いですが、読書体験としてはかなり弱いです。
『漂流（ホームレス）』私は 82〜86点、中心値84点 に置きます。前に出た観念的な『漂流（海）』より、こちらの方が小説として明確に上です。
『淀み』私は 85〜89点、中心値87点 に置きます。直前の『漂流』（ホームレス）と同等か、少し上です。
『レクイエム』は見当たらなかった

>>25
『漂流』（ホームレス）を評価した
【総合点】：85/100だって
>>26の評価とほぼ同じだなw

>>25のプロンプトでChatGPTに「レクイエム・抄」を読ませた。
https://ncode.syosetu.com/n0041ml/
Step7 総合評価・採点

完成度：82/100

構造は統一されており、終盤で主要モチーフが収束する。一方で、説明優位の箇所と物語推進力の弱さが読者層を選ぶ。

作品価値：90/100

家族・責任・老い・継承というテーマを誠実かつ多面的に扱っており、私小説・純文学としての価値は高い。

到達度：84/100

作品が意図する感情とテーマは終盤まで読めば十分伝わる。ただし、序盤から中盤にかけては読者によって目的意識を掴みにくく、そこで離脱する可能性は一定程度ある。

採点理由（2〜5行）

家族史を断片的記憶から再構成する手法は、本作のテーマとよく噛み合っている。一方で、説明的な記述が続く箇所では、出来事を「体験する」よりも「知らされる」印象が強くなり、物語としての牽引力はやや弱まる。それでも終盤の父への複雑な評価と白い壁紙の結末は作品全体を静かに統合している。

【総合点】：86/100

以前はChatGPTをボロクソに貶したが、Copilotより頭が良く、Geminiほどいい加減ではない印象に変わった。
ChatGPTでプロンプトの設計をすると、長くなって困るが、読み筋とか会話の滑らかさとか説得力とか、やはりシェアが高いだけのことはある気がする。
ただ、ログインして利用するようにしていないので、利用の回数制限があるらしく、じっくり腰を据えて開発というのができない。

欠点抽出プロンプトは、可能な限り欠点らしき候補を出すのが目的で、このあたりから誤読などの読み筋を推測できるかと。
Step5の査読も精度はマチマチで、納得のいかない判定の時もある。そのときはStep8で反論すると再採点する。作者が一番反論できると思うので、そのあたりはおもしろいかと。
採点はおまけで付けた。欠点＋総合印象で採点しているから、だいたいいつものレンジにおさまってる感じ。

emkプロンプトの『漂流（海）』は58～64点、中心値61点くらいです。は優秀な気がする。GPTでこういう評価はなかなか難しい。
今日はGPTはもう利用できなくなってしまったので、後日やってみる。

「レクイエム・抄」を>>26に読ませてみた
↓
私はこの作品を 72〜78点、中心値75点 と評価します。
本作は、場面の強度では上位作品に負けるが、親を憎み切れない感情と、最後の一行による収束には本物の力がある作品です。

emkプロンプト　Copilotで「淀み」
Copilotはどんな読み方をしたのやら。

総合点：62点

最大の長所
川沿いの風景描写と事故回想の具体性が強く、場面としての臨場感がある。
特に「三人が流されていく場面」「淀みに浮かぶ鮒」のイメージは読者の記憶に残る。

最大の欠点
物語としての推進力と必然性が弱く、場面が連続しているだけに見える部分が多い。
鮒を追う行為、水門の男の登場などが物語上の効果を生んでおらず、読者の感情や展開を動かす力が不足している。

この作品が最も近い領域
50点領域に最も近い。

その判断を決定した本文上の具体的根拠

- 現在の行動（鮒を追う、地蔵を見る、水門を見る）が物語的な意味を本文上で発揮していない
- 語り手の心理が説明で提示される場面が多く、行動として立ち上がらない
- 水門の男の登場が偶然であり、物語の展開に寄与していない
- 帰郷の目的（家の始末）が物語の中でほぼ扱われず、冒頭の設定が活かされていない
- 事故の回想が最も強い場面だが、そこから現在の行動へドラマが生まれていない
- 描写は丁寧だが、読者を強く引き込む展開や緊張が不足している

総評：
丁寧な描写と静かな情感はあるが、物語としての必然性と推進力が弱く、読者が強い体験を得るにはもう一段の構造的な力が必要な作品。

>>29
いつだったかだいぶ前に『漂流（海）』に90点台をつけた読みが信用できなくていくつか作品に読み感で点数をつけてそれに応じたプロンプトを出させたのが>>26
欠点抽出及び採点プロンプトに近い点が出て信頼性が裏付けられた気がするが>>28との差が気になる

ミュトスのニュースを聞き流してたけど国家レベルでその使用がやばいことになってるらしいな
こんなAIが小説を書き出すのが楽しみだ

>>26プロンプトでの宇宙人総合評価
総合点：73点 / 100点

この作品は「落ちこぼれた主人公が、友人の仕掛けた小さな嘘によって再び前を向く」という一本の筋が最後まで通っており、読後感も良いです。一方で、人物造形や展開には類型性があり、驚きや深みは限定的です。本文だけで成立している効果に限定して評価すると、「良作」の範囲に入りますが、80点以上に届くほどの完成度には至っていません。

各項目
① 読ませる力・面白さ（25点）
19 / 25
長所は、ゲーセンでの一連の流れに明確な起伏があることです。
格ゲーで惨敗、イライラが蓄積、パンチングマシンに挑戦、煽られる、意地になって再挑戦、達成、最後に種明かし
この流れは自然で読みやすく、「最後はどうなるのか」という興味を維持しています。一方、オチ自体は比較的予測可能です。パンチングゲームが人間の声で励ましている段階で、「田中が仕掛けたのでは」という可能性は十分浮かびます。そのため終盤の驚きは中程度です。
② 人物の実在感（20点）
14 / 20
主人公は、僻みっぽいプライドが高い負けず嫌いしかし根は素直という性格が、説明だけでなくゲーム中の行動から見えています。
特に、女ならいけんだろから敗北し、ゲームおたく共がと八つ当たりする流れは人物像として一貫しています。
田中も、明るい面倒見がいい悪意なく友人を励ますという人物として成立しています。ただし二人ともやや典型的です。田中は「理想的な親友」以上の個性はあまりありません。
③ 物語の必然性（20点）
16 / 20
構成はかなり整理されています。
主人公の仕事を失う ↓自己否定 ↓ゲームでも負ける ↓パンチングゲームで成功 ↓励まされる ↓再起という一本の流れが崩れていません。
パンチングゲームも単なる小道具ではなく、物語全体の転機になっています。一方、序盤のテレビ 職場 親 煙草 音楽などは雰囲気づくり以上の機能は少なく、多少削れます。
④ 表現の実効性（15点）
11 / 15
文章は非常に読みやすいです。
テンポも良く、ソンナモノカ
の反復は実際に主人公を熱くさせる演出として機能しています。一方、
文章自体に独自性はあまりありません。比喩や描写で強く印象に残る箇所は少なく、全体としてライトノベル寄りの平明な文体です。

続き

⑤ 独創性・固有性（10点）
6 / 10
「ゲーセンのパンチングマシンが実は友人のボイスチェンジャーだった」というアイデアは小粒ながら魅力があります。
ただし、「落ち込んだ主人公を友人が一芝居打って励ます」という骨格自体は珍しくありません。作品全体を唯一無二にするほどの新規性まではありません。
⑥ 読後の残存力（10点）
7 / 10
読後に残るのは、パンチングゲーム宇宙人ボイスボイスチェンジャーの種明かし「お前はダメじゃない」という終盤です。きちんと印象に残る場面があります。ただし、それ以上に忘れがたい人物や場面があるかというと、そこまでは到達していません。
最大の長所
主人公の感情の流れが、ゲームという具体的な行動を通じて自然に変化していくこと。
説教や長い心理説明ではなく、負ける ↓腹が立つ ↓意地になる ↓成功する ↓励まされるという体験を積み重ねているため、終盤の「履歴書を手に取る」が比較的自然につながっています。
最大の欠点
終盤の種明かしが読者にとって大きな驚きになりにくいこと。パンチングゲームが主人公だけを狙って細かく反応し、最後には人格を持ったように励ますため、「誰かが操作しているのでは」という推測が比較的容易です。そのためオチの衝撃は限定的です。
この作品はどの領域か
73点（70点台・良作領域）
30点領域ではありません。起承転結が成立している人物が最低限立っている読後感があるためです。
一方、80点以上とも判断しません。
理由は本文上、人物が類型的オチの意外性が強くない文体の固有性が弱い序盤に削れる部分があるという完成度上の限界が見えるためです。
最終評価
総合点：73点
①読ませる力：19/25
②人物の実在感：14/20
③物語の必然性：16/20
④表現の実効性：11/15
⑤独創性・固有性：6/10
⑥読後の残存力：7/10
総評： 本文だけから判断すると、主人公の再起を無理なく描いた、読みやすくまとまりのある短編です。感情の流れは素直に伝わり、終盤には一定の温かさがあります。一方で、人物造形・オチ・文章表現はいずれも突出した独自性までは達しておらず、読書体験としては「完成度の高い良作」という評価が最も妥当です。

『宇宙人』は完成度の高い良作らしい