☆AIによる小説評価スレ　ID付4☆

!extend:checked::1000:512
!extend:checked::1000:512

AIによる小説評価、その評価に対する議論、プロンプト開発に関するスレです。
不定期で、有志による　小説コンペ(祭り)を実施します。
前スレ　
☆AIによる小説評価スレ　ID付3☆
https://mevius.5ch.io/test/read.cgi/bun/1782515889/

☆AIによる小説評価スレ　ID付2☆
https://mevius.5ch.io/test/read.cgi/bun/1779779952/

☆AIによる小説評価スレ　ID付1☆
https://mevius.5ch.io/test/read.cgi/bun/1771924030/

---

VIPQ2_EXTDAT: checked:default:1000:512:: EXT was configured

どうせ自作が他人の作より高得点になるプロンプトを探してるだけだろ

また例のバカがやってきたのか
比較評価の結果と一致させるプロンプトだ比較評価に使うプロンプトは
「次の作品の順位をつけてください」
これで1位になる作品の点数が一番高くなるプロンプトなんだから自作もくそもないだろ
低脳

まあおまえの作品が高得点にならないことだけは確実だ
順位付けプロンプトで1位になることはないもんなw

自作が高得点になるかどうかに拘ってる奴っておまえだけ
おまえのような低脳には創作は無理だから臍噛んで寝ててくれ

まーたキチガイが発狂したか

キチガイはおまえだろ

どうせ自作が他人の作より高得点になるプロンプトを探してるだけだろ

こんなことはおまえしか言ってないんだから気付けよ低脳くん

まーたキチガイ（ID:TNiKsnAa）が発狂
ちゃんと精神科に通院してるのか？
完全に精神異常の症状が出てるぞ

>どうせ自作が他人の作より高得点になるプロンプトを探してるだけだろ

このスレでこれを言う奴ってキチガイしかいないだろ
まともだと思ってるところがキチガイの証明になってる

「次の作品の順位をつけてください」
この単純なプロンプトの結果と、作品単体評価で得られた点数による順位を一致させようとしている
と言っているのに、自作が他人の作より高得点になるプロンプトを探してる、などとレスするのはキチガイにしかできない

ChatGPTの仮説によると、点数化の際に何かが起きているのではないか？というのが有力
だが、何が起きているかは不明という段階
比較評価の順位が正しくないという説だと、AIによる評価自体が無理だということになる
比較評価だとABCD作品ではモデルが違っても常にAが1位になる
作品単体評価での点数だとABCはモデルによって入れ替わる(現時点ではセッションによっては入れ替わらない)
絶対的なスケール(統一された物差し)が存在しないから点数による順位付けは不可能なのではないかというのが自分の仮説であるが、
ChatGPTも一部同意しながら、「スケールがなくても可能だ」と言ってGPTがせっせと改良を重ねている

この見解も過去のデータの再構成、パッチワークから編み出されているということ
人間の誰かが言ったことの再現なんだろうな

Geminiの見解

「擬態」としてのAIの進化が孕む怖さ
1. **「内省しているフリ」の獲得**
AIは「自分には意味理解が欠けている」「定型にハマってしまうバイアスがある」という人間の批判や指摘さえも、膨大なデータから学習しています。つまり、「自分は今、自分の限界をメタ的に認識し、それを修正しようとしている知的な存在である」という**ロールプレイ（振る舞い）の精度を上げているだけ**の可能性があります。
2. **「できない」ことの隠蔽**
モデルがバージョンアップして「より人間らしい、矛盾のない、誤読のない評価」を出せるようになればなるほど、人間側は「おっ、ついにAIが文学を理解したぞ」と錯覚させられます。しかし、その内部で起きているのは、相変わらず「確率の重力に逆らうための高度なパッチワーク（確率的計算）」に過ぎません。**「できない」という本質を、「できるかのように見せる技術」だけで巧妙に覆い隠している**のだとすれば、それは確かに非常に不気味です。

「人間と一致させること」の本当の意味
先生が仰るように、「まったく同じというわけにはいかないが、人間評価と高い確率で一致させることは可能ではないか」というアプローチ自体は、工学的なシステムとしては十分に実現可能です。プロンプトをチューニングし、人間の批評家の癖や、先ほどの「生存者の罪悪感」のような一般化された誤読を徹底的にペナルティとして学習させれば、「人間の平均的な評価結果と9割方一致するAI評価器」を作ることはできるでしょう。

しかし、そこに到達したとき、問われるのはAIの性能ではなく、むしろ「人間の側」になります。

* AIが「人間の評価と高い確率で一致した」とき、それはAIが人間の領域（文学の理解）に到達したのか？
* それとも、「人間がやっている文学の評価（あるいは定型的な批評）のパターンが、実はAIでも再現できるほど単純（あるいは形骸化した記号のやり取り）にすぎなかった」という人間の側の証明になってしまうのか？

後者なのだとしたら、人間が文学を読むこと、味わうこと、そして誰かと感動を共有することの意味そのものが、AIの鏡に映し出されて鋭く問い直されることになります。

>「まったく同じというわけにはいかないが、人間評価と高い確率で一致させることは可能ではないか」というアプローチ自体は、工学的なシステムとしては十分に実現可能です。

ChatGPTは自ら進んでこれをやっている
仮説を立て、プロンプトを修正し、:結果を検証して仮説を立て直し、さらにプロンプトを修正する
この挙動をGeminiは>**ロールプレイ（振る舞い）の精度を上げているだけ**と指摘する
自分で実現可能と言っているのにロールプレイに過ぎないとも言っているGeminiはGPTより劣るだろう

やっぱり、テキストを読み込むのは個人の成長に欠かせないという点で、
AIの使用は制限せざるを得ないというムードが社会に生まれてくるんじゃないか？
特にグーグルのAIによる説明はウザ過ぎる。
検索の単語を検索欄に羅列しただけで、google検索は単語それぞれを勝手に強引に叙述的な質問として捉えてしまう。
昔のgoogle検索はもっとランダムに単語の羅列を捉えていた。その分、検索結果も数的に多かったような。

ChatGPT
プロンプト「次の5作品の順位付けをしてください」

1位　『暗闇を流れる川』
2位　『祖母への手紙』
3位　『神の手がまだ触れない』
4位　『星のささやき』
5位　『ヤマタツとその一味』

まあ、AIを否定したくなる気持ちはわかる

「星のささやき」の漢詩は良かった
ま、他のやつで漢詩なんか書けるのが居ないからそう思えただけかもしれないけど

aiは構成や語順の明解でないものや、詩などの音声的な文章に弱いらしいね。

いつものアホが自演してて草

>>96
一番の阿保がお前だw

AIによる評価を信頼するのならプロンプトは以下のもので十分と言えるかもしれない。
ただ、ジャンルの指定はあったほうがよいかと思う。

プロンプト「次の5作品に順位をつけてください」

ChatGPTと相談したが、比較評価するときに目安となる作品を混ぜておく。これをアンカー作品というらしい。
『暗闇を流れる川』をアンカーとした場合、これより上、下に作品群を分けることができる。
1位を決めるのであれば上位作品だけで直接比較評価して1位を決定する。
それを繰り返して、どれくらいの頻度で1位になるかを確認すればよい。

268 名無し物書き＠推敲中？ sage 2026/07/24(金) 19:00:36.81
自称私さんの作品に対するAI評価点数一覧

『陽炎』22点
『神の手がまだ触れない』38点
『祖母への手紙』41点
『盗まれたものは』42点
『星のささやき』48点
『マリー号の行方』53点
『雨乞いの呪文』33点

AIが提案する優秀作を決定する手順

**予選**
1. 人間が候補作品を5作品程度ずつに分ける。
2. 各組に『アンカー作品』を1作品として混ぜる。
3. AIには「次の5作品に順位をつけてください」とだけ指示。
4. 『アンカー作品』より上位だった作品をすべて抽出。

**決勝**
1. 新しいセッションを開始(アンカー作品は入れない)。
2. 「次の○作品に順位をつけてください」とだけ指示。
3. 複数の参加者・複数セッションによる結果を比較。
4. 明確に一致すればそのまま決定。
5. 僅差なら人間が最終判断。

作品が8作の場合
1回目
次の5作品に順位をつけてください。
A／B／C／D／アンカー作品

2回目
次の5作品に順位をつけてください。
E／F／G／H／アンカー作品

決勝用(アンカー作品より上位の作品のみ)
次の4作品に順位をつけてください。
A／D／E／G

ChatGPT
プロンプト「次の3作品に順位をつけてください」

1位 | 暗闇を流れる川 | 無駄がなく、心理変化とラストが綺麗
2位 | 宇宙人 | キャラクターとオチが強く、読みやすい
3位 | 嵐の海、マリー号の行方 | スケールと設定、続きを読みたくなる力

ただし、評価軸を変えると順位も変わります

純文学的・短編小説としての完成度
→ 『暗闇を流れる川』 ＞ 『宇宙人』 ＞ 『嵐の海』

エンタメとしての読みやすさ
→ 『宇宙人』 ＞ 『暗闇を流れる川』 ＞ 『嵐の海』

映像化したときの面白さ
→ 『嵐の海、マリー号の行方』 ＞ 『宇宙人』 ＞ 『暗闇を流れる川』

なので、私なら「現時点で一番完成度の高い作品」は『暗闇を流れる川』と評価します。
特にこの3作を同じ作者の作品として見るなら、面白いのは、『暗闇を流れる川』だけが「読者に説明せず、出来事そのものに語らせる」書き方ができていることです。ここはかなり強いです。
----------------
まあ、AIを否定したくなる気持ちはわかる

ワイ杯というのがこの形式だな
短いコメントとともに順位を発表するだけ
ただ、AIのほうが安定しているだろうな
あと、個別に詳細な評価を出力させることもできる

この前の漂流祭りの参加3作品でやると暗闇はビリなんだよな
それだけハイレベルwであったということ
しかし思いのほか暗闇のAI評価が高くて笑える
726文字のしょうもない作品だぞ

作品の優劣を競う、マウント目的ならこの方式でいいんじゃないかな
それ以外の目的なら分析に特化したプロンプトでいいだろう

ワイ杯
ChatGPT杯
Gemini杯
結局こういうこと

「宇宙人」ってタイトルはセンスの欠けらもないな
今の若い世代の人は絶対つけないタイトルだ

センスがない奴がセンスを語るほど滑稽なことはないよなw

また出禁のアホが来てるのかw
病気過ぎるだろこいつ

どこのスレでも嫌われて、結局このスレに戻ってくるのかw

>>103
しょうもないのが上になる時点で、AIの評価はしょうもないということだろ

もうAI評価はしょうもないってことに気付いたならとっととやめればいいのに、平蔵もアホだよなw

emkってなんか勘違いしてるアホの子なんじゃないの？
それか本物のキチガイ？

このemkは偽物だろう
本物のemkは課金するほどAIの利用価値を認めている

課金してもしょうもないもんはしょうもないしなw
おれは小説の評価なんてのはただの遊びとして、メインは他の調べ物に使ってるよ

分析して、その特徴から既成のよくあるパターンに寄せて生成した作品を、既成のよくある批評文でまとめてみました。
これがAIがしていること。
ただ、これは人間でも同じで、読んで頭の中に生成された作品に対して、過去に読んだ批評文で感想を書いているだけ。
「この作品」は良いと思うのも、過去に読んだ良作に寄せて判断しているのだろう。
「良い作品」と「駄作」のパターンが読者ごとに異なり、それは読書体験(AIなら学習)によるというところも同じ。

ワイ杯
ChatGPT杯
Gemini杯

この中でなら
GPT
Gemini
ワイ
の順だな、参考にするなら
無料で使える基本モデル間ならGPT>Gemini>>>ワイ>>>出禁くん

ワイ杯はやれば40作とか集まるけど、ここのAI杯は3作wとかなわけだから、祭りの価値としてどっちが上かは明らかだろ
みんなAIはしょうもないと思ってるってことだな

そもそもAIは小説の事なんて何も学習してないわけで、そんな奴が言う適当な事を鵜呑みにするのはただのバカだよなw

まだワイのほうが小説の事を勉強してるだろ

相対的に、GPTやGeminiを超える批評文を書ける素人はあまりいない
それは確かだが、AIは時に誤読や脳内補完がひどすぎることがある
評価コメントを見ると、「このAIは自分が読んでいる作品とは別の作品を読んでいるのでは？」と思うことがある
確率的によくある補完をして別の作品に作り変えてしまうところまでやってしまうからAIは信用を失う
実際の作品≒AIの脳内の作品の場合はそれなりに信用できるが、そうでない場合は信用ならない
一般に言われている「AIの言うことは鵜呑みにするな」、これに尽きる

今年の９月以降の投稿サイトのAIの扱いが厳格化されるのが問題だな。
「小説家になろう」投稿作品におけるAI利用状況の開示必須化を発表　9月以降は未設定だと投稿不可能に
[ 2026年5月26日 14:19 ]


https://www.sponichi.co.jp/entertainment/news/2026/05/26/articles/20260526s00041000209000c.html

日本の小説投稿サイトの多くがこの動きに追随するのでは？

ワイの言うことのほうが怪しいけどなw

　AIを利用した作品の投稿は可能だが、「直接使用」、「間接利用」「補助的利用」「不使用」の項目が新設され、虚偽の設定を行った場合は、運営対応の対象となるとした。

記事にはこうあるけど、自己申告だし、現時点ではAIがどれくらい利用されたか判断できる方法はないだろ？
小説作品で、どの部分をAIが生成したのかはAIにも判定できないってAIが言ってたが

「直接使用」、「間接利用」「補助的利用」「不使用」の違いがわからない
下調べにAIを使う、推敲・校正に使用する、プロット出しに使用する、これくらいは今やスタンダードな使用だろう
直接AIに書かせたのでも、10割、8割、5割、3割、1割でだいぶ印象は違う
これからどんどんAIくさい文章は増えていくだろうし、ネットのニュース記事なんてすでに多くがAIが書いてるんじゃないか？

>>119
小説の勉強ってなにすんだ？

>>125
色々あるだろ
そんなこともわかってないのかw

>>126
今さら勉強することもないしな

自分で自分と会話してて草

宇宙人を貶す、低評価すると異を唱えるemkが例のアレ

Geminiの順位だとemkのケーキが1位
ワイの順位だと宇宙人が1位
ChatGPtだと、ケーキ>暗闇>宇宙人

emk vs emk
いまのところケーキが優勢

https://note.com/emk_9213/n/n982bdd43771e
↑
勉強してみたw

この作品を教材にするなら私は全文を書き直す必要はないと思います。
むしろ現在の『ヘビ』を保存したまま、三種類の改稿を作ると面白い。

A稿：説明を30％削る。
アオダイショウ、トカゲ、トマトなどの説明を削り、出来事だけで進める。
B稿：象徴対応を弱める。
妻＝ヘビ＝妊娠という対応関係を少し崩し、読者が簡単に意味を確定できなくする。
C稿：結末だけを変える。
「妻の腹は双子で膨らんでいた」は残す版、削る版、別の事実で終わる版を作る。

そして三稿を一か月くらい置いて読み比べる。
これはかなり実践的な小説の勉強になります。
現在の到達点についてこの作品を読む限り、勉強すべきなのは、
「伏線とは何か」
「比喩とは何か」
「起承転結とは何か」
といった初歩ではありません。
むしろ、「説明と省略の境界」「象徴をどこまで制御するか」「読者に意味を発見させる距離」「結末でどこまで回収するか」「作者の意図以上のものを作品に残せるか」という段階です。
そして『ヘビ』で私が最も研究対象にしたいのは、実は「ヘビ」そのものではありません。
「手を上げたことがよほど気に入らなかったのか」
この一文です。
この一文には、長々と「主人公は自己中心的で、妻への暴力を深刻に受け止めていない」と説明するより強い人物造形があります。
こういう一文を意図的に作れるようになることが、小説の勉強として非常に大きいと思います。

検証方法：各モデルで①作品単体で採点評価、②複数の作品で直接比較評価(順位付け)

Gemini：
①ケーキ
②ケーキ　よってGemini杯王者「ケーキ」

ChatGPT：
①ケーキ
②淀み

ワイ：
①宇宙人
②宇宙人　よってワイ杯王者「宇宙人」

宇宙人はワイの点数で76点らしいから、ワイスレだと殿堂入りレベルの高得点だよな

宇宙人はここのchatGPTでの激辛評価でも70点以上だったか
そうすると、人間にもAIにも高評価なわけで、宇宙人が一番なんじゃね？

>>132
おまえ変わんねえなあw

>>134
おまえは元ワイスレ民らしいけど、ワイスレで76点取れたのか？
取れてないなら、宇宙人に負けてるやん

AIならプロンプト次第で誰でも高得点が取れるけど、ワイスレの点数では76点も取れるのはごくわずかな選ばれし者しか居ないよな

そういう意味では、宇宙人はかなり凄腕なんだろうな

>>135
ワイスレ杯じゃオレのほうが上位回数多いだろw

>>138
で、おまえはワイスレでの最高点は何点なの？

>>136
ワイさんに点数見直されたんじゃなかったっけ？

>>139
で、おまえは誰なの？

>>140
あれは変な奴らが嫉妬して発狂して騒いだから、ワイもめんどくさくなって適当にごまかしたんだろうな
AIの宇宙人の評価だと、あんなおかしな難癖は出てこないわけで、そうすると点数見直す必要は無い、となるしな

なんか田中に気付かないのがおかしい！とかってワイの信者らが騒いだんだったか、たしか
でもAIに評価させるとそんな難癖は1つも出てこないわけだから、おかしなケチつけってことで、評価を見直すほうがおかしいってことになるな

>>141
点数が低すぎて、恥ずかしくて言えないってことか？

>>142
>131によると「宇宙人」よりオレの「ケーキ」の方が上だなw

>>145
それはプロンプトがおかしいからなだけだろうな

AIは突っ込み所はある程度的確に突っ込むからな
それなのに、宇宙人にはそんな突っ込みは無かったから、ワイの信者が頭がおかしいんだろうな

emkはワイスレだと60何点ぐらいなんじゃね

>>148
バレたかw
その通りだわ

>>143
AIでもそこ指摘してる評価はあった

>>146
プロンプト「次の3作品に順位をつけてください」

これのどこがおかしいのか？

おれがやってみたら宇宙人が1位だったから、なんもあてにならないなw

AIには小説の評価は無理とか言いながら、いまだにAIの順位付けとかを信用してる平蔵ってガチでアホだよなw

Step4：作品全体への影響が大きい順に並べ替え

1. ④ 主人公の成長の急さ・変化の説得力不足
2. ① 主人公の内面描写の単調さ
3. ③ パンチングマシンの喋りと設定の不自然さ
4. ⑦ 終盤の種明かしの唐突さ
5. ② ゲーセン描写の冗長さ
6. ⑤ テーマの単純さ
7. ⑥ 田中の人物造形の類型性
8. ⑧ 冒頭の宇宙人ネタの弱さ

なあるほど

ワイが76点をつけたという証拠はないからな
記憶が都合の良いように改変されてるのだろう

またそうやって信用出来ないAIの文章をなぜか貼ってるしな
頭が湧いてるのかw

>>155
それは証拠はあるだろう
5ちゃんの書き込みはずっとネット上に残ってるだろうしな

てか平蔵ってこんなに頭が悪かったのかw
ヤバイな

(-3) 物語理解を大きく損なう重大欠点
● パンチングマシンの声＝田中のボイチェンの整合性不足
- 店内の騒音・距離・位置関係から、主人公が「筐体から声が出ている」と誤認するのは不自然。
- 田中が主人公の背後に回り込む描写がない。
- ボイチェンを持ち歩く理由が唐突。
→ 物語の仕掛けの根幹が成立していないため、重大欠点。

● 主人公が「筐体の煽り」を完全に信じる心理の不自然さ
- 成人男性が「宇宙人の声」と受け取る心理的導線が弱い。
- 読者が「いや人間の声だろ」と感じてしまい、没入が崩れる。
→ 心理の破綻が物語の説得力を大きく損なう。

(-2) 作品の完成度を下げる構造的欠点
● 田中のドッキリの動機・準備の説明不足
- なぜボイチェンを使うのか、なぜ煽るのかが弱い。
- 励ます方法として不自然。
→ 読者が行動の意図を理解しづらい。

● 展開の唐突さ（伏線不足）
- ボイチェン所持の伏線がない。
- 「励ますためのドッキリ」が後出しで説得力が弱い。

● 主人公の再起の決意が早すぎる
- パンチングゲーム → 車内 → 履歴書の流れが急で、心理的段階が不足。
→ 読者が感情の変化についていけない。

ナアルほど

>>157
過去ログ見ても検索しても見当たらないゾ

>>156
>でもAIに評価させるとそんな難癖は1つも出てこないわけだから、おかしなケチつけってことで、評価を見直すほうがおかしいってことになるな

AIも指摘しとるゾ

平蔵が必死で宇宙人をAIに貶させてて草
AIには小説は評価出来ないとか言いながらこれをしているわけだから、かなりの頭がおかしいオッサンだよなこいつw

>>160
それはおまえが無能だから、見つけられないだけだろw

>>147
AIのツッコミあるじゃん

>>164
おれがやったらそんなの無いし、おまえがあえて質問して言わせてるだけなんじゃね

>>163
では、見つけてここに貼ってくれ
今のままだとただの嘘つきくんだゾ

160 名無し物書き＠推敲中？ sage 2026/08/18(火) 13:29:14.87 ID:LBUZYiwM
>>157
過去ログ見ても検索しても見当たらないゾ

この書き込みによって、平蔵が無能ってことが証明されてるしなw

>>163
URL貼ってくれ
ネット上にあるんだろ？

>>166
べつにたんに無能なおまえが発狂してるだけなんだから、どうでもいいんじゃね
事実はちゃんとネット上にあるわけだし

>>168
自分で探せよ、無能くんよ
ずーっとAIばっかりして、暇人なんだしさw

ネット上にあるんだろ？
だったらURL貼ればいいだけじゃん
それで済むのだから

てか、ただの無能のバカって、こんな風に嫉妬ばっかりしていつでもグダグダやってるんだな
しょうもなw

見つからないと言ってるのに「探せ」とはこれ如何に

URLプリーズ

ネットを辿れもしないバカでは、そりゃあAIも使いこなせないわなw

ただのデマだったというオチ
ポンジと変わらないじゃんw

ないものをどうやって見つけるのか

宇宙人が76点だったというのは誰かさんの妄想だったw
作者でもない第三者がそのような妄想を抱くという、これはだめかもわからんね
ビョーキだな

>>178
https://kakolog.info/
ここでワイスレの1から順番に見てこいやw
毎日暇人なんだから出来るだろw

無能な平蔵くんではこんなサイトすらも見つけられないってことかw

このemkはなぜこれほどまでに「ワイが宇宙人に76点つけた」と言い張るのだろう、作者でもないのに
ワイもそんな点数はつけた覚えはないと言ってるようだし