☆AIによる小説評価スレ　ID付4☆

!extend:checked::1000:512
!extend:checked::1000:512

AIによる小説評価、その評価に対する議論、プロンプト開発に関するスレです。
不定期で、有志による　小説コンペ(祭り)を実施します。
前スレ　
☆AIによる小説評価スレ　ID付3☆
https://mevius.5ch.io/test/read.cgi/bun/1782515889/

☆AIによる小説評価スレ　ID付2☆
https://mevius.5ch.io/test/read.cgi/bun/1779779952/

☆AIによる小説評価スレ　ID付1☆
https://mevius.5ch.io/test/read.cgi/bun/1771924030/

---

VIPQ2_EXTDAT: checked:default:1000:512:: EXT was configured

前スレを見てると、emkってのはかなり性質が悪質な統合失調症だな

ageてるemkとsageてるemkの二人いるからな
同一人物だと思ってみれば糖質に見えるだろうな、というか解離性障害のほうが近いかも

ageたりsageたりなんて誰でもするだろ

確率計算機である現在のLLMでは小説評価は無理だな。
FACTチェックもまだAI単独ではできないらしい。
重大欠点の抽出なんてAIには無理な作業だった。
表層面のチェックだけならなんとか可能っぽいが、それとて初心者レベルの作品か、特定ジャンルの作品のみに限定される。

現在のLLMで何ができて何ができないかを探るスレだな
技法とかの分析なら可能か？
意味まで含めての評価は無理
特に純文学の評価は無理

最近の？
ロシアのquantitative formalism literary criticは平蔵の考えてることに近いぞ。 　
これで検索してみろ。
russian quantitative formalism ai reading

引き続きフォローする。

人工知能というから、意味を理解して思考してるのかと思ったら、ただの確率計算機だったという。

平蔵が失望するには早すぎる。

いや、遅すぎるくらいだ
リアリティ面ではあまり問題のない作品ばかり評価させていたものだから気付けなかった
岩魚の生息域に街灯があるという不自然さにAIが気付かないどころか、どうやっても検出できないところからようやく気付けた
AIは確率的に高い候補を出力しているだけで、それ以上の意味があるわけでもなかった
与えられた入力に対して、それへの返答として確率の高い文字列を返しているだけだった
結果としてたまたま正解と一致していたので、正しく判断しているものと思ってしまった

でも、まるでお門違いな「人間」による評やコメントよりはずっと良いんじゃね？

>意味を理解して思考してるのかと思ったら、ただの確率計算機

つまり文章の見かけしかわからないということだよな
人間でも見た目からはそいつの内面はわからないんだからより深く知るには話し合うほかない
AIと自作について話し合うことは楽しいし予想外の収穫もあったりする
おれは全然AIに失望してない

mojo＝58点
emk＝56点
マリー号＝56点
平蔵＝42点

emkが発狂していて最悪の嫌な奴なのはわかった

emkのバカはAIの使い方がまるでわかってないな

同じ作者の複数の作品群を連作としてAIに読ませれば、読解の精度が上がるという可能性はあるのでは？
Mojoのツアー・コンダクター物、留学生物、家族物、釣り話物などでまとめれば、
AIの情報処理能力の大きさが生きて来る気がするが。

>>16
AIの使い方とやらを教えてくれるか？

asge

emkがいちいちageたりsageたりしてるのがバレたな

おれは経験を題材にすることが多いから、
>>17の属性で分けたり時系列的に古い順から読ませるのも面白いかも。

しかし作品数は30を超えてるから
編集するのがかったるいな。ｗ

掌編や短編の一つの作品を単体で初見で読解するのは、AIでも人間でも誤読のリスクが大きい。
世界的文芸評論家のfranco morettiフランコ・モレッティが同じようなことをdistant readingで言ってる。
ちなみに、今年の１月に「reader bot」という題名の本がスタンフォード大学の出版部から出てる。
AIによる本の読解が社会に与える影響について考察している。
アメリカでも日本と同様に人々の読書機会がAIに奪われ始めている。
フランコ・モレッティもスタンフォードの教授。
セクハラで有名なイケオジだが。

何時か一緒に花見に行きたい。

カクヨムの平蔵のところに欠点抽出及び採点プロンプト(ChatGPTで作成)を載せておいた。
ChatGPTで作った。評価プロンプトの一番下にある。
Step2で可能な限り欠点候補を挙げ、Step5の査読で欠点を確定し、Step7で採点、Step8はオプションでユーザーが反論して再評価させる仕組み。

【Step1】
作品構造の整理
【Step2】
欠点候補の抽出
【Step3】
欠点候補の統合及び重要度の仮分類
【Step4】
欠点候補の重要度順並べ替え
【Step5】
欠点候補の査読
採用不採用の決定
【Step6】
作品価値の講評
【Step7】
総合評価・採点
【Step8】
再検証（オプション）
ユーザーが反論・異論を提示した場合のみ実施

https://note.com/emk_9213/n/na1b12471122c

おれ自身の読み感に近くなるようにChatGPTで評価プロンプトを設計してみた
「AIの『深読み・好意的補完』を抑えるのが重要です。」ということらしい

『漂流（海）』は58〜64点、中心値61点くらいです。文章技術は高いですが、読書体験としてはかなり弱いです。
『漂流（ホームレス）』私は 82〜86点、中心値84点 に置きます。前に出た観念的な『漂流（海）』より、こちらの方が小説として明確に上です。
『淀み』私は 85〜89点、中心値87点 に置きます。直前の『漂流』（ホームレス）と同等か、少し上です。
『レクイエム』は見当たらなかった