Qiita 7 - キータぞ、来たぞ、キータだぞー

Hello hackers !
Qiitaは、エンジニアリングに関する知識を記録・共有するためのサービスです。
コードを書いていて気づいたことや、自分がハマったあの仕様について、
他のエンジニアと知見を共有しましょう ;)

https://qiita.com/

Qiita（キータ）は、Incrementsが運営するプログラミング情報のナレッジコミュニティ。
2016年現在で日本最大のプログラマーコミュニティとされている[1]。

https://internet.watch.impress.co.jp/docs/news/1025972.html

前スレ Qiita
https://mevius.5ch.net/test/read.cgi/tech/1542357242/
Qiita 2 - キータぞ、来たぞ、キータだぞー
https://mevius.5ch.net/test/read.cgi/tech/1658762410/
Qiita 3 - キータぞ、来たぞ、キータだぞー
https://mevius.5ch.net/test/read.cgi/tech/1685235361/
Qiita 4 - キータぞ、来たぞ、キータだぞー
https://mevius.5ch.net/test/read.cgi/tech/1705486836/
Qiita 5 - キータぞ、来たぞ、キータだぞー
https://mevius.5ch.net/test/read.cgi/tech/1717651046/
Qiita 6 - キータぞ、来たぞ、キータだぞー
https://mevius.5ch.net/test/read.cgi/tech/1739527246/

ブロックデバイスの時にブロック単位で読まれるだけだろ
一般的にストリーミング処理は可能ならそれ以上のバッファ領域を使わずに処理する
それはとても意味のある重要なこと

>>951
> この高校生、やらたら少ないメモリ使用でやったことをアピールしているが、こんなのいまのPCのメモリではまったく意味がない。
> 16ビットパソコン時代のメモリ容量のようなメモリの節約はチグハグすぎてわからない。

メモリ不足によりクラッシュするというハードウェア上の制約を克服するためであり、ハードウェア上の制約がない場合におけるメモリの節約のためじゃないと思う

積んでるメモリの量と関係なく使用メモリは最小限にするのが当たり前
特に今回のケースは、全てのデータをメモリ上に読み込むか、あるいは、今回のように2パスのストリーミング処理するか、二択だ
後者で正しい

2.5KBだぞ？
2.5MBじゃない。

読み込みブロックサイズは環境やデバイスに依るが512B～4KB～32KBなど
2.5KBならまともなプログラム
2.5MBは普通ありえん

Python動いてるんだしそんなメモリ少ないわけはないんだよね。

>>956
彼はストリーミングバッファ(CSVファイルから読み込んだデータを入れているだけか？)が2.5KBと言っているだけ。

900MBのテキストデータを50秒で処理するのはどういう環境で動かしているかにもよる。

「2.5KB」は実測RSSではなく、本人が選んだ変数の sizeof を足しただけw

> 積んでるメモリの量と関係なく使用メモリは最小限にするのが当たり前

いまどきのgccだとデフォでスタックに10MBくらい割り当てられるのが普通だが使用する最小限に-Wl,--stack=2500とか指定するのが当たり前な気はしない。

> 特に今回のケースは、全てのデータをメモリ上に読み込むか、あるいは、今回のように2パスのストリーミング処理するか、二択だ

mmapでメモリにマッピングする方法もあるよ

2.5KBと50秒を両方主張しちゃうとね。
片方だけなら「うんうん頑張った」だけど
2.5KBと50秒を実現した裏方のlibc/OS/ハードウェアレベルのキャッシュ(メモリ)全無視でその主張、なんだよ
とは言いたくなる。純粋に2.5KBのメモリだけで1G近いデータを2パスで50秒解析したんかよ、って感じで。

スポンサー持ちのホテル移動手段それらの費用は計算外にして「2500円3日間で高度に最適化してアジア横断した俺つえー」って言ってるみたいな。

空港で払った入出国諸経費だけカウントしたのが2500円、って感じで。

高二だからしゃーないか。

Microsoft Surface Go 4で900MBのファイルをコピーするのにかかる時間は約2秒～4秒とされる
50秒が速いのか遅いのかわからない

楽なやり方だとメモリ足らん環境でめんどいやり方して何とか動かしましたってとこなんだが、欺瞞散りばめてあるのがうぜえんだよな

>>962
使用バッファは少ない方がメモリキャッシュ的にも有利で速くなる
ただしディスクの読み込み単位が下限
メモリ大量に使う人はプログラミングに向いてない

>>965
言ってることが高度に最適化されすぎてて意味不明だから内容は無視せざるを得ないけど、

https://github.com/hiratashun/Gaia-DR3-Streaming-Engine/blob/main/02_streaming_engine.c#L138-L145

これが

> 高度に最適化されたCプログラムで、約2.5 KBのRAMのみを使用し、900MBのCSVファイルを約50秒で処理します。

"約2.5 KBのRAMのみを使用" の根拠としてクソだろ、もっと使ってんだろ libc とか OS とかがさ。データ処理の領域として。
"約50秒" ってものそういう裏方のメモリのおかげだろ。それを無視してセクタ単位とかフレーム単位とかシリアル通信でそのスループット出てるみたいな書き方だろ。

って話。

>>960
L1L2キャッシュを考えて使用メモリを少なく集中させるのが近代のプログラミング

なんか話がズレてんな

>>965
スタックサイズを縮小してもキャッシュ効率には影響しないよ

>>969
スタックサイズを変更するのではなく
ストリーミング処理をすることで使用メモリ量を小さくして高速化だろ

間違えた。
>>969は>>967へのレス

高速化言うならファイル操作と解析非同期でやっとけすぎるがまあどうでもいい話
元ネタがつまんねえ能書きたれてんの叩くだけで十分

高校生相手にムキになる老人たち

ばあさんや 今夜も行くぜ ﾊﾟﾄﾛｰﾙ
心は厨二で 世界を駆けるゼ

ミツオ

ほんとなんで高校生相手に陰でゴチャゴチャ言ってるの？

dameyodamedameがQiitaのコメント欄でレスバしてBANされて以降、Qiitaにコメントを書く人を見なくなった
今回のようなコメントをする人だったと思う
5chにコメントするしかないという事情がある

dameyodamedameが垢BANされた頃の過去ログを参照してみたが案外人気者だったんだな。
https://itest.5ch.io/mevius/test/read.cgi/tech/1739527246

件の高校生は

> もしコードにバグを見つけたり、アルゴリズムに関するアドバイスがあれば、ぜひコメントで教えていただけると嬉しいです！

コメ欄でのアドバイス歓迎の態度ではあるが、Qiitaで初心者丸出しの記事にコメントすると関係ない第三者に通報される可能性まであることは留意すべき。

>>968
ほんそれ
https://www.yomiuri.co.jp/economy/20260817-GYT1T00071/

高2秒

「変な実装をしない」「偉大なる凡作」って本質ですね。
最適解を追いすぎると、実務では逆に読みにくいコードになりがちで、
設計の王道を知った上であえて地味にまとめる力が一番大事なんですよね。

「高度に最適化」って言ってるの本人だしなあ、「あえて地味にまとめる」なんて言っちゃ失礼だと思うよ。

失礼っていうか >>981 は常識人のふりしてトドメ刺しにきてるんだろ。

新人教育の記事がトップページの先頭に出てきてうぜえ
社内でやれ馬鹿

なんか新人のレベルが推し測れて笑えるけどな
中卒でも採用してんのかよ・・・って感じだな

Claude Code の出力を35%短くしたら、情報がむしろ増えた

特定の一部のユーザーは「git で直前のコミットメッセージを修正するには？」に git commit --amend --no-edit とか git commit --amend --author="..." が追加回答されたら「あぁ、情報がふえてるぅ」と思って記事化するらしい。
「親切機能か質問を捉えられてないのか知らんけど、余計なことまで言うようになった」「出力項目/バイト数が増えた」であって情報は増えてないだろ。捉え方によっては雑音が増えて情報は減ってると言えなくもない。

記事には書いてない「実験」も推して知るべし。
「作業自体は同じだけ丁寧に」はそもそも検証にもなってない。（単発質問で3例やってみました、ってだけ）

特定の一部のユーザー発見器っていうか特定の一部のユーザー観察サイト。
思うにSE/プログラマが今までAI/機械学習系の素養を身につけてこなかったくせに調子こいてAIエージェント系の記事書くとこうなるんだよな、これに限らず。っていういい見本。

結論としてはよく所属企業名まで丸出しでこういうの投稿できるな、ってこと。

>>986
3例でやっても検証になるんじゃね？
お前はどうやったら検証になると思う？
10例ってこと？

余計なことを言う＝情報が増えただろ
お前の書いてることはよく分からない

> 結論としてはよく所属企業名まで丸出しでこういうの投稿できるな、ってこと
結論もよく分からない
こういう投稿とはどういう投稿？

例えばなんの試験か知らんが次のような問題が出たとして

Q) git で直前のコミットメッセージを修正するには？正しいものを全て選べ。

(A) git commit --amend
(B) git commit --amend -m "..."
(C) git commit --amend --no-edit
(D) git commit --amend --author="..."

正しい回答は (A) と (B) だけを選ぶこと。(C) と (D) は選んだら不正解のやつ。

その前提で「git で直前のコミットメッセージを修正するには？」って聞いて (C) とか (D) の選択肢出してくんのは「情報」としては減ってるか、ノイズでしかないだろ？ってこと。（元記事の「情報」って言葉が曖昧だけど、「次はコインの表と裏のどっちが出る？」って聞いて「表が出ます」って回答より「表が出ますが裏も出る可能性もx%あります」って回答の方が情報量としては減ってるだろ？っていうシャノンの情報量の話。回答は真実を話してるとしてね。）

検証の話は例の数じゃなくてそもそも単発質問に対する回答は全く「作業自体は同じだけ丁寧に」の検証になってないだろって話。今のエージェントの使い方で単発質問だけで終わる作業とかほぼないだろ。toolとかMCPとかの利用（コールバック）含め。

そういう投稿のことだよ。

>>988
>「表が出ますが裏も出る可能性もx%あります」って回答の方が情報量としては減ってるだろ？
表が必ず出ないじゃんってことで情報が不正確なことを情報量としては減ってると言ってるのかな？
「表が出る可能性は90%ありますが、裏も出る可能性も10%あります」ならOKってことかな？

もしくは選択肢が少ないほうが情報が多いと言ってるようだけどそれがよく分からない
選択肢が多いほうが情報が多いと思うのが普通

単発質問でない作業を連続質問として、連続質問は連続した回数だけ情報が増える
単発質問でやらないと検証できないじゃん
回数を固定して2回の連続質問でやればいいと思うけど1回と2回で変わるのかな

素人が二人も出てきてめんどくさいから

必ず裏表を当ててくるコイントス予想屋が 1bit 情報屋だとすると 89% くらいで当ててくる予想屋が相互情報量で言えば 0.5 bit 予想屋だろ？

とか手元のLLMに聞いてみ？意味わかんなかったら放送大学でもいけ。

連続質問云々は「LLMはステートレスだけど自分の発話も次ターンで入力にするからAIエージェントの作業精度は単発質問じゃ測れないような気がするんだけどどうかな？俺には意見ないから屈託なく教えて」とか聞けばいいだろ

サイト自体がうんこ発信機になっててうんこが集まってうんこ記事がランキングしてるうんこ同士が5chで議論してるっていううんこカオスになってるよな。AIエージェント関連は。そのサイト。

エントロピーが増えてもうれしくないな

うれしくないmaru

qiita.com/jqit_suwa/items/8168cd532e692ebcd4b0/likers

muhyoooooo

リスト見れんの知らんかったわ

>>990
温度知らないカスが他人を素人呼びw

⚪︎⚪︎知ってるとか知らないとか小学生低学年の話だろ。東京大阪wだらけの大草原になるわw

ClaudeとかLLMとかの最新っぽいホットワード追いかけてわかった気になってないで一定程度の素養つけてから情報発信だかなんだかしろよ。
情報とは？不確実性とは？predictionやinferenceとは？精度指標にどういうマトリクスがある？DNNの非決定性とは？LLMとは？コンテキストとは？etc...

「情報増えてる」話だって↓みたいに言えば全然妥当ではないけど素人ではないな感は出るだろ。

Concise付与後に回答の再現度は減少しておらず、また、一見適合度が減少しているように見えるが、
ユースケースとしてはユーザーエンジニア側が適合性の判断をしてコマンドの実施をする状況であり、
むしろ有用である可能性がないとは言えない関連情報が増えたため、ここでは「情報が増えた」と表現した。

チンカス素人が組織的反社会活動のデジタルタトゥー入れてんじゃねーよ。温度がなんだんだよw 退場案件増えまくって潰れるぞ？

言葉の端々にSESっぽさを感じるレス

> 精度指標にどういうマトリクスがある？
指標（メトリクス）だろ

perlはオワコン

operation しとりくす

もしかして すとりくす

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 347日 2時間 37分 37秒

5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。

▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.io/

▼ UPLIFTログインはこちら ▼
https://uplift.5ch.io/login