IndexedDBのスループットが全く出ないんだが、誰か高速実装サンプルコードを知らないか?
URLくれると有り難い。
こちらの実装では、スクレイプ結果の9000ファイルを書き込むのに15-20分かかっている。
全体の容量は、IndexedDB格納済みで20MB程度、tarファイルだと30MB弱といったところ。
キャッシュ済みの状態なら再スクレイプには2-3分しかかからない。
これを<a download=xxx>でtarファイルにするのには数秒しかかからないが、(最後のダウンロードに数秒)
IndexedDBに全て書き込むには15-20分かかる。
この場合はスクレイプと同時に内部的にtarファイルを作成しており、
大半は再スクレイプの時間なので比較としては不適だが、5-10倍程度遅い。(A)
なおtarファイルの展開には2-3分かかるので、これとの比較でも5-10倍程度遅い。(B)
現状、ファイルに落とす場合はスクレイプの方が明らかに遅いので全く問題ないのだが、
IDBに格納する場合はスクレイプよりも遅いのでそこで詰まる。
といっても2倍も遅くはなく、またスクレイプ側は通常は90%以上idle状態なので
現実的には問題は発生しないはずだが、それにしても遅すぎる。
トランザクション等の機能は所詮CPU時間なので、何をやってもここまで遅くはならない。
(chromeの実装が酷くても、また俺の実装が酷くても)
上記ファイル時間(B)でも5-10倍遅いのは何かおかしい。
とはいえ使い方が悪い可能性も多々ある訳なのだが、
とりあえず高速実装サンプルコードがあれば比較出来るので助かります。
実装/実験の詳細は、上記の通り、9000ファイルをIDBに格納、全体で20MB程度、
objectStoreは多めで150個程度、その中に30-150個くらいのファイルがそれぞれ格納される。
トランザクションはオブジェクトストア毎に纏めており、
実際のトランザクションは40-80個程度で、大半は平行可能。(仕様としては)
一つのトランザクション内には20個ずつputを入れている。
(トランザクション単位でのロールバックなので今回は20個くらいが適当かと思っている)
ただしいかんせん書き込んでくれない。
何かヒントあればよろしく。
JavaScript情報交換所(プログラミング既習者専用) [無断転載禁止]©2ch.net
441デフォルトの名無しさん
2016/11/21(月) 01:56:59.51ID:jF13U7nKレスを投稿する
ニュース
- 佐藤二朗 ハラスメント報道にコメント「大変残念。全ての事実が明らかになることを望みます」所属事務所「到底受け入れられない」★66 [Ailuropoda melanoleuca★]
- 【円安】1ドル162円突破の「異常な円安」はなぜ止まらない? 原因が「ホルムズ危機」でも「高圧財政」でも変わらない"唯一の解決策" [ぐれ★]
- 中田敦彦・福田萌夫妻、5年間暮らしたシンガポールから日本へ帰国を告白。家族で選んだ大きな決断★2 [ちょこ★]
- 橋本愛、佐藤二朗とのトラブル…横浜流星や吉沢亮との「密着シーン」となにが違ったのか ★3 [ネギうどん★]
- 【W杯】カボベルデ 英雄40歳GKボジニャ、インスタのフォロワー数が2500万人に到達!大会前の5万人から500倍に! [阿弥陀ヶ峰★]
- 【サッカー】森保監督になぜ“続投報道”が相次ぐのか? 「赤字31億円」のJFAが抱えた後任選考 “2つの難航要素” [ネギうどん★]
- 【STARDOM】スターダムワールド Part.125
- 2026 EWC 鈴鹿8時間耐久ロードレース Lap2
- 2026 EWC 鈴鹿8時間耐久ロードレース Lap3
- 【MLB】ドジャース vs パドレス ★8
- 【地上波/DAZNほか】 FIFAワールドカップ2026 総合スレ★319【メキシコ/カナダ/アメリカ】
- 【D専】
- ジャップ、調理台で店員が寝てるラーメン屋がありかなしかで大激論…🫪 [667744927]
- 🏡だっせぇ靴🐷👞ときったねぇ指🫪👆🏽
- ナルトダンスってキモいやつがTikTokに汚染されてたからブロックしまくってようやく落ち着いてきた
- 【悲報】高市早苗の公設秘書、底辺ネトウヨみたいなことを言い出すwwwwwwwwっw [834922174]
- 【高市】アニメや漫画で学んだ知識「モーターは液体窒素で冷やすと回転数が上がる」「靴下を裏返しに履けば敵にやられずに済む」 [784319933]
- 千晴「ボゲ」←これ