サーバー選びも大事だけど、スクリプトはどれ使ってるの？
imgboard.cgi使ってるところ多いけど、負荷高すぎ・・。
html表示とサムネイル表示は負荷軽減必須だろう。
これとかお薦め。http://updir.net/sample/index/file/