Excel で処理できない長大なデータを扱うのに便利なソフトウェアは?

アクセスは高機能すぎまして……。勉強するのが面倒くさいです。今回のはてなの意図は、エクセルより高機能な表計算ソフトがほしいという話ではなくて、エクセルで処理するための前工程に適したソフトウェアがほしい、ということなのです。ソートした上位分だけエクセルに読み込むとか、10分の1、100分の1だけサンプリングしてエクセルに読み込むとか。

一時期、Perl の教科書と首っ引きでいろいろやっていた時期もあったのですが、ぜんぜん頭に入らなくて、使わなくなったとたんに全部忘れました。今また、あの不毛な勉強を繰り返す気になれないのです。

現状

Node 1,1.82560E+07

Node 2,5.38378E+06

Node 3,2.08631E+07

Node 4,5.50201E+06

Node 5,1.87050E+07

Node 6,5.74940E+06

Node 7,1.74420E+07

Node 8,5.87463E+06

Node 9,1.67947E+07

こんなデータが156万行あるのですが、ここでやりたいことは、単にカンマの後ろの数字の上位10個を選びたいだけだったりします。こういったデータ処理がたくさんあるんですよ、今日。今日、ってのがお笑いなんですが。正規表現も、何度使っても頭に入らないのであれなんですけれども、仕方ない、とりあえずsedでなんとかしますかね。常用しているSpeeeeedはエラーを起こすのですが、sedなら大丈夫なのかな。

CS Editor がメモリ不足で落ちました。156万行あってもファイルサイズは高々40MB程度。2GBのメモリをつんでいるのに、なぜ落ちるのかな。ズバリ自動化も検討してみます。

オーバースペックでは?

いやー、私も間引くだけなら Speeeeed でやっちゃうところなんですけれども、156万行というのが大きすぎるらしくて、エラー落ち。CSV エディターの類もファイル読み込みでアウト。

で、結局、今日は AWK の教本と首っ引きで非効率なスクリプトを書いて処理しました。というわけで目先の課題はもう解決しているのですが、何かいい回答がついていないかなー、と期待中。

オーベースペックではないかと。awk で簡単に（入門書に掲載されている初歩的なサンプルをつなぎ合わせるだけ……まあ、それがなかなか、苦手な人＝私にはつらいのですが）できることをしたいと思っているに過ぎないので。