珍しく、プログラムの話しです。
あたしは、多コアＰＣのために、大量のスレッドを立ち上げて、処理が完了しだい次のデータを送り、すべてのスレッドが、順当に終わる。
そんなプログラムを作ることが多いです。
まぁ、大量のスレッドと言っても、CPUの最大スレッド数以上には立ち上げませんけれど、
例えばで言うなら？
１００スレッドを超えるようなPCでも、８スレッド程度の個人向けＰＣでも、CPU使用率が100%近くなるようなプログラムを作ることが出来ます。
勿論１００％にすることも可能ですが、色々とOSの方にも影響が出てくるので、99.9％くらいが良いですね。
簡単に言うと、最大スレッド数 －１ とか －２くらいの規模で作れば、100%行きます。
勿論、他のサービスに影響が出てはいけないので、その辺りは、設定で変更出来るようになっています。
サービスは、複数のＰＣから呼ばれ、タスクはどんどんと積み重なっていくので、
ＣＰＵの根本的な速度や、メモリの量、ストレージの量、速度、そう言った物を考慮しながら、作っていくわけですが？
使用するスレッドが６４個有って、２０のタスクを、実行する場合どうしたら良いでしょうか？
全部に均等にスレッドを割り当てる方法、古い方のスレッドを多めに実行する方法。
何も考えず、終わるのを待ってから次を実行する方法。
色々あります。
あたしが今行っているのは、すべてのタスクに均等にスレッドを割り振る方法です。
勿論割り切れなければ、古い方へ優先的に割り振ります。
６４／２０＝３．２ですから、一つのタスクに３つか２つのスレッドになりますね？
マルチスレッドプログラムを組む上で、最低限注意しなければならないのは、スレッドの立ち上がりが以外と遅いことです。
スレッドを起動して、処理が完了したら終了して・・・それを永遠繰り返していると、スレッドの立ち上げと終了というオーバーヘッドは、タスク全体の処理を遅くします。
そこで、スレッドを立ち上げたまま、次のデータを送り込む方法というのもあります。
しかし、それはそれで、結果の保存、計算領域の初期化など、沢山の不要な処理が必要になり、結果的に不具合の温床になります。
ですので、手っ取り早く、１タスクのスレッドの最少数を設定しています。
まぁ、基本的には４か８か、その辺りです。
タスクの各データの、処理単位を小さくしすぎなければ、スレッドの起動と終了よりも、各スレッドの実行時間が長くなれば相対的に、オーバーヘッドが小さくなると言うことですね？
その当たり、タスクの種類によって、作るサービスの種類と言いましょうか？
それらによって、どの方法を選ぶかというのを決めたりします。
でもまぁ、データ毎にスレッドを起動した方が、ＧＣも綺麗で早いと思うので、こっちを多用する傾向です。
スレッド処理をする時に、注意しなければならないのは、実処理をするスレッドと、スレッドにデータを割り振るスレッド、結果を保存したり、整理したりするスレッド。
ＰＣを再起動した時などに、処理の中断や処理の再開をするための機能、色々と必要になります。
また、いつ新しいタスクが追加されるかも分からないので、
通信を常にリスニングしている必要もあります。
Windowsのサーバーには、クラスタリングの機能が元々あるのですが？
クラスタリング機能を有効的に使うには、ＤＣクラスのサーバーと、複数台のサーバーが必要になります。
クラスタリングは、タスクをサーバー間で自動的に割り振ったり、結果を集約して、返してくれたり、いろいろな機能があるのですが？
まぁ、そもそも、サーバーの金額が高いこと、クラスタリングの機能を作るためには、専用のプログラムが必要なこと
そして何より、日本語でのまともな説明が何処にも無いこと（笑）
クラスタリングの機能を使うためだけに高価なサーバーとそのＯＳをそろえるくらいなら、自分で無理して頑張って、同等の機能をプログラムで作り上げた方が早いです。
昨今のＰＣ事情としては、個人向けでもコアが６４個くらいあってもおかしくない状況で、
ThreadRipperなんて２５６スレッドとか有りますしね？
Core Ultraでしたっけ？何でしたっけ？ 新しく発表されたXeonも結構な数ありましたよね？
コアを遊ばせてないで、どんどん使っていきましょうよ？
|
