砂漠にDCを建造するという発想自体は、アリだと思います。土地代がDCのコストに大きく跳ね返る以上、おそらくはタダ同然の砂漠に建造するということは、それだけで価格的に大きなメリットが出るでしょう。寒暖差が激しいという指摘はありましたが、現存する外気冷却のDCだって何らかのコントロールは行っているわけですし、そこはクリアできると思います。既存DCよりもサーバルームの設定温度を上げるという想定のようですし。

逆に問題になりそうなのは、防塵でしょうか。外気冷却をするにしても追加防塵対策は必須になるでしょうし、機器の搬入出時の対策もかなり大変そうです。建物の外側に置かれる設備の防塵対策も十分に考慮する必要があります。出入りする人間についている微細な埃の除去も必要になるでしょう。サーバ機器にとって埃は致命的なので、ここは気を使う必要があるでしょう。

また、水の確保も問題になるでしょう。サーバルームは冷えていればいいというものではなく、一定の湿気も必要です。通常のDCであれば40～60%程度のコントロールされていますが、サハラ砂漠ともなれば30%を超えることはほとんどないようなので、加湿機は必須になるでしょう。加湿するとなると相当量の水を常時確保できる状況を作る必要がありますが、砂漠で果たして確保できるのでしょうか？

あとは人員の確保でしょうか。場所を考えると、運用者を含めてDCに出入りする人員数は最小限に抑えなければなりませんから、不特定多数を相手にコロケーションサービスを提供するDCはあまりに非現実的でしょう。トラブル時に期待と思う客もいないでしょうし…となると、自社のホスティングサービスやクラウドサービスの提供プラットフォームを置くことになるでしょう。

MicrosoftのようにコンテナDCでそのようなプラットフォームを運用した経験を持っていれば、現地のエンジニアが担当する部分を最小化するノウハウを持っていそうです。現地は事前準備のサーバ機器だけを手順に従って入れ替えて、LANに接続して電源をつないだ後はすべて遠隔で構築作業を行うとか。

とは言え、中で生活が完結しない以上、人の出入りは必須になりますから、砂漠とはいっても通勤可能な場所に建設しないといけませんよね。たとえばエジプトのピラミッド周辺のように、砂漠とはいっても車での行き来が可能な地域が建設候補地になるのでしょうか？サハラ砂漠にそのような場所があるのかどうかわかりませんが…

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

今日のメインは空調の話。自分でも水冷と空冷の違いがよくわかっていなかったので、大いに参考になりました。
簡単にまとめておくと、

1. 室内機の中で気体を蒸発させて、気化熱で室内の熱を冷媒の気体に移す。
2. 熱を移された気体をパイプ経由で室外機に送り、室外機で気体を圧縮(コンプレッサーで)。圧縮すると熱が排出される。
3. 熱を輩出した気体を元に戻す。

これが基本的な空冷。

水冷は、室外機に送る前に熱をさらに水に移して、室外機に水を送り、室外機(冷却塔)で水を冷やすのが水冷。水の方が熱を運ぶ媒体として優れているので、室外機の規模が小さくて済むとのこと。そして、空冷の気体を液体に置き換えたのが冷水。冷水は冷凍機(チラー)で冷やすとのことで、チラーが発する熱をさらに冷却塔で冷やすとか。

冷水タイプは大規模DC向けということですが、仕事で一番よく聞くのは冷水タイプのような気がします(それを水冷と言っているような気がしてならない…)。海外はまた違うのかな？

ちなみに、試験は持ち時間1時間でしたが20分ほどで見直しまで終了してしまいました。
全40問の75%(30問)の正解で合格とのことですが、それくらいは取れたでしょう。
もっとも、結果が判明するまで1か月以上かかるようですが(シンガポールで採点するとか)。

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

データセンタのファシリティ全般の基礎知識を得るという意味から考えると非常に役に立つ内容なんですが、設備だけあって電気系の話題が当然出てきます。文学部英文学科出身の私には、電流？電圧？抵抗？高周波？接地？あたりが非常に厳しいです。特に高周波は全然わかりません。

でも、それまでなんとなく聞きかじっていた様々な設備関係の言葉を真面目におさらいできたのは大きな収穫でした。
電気関係も、少しはわかるようになった気がしますし…

今日は10:00 – 18:00までみっちり講義でしたが、明日は認定試験。
合格率は9割以上あるとのことですが、落ちないようにしなくちゃ…

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

私の会社も日本国内にデータセンタを持っており、その関係で上記のようなクラウドサービスを展開する外資企業のRFPを拝見する機会があったのですが、その会社の要求はなかなかにすざましいものでした。

まず、ラック数が半端じゃありません。クラウドサービスなので当たり前と言えば当たり前なんですが、多ければ数百本単位でのオーダーになります。そんなに借りるのならばなんでケージにしないの？と思ったりするのですが、なぜかRFPはラック単位でした。

次に、要求が非常に厳しいです。海外の会社にありがちですが、すべてを契約書に突っ込んでガチガチに固めようとするので、こちら側で通常利用している契約書が利用できるわけもなく、法務部門も巻き込んで相手方の要求に対応するため四苦八苦していました。当然ですが、文書類はすべて英語で要求されますし…

それでも、コスト意識は非常に高いです。ラック本数があるので契約額はそれなりに行くのですが、月数万円から数千円単位の費用でも容赦なく突っ込んできます。チリも積もれば…という言葉はありますが、国内企業からすれば考えられないレベルで突っ込んで議論が大紛糾します。

更に、量にモノを言わせてラック単価を値切ってきます。それはある意味当然の物言いではあるのですが、データセンタ事業者としては非常につらいです。クラウドのプラットフォームとして利用されるということは、通常のコロケーションとは異なりリモートハンドサービスなどの付加価値サービスをほとんど利用しないということを意味します。データセンタ事業者としてある意味稼ぎどころ(海外から来たDCマネージャは”oversubscribe”という表現を使っていましたが)が全く無いとなると、本当に薄利になってしまいます。その顧客を獲得するために費やされた稼働を考えると、実質赤字かも…というレベルです。

もともと、データセンタ事業者にとってコロケーションサービスそのものは高収益が望めません。
土地代や電源代などの固定費は必ず出てゆくし、ラック単価は叩き合いの世界なので、現実的に高い利益を得ることは不可能です。このため、どのデータセンタ事業者も大体リモートハンドや監視などの付加価値サービスで収益を得ようとするわけですが、クラウドのプラットフォームとして利用される場合はこれらのいずれもほとんどありません。となると、苦労してそのようなお客を取りに行く必要があるのか？という議論に当然なります。

個人的には、あらゆるお客様の要望に応えることができるような設備と運用体制を持ったデータセンタでそのようなお客様を受け入れるのはナンセンスで、そのようなお客様用を取りに行くのであれば、そのようなお客様向けのデータセンタを用意する必要があると思っています。求められている要件が明らかに違うのですから、当然ですよね。

一般的に言って、一度データセンタに入居したお客様はそれなりの期間はデータセンタを利用してくれます。ですから、どのようなお客を入れるのかは非常に重要です。利益率の高いお客を待つために開けておくのならば、ほとんど利益がなくとも埋めた方がいい、という考え方もありますが、最悪の場合未来永劫薄利でそのスペースを提供する義務が発生するという意味にもなります。後でいいお客様が見つかっても、データセンタ側からお客様に出て行けとは言えませんからね。

このようなお客様をあえて取りに行くのか、データセンタを利用したソリューションを提供する会社としては、なかなかに難しい問題です…

No related posts.

今回公開された文書の名前は、”Data Center Site Infrastructure Tier Standard: Operational Sustainability“で、その名の通り、データセンタの設備をいかに運用するのかということに主眼を置いています。無償でダウンロードできるので、データセンタ運用に関わる人にとって、今後必見の文書となるでしょう。

ちなみに、旧来の設備基準の正式名称は”Data Center Site Infrastructure Tier Standard: Topology“で、こちらはデータセンタを建築する際の指針を記述しています。混同されがちですが、Tierのリファレンスとしてよく名前が出るTIA-942は、この文書で規定されているTierに必要とされる実装要件を、Telecommunications Industry Association(=TIA)がまとめた文書でしかありません。TIA-942自体がTierを規定する文書と思われがちですが、TIA-942はあくまで解説書でしかなく、大元はUptime Instituteの文書になります。

話を戻すと、Topologyが”素晴らしい”データセンタを建造するための指針であったのに対し、Operational Sustainabilityは、その”素晴らしい”データセンタをいかにして維持管理するのか、ということについて書かれています。私もまだよく見ていませんが、少し見ただけでもなるほど思わせる内容でしたので、データセンタビジネスに携わる人間であれば、一読の価値はあると思います。

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加
2. 風力発電で稼動するデータセンタ

http://www.datacentermap.com/

DCの場所を調べるのはなかなか苦労するので、うまくはまれば非常に参考になりますね。
もちろんすべてのDCが掲載されているわけではありませんが、見ているだけでも結構面白いです。

ちなみに、東京にマップされているのはEquinixとTelehouseだけで、しかも詳細な場所は不明となっていますが…

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

これは、データセンター関係者であれば一見の価値がありますね。
特に、海外を含めたデータセンター関連の客観的なデータが多数掲載されている別紙2が参考になります。

第三者に説得するための材料が必要な場合、総務省公表のデータというのは信頼度という意味では最高のデータと言えるはずです。

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

米国はオレゴン州にあるCanvas Dreamsというデータセンタ事業者は、消費電力をすべて地元の風力発電で賄っているそうです。風力発電というと、日本国内では海岸沿いあたりで小規模にやっているような印象がありますが、データセンタの消費電力を賄うほどの電力を供給できるだけの発電を行っている所が世界にはあるんですね…

オレゴン州はポートランドにある、Portland General Electric (PGE)という電力会社は、Biglow Canyonというところに風力発電基地を持っており、その総発電量は450MWにも及ぶとのことです。更に、合計で100MWもの風力発電の電力を他業者から購入しているとのことで、その力の入れようがわかります。

先日、米国のデータセンタマネージャ的な位置づけにいる方と話す機会がありましたが、その人もグリーンは避けては通れない、というよりは高発熱対応と併せて最重要ファクターであると力説されていました。

ちなみに、その方が見ているデータセンタは10年選手の古いデータセンタで、コスト対効果でできうる限りの対策を採ってみたものの、それでもやはりPUEで1.6程度が限界とのこと。Googleの最新鋭のデータセンタのPUE 1.2という数字は、夢のまた夢という感じだそうです(新造ではないと無理ということ)。

私が知る限りでは、日本国内には利用している電力がクリーンな電力であることを歌っているデータセンタ事業者は存在していないと思いますが、今の世の中の流れからすると、日本でも利用電力の素性が問われるようになる日は遠からず来るのでしょうね…

Related posts:

1. Sociable Pluginを導入 + はてなボタンを追加

今回は、すべてのコメントの中で一二を争う程気合が入ったコメントを紹介します。
実に気合が入ったコメントであるだけでなく、実際にデータセンタの運用に非常に明るい方が書かれたコメントと思われ、示唆に富んでいます。

少々長くなりますが、以下の書き込みです。

- Raised floor is certainly important, and a given. Check
- Cable management above AND below the floor. This is not an either-or… Check
- Cooling capacity is hard to judge, should be scalable. Redundancy is often overlooked but is often even more important that capacity… Check
- Power quality: never seen a big datacenter without a Liebert, or at least UPS in every rack. Power does not have the be contitioned except between the UPS and the machines/devices. A whole data center power conditioner is often more efficient, but unnecessary for the little guys. either way – check.
- Age is irrelevent as long as it’s under support. If it’s not, replace it. Generators need to be run several times a year to validate their condition, and also to grease the innards… See too many good generators get kicked on and fail an hour later because the oil hand’t been changed in 3 years….
- Outages should be tracked, by system, rack row, and power distro. When system seem to be going down more frequently in one area, there’s usually an underlying reason… As Google recently proved as well for us all, do not ASSUME all is well, routine disgnostics including memory scans should be performed on ALL hardware. Even ECC RAM deteriorates with age (rapidly) and needs to be part of a maintenance testing and replacement policy – Check.
- Fire suppression is usually part of your building codes, and a given, as is the routine checks (at least anually) by law.

In addition, we deploy:
- Man traps on all enterences to data centers. You go in one door, it closes, then you authenticate to a second door. A pressure plate ensures only one person goes in/out at a time (and it it’s tripped, a scurity guy looking at a screen has to override).
- Full 24×7 video surveilance of the data centers.
- in/out logs for all equipment. To take a device in/out of a datacenter requires it being logged in a book (by a designated person). This is for anything the size of a disk/tape and larger. All drive bays are audited nightly by security and if drives go missing, security reviews the access logs and server room security footage to see who might have taken them.
- clear and consistent labeling systems for rack, shelves, cables and systems.
- pre-cable just about everything to row level redundant switches, and have no cabling from server to other servers not passed through a rack/row switch first. Row switches connect to distro switches. This ensures cabling is simple, and predictable.
- Colorcoded cabling: we use 1 color for redundant cabling (indicating their should be 2 of these connected to the server at all times, and to seperate cards in the backplane and seperate switches to boot), a seperate color for generic gigabit connections, another color for DS View, another color the out management network(s), another color for heartbeat cables, and yet another for non-ethernet (T1/PRI/etc). Other colors are used in some areas to designate 100m connections, special connectivity, or security enclave barriers, and non-fiber switch-to-switch connections. Every cable is labled at both ends and every 6-8 feet inbetween.
- FULLY REDUNDANT POWER. It’s not enough to have clean poewr, and good UPS and a generator. In a large datacenter (more than a few rows, or anything truly mission critical), you should have 2 seperate power companies, 2 seperate generators, and 2 fully segregated power systems at the datcenter, room, row, and rack levels. in each datacenter we use 2 Liebert mains, each row has a seperate distribution unit connected to a differnt main, and each rack has 4 PDUs (2 to each distro). Every server is connected to 2 seperat PDUs, run all the way back to 2 completely independent power grids. For a deployment of 50 servers or so this is big time overkill. We have over 3500 servers, we need this… We can not rely on a PSU failure taking out racks at a time which may server dozens of other systems each.

すごく長いですが、頑張ってみましょう。

- 二重床は確かに重要であり、すでに指摘されている。要チェック。
- 床上と床下とのケーブル管理。どちらか片方では駄目だ….要チェック。
- 空調能力は判断が難しいが、スケーラブルではあるべきだ。冗長性は見過ごされがちだが、空調用量よりも重要であるといってもいいだろう。要チェック。
- 電源の品質 : Lievertが導入されていない、もしくはラック単位でUPSが導入されていない巨大データセンタを見ることはまずない。UPSと機器の間を除けば、電源が調整されている必要はない。データセンタ全体で調整する方が効率的だけれども、小規模なデータセンタには不要だろう。いずれにせよ、要チェック。
- 利用年数は、よくメンテナンスされている限りは関係ない。メンテナンスされていないのであれば、交換すべきだ。発電機は、そのコンディションを確認するために年に数回は動かす必要があるし、内部にグリースを塗る必要もある…3年もの間オイル交換をしていないがために、起動後たった1時間で止まってしまう発電機のなんと多いことか….
- 停電の履歴は、システム単位 / ラック列単位 / 系統別に記録されているべきだ。特定のエリアで頻繁にシステムがダウンするようであれば、根深い理由があるはずだ…最近、我々のためにGoogleが証明してくれたが、すべてがうまく動作していると思い込んではならない。メモリースキャンを含む定期的な診断がすべてのハードウェアについて必要なのだ。ECC RAMでさえ、時の流れと共に(すぐに)壊れるので、メンテナンスと交換のポリシーに含めておかなければならない。要チェック。
- 消火システムは通常はビル側の問題になるが、そうであるのであれば、定期的なチェック(少なくとも年に一回)が法律に基づいて行われるだろう。

更に、
- データセンターのすべての出入り口にマントラップ。一つ目のドアを入るとそのドアが閉まり、二つ目のドアの認証を行う。感圧プレートにより、確実に一度に一人しか出入りできないようにする(そして異常を検知した場合、画面を監視していたガードマンが駆け付ける)。
- データセンタの24時間365日の監視カメラによる監視。
- すべての機器の搬入出記録。データセンタへの機器の搬入出に際して、(指定の人物が)記録簿に記録を取ることを要求する。このルールは、ディスク/テープ以上の大きさのものすべてに適用される。すべてのドライブベイは毎夜警備員によって確認され、ドライブがなくなっていたら、警備員がアクセスログとサーバルームへの足跡とを確認し、誰がそれを持ち去ったのかを確認する。
- 明瞭かつ持続的なラべリングシステムがラックや書棚、ケーブルやシステムに適用されている。
- 列単位で冗長化されたスイッチへの先行配線が行われており、ラック/列のスイッチを経由せずにサーバ間で直接配線が行われていないこと。列のスイッチは基幹スイッチに接続されている。これにより、配線がシンプルかつ予測可能になる。
- 色別のケーブリング。我々の場合、冗長化された配線にある色を利用(これにより、常にその色のケーブルが2本サーバに接続されており、異なるカードと異なるスイッチに接続されていることになる)し、ギガビット接続には別の色を、統合監視ソフト向けには更に別の色、管理ネットワーク向けに別の色、ハードビートケーブル向けに別の色、イーサネット以外(T1/PRIなど)には更に別の色を利用する。100m超の接続、特殊なコネクティビティ、別のセキュリティエリアとの接続、光ではないスイッチ間の接続などにも専用の色を利用する。すべてのケーブルは、6-8フィート毎にラべリングされている。
- 完全に冗長化された電源。clean power(波形がきれいということ?グリーンな電力であるということ?)だけでは十分ではなく、よいUPSと発電機も必要とされる。大規模なデータセンタでそこに数列以上のラックを持つ、もしくはミッションクリティカルな何かを置くのであれば、異なる2つの電力会社から供給を受け、2系統の発電機を持ち、2系統の電源システムをデータセンタ/サーバルーム/ラック列/ランク単位で持っているデータセンタを選択すべきである。我々が利用しているデータセンタは2系統のLiebert(UPS)を持ち、それぞれのバッテリの列は独立した2つの分電盤に接続されており、各ラックは4つのPDU(1系統につき2つ)を持っている。すべてのサーバは独立した2つのPDUに接続されており、完全に独立した2つの電力グリッドから電源供給を受けている。展開しているサーバが50台程度であれば、これは過剰スペックといえるだろう。我々は3,500台以上を運用しているので、我々にはこのクラスの設備が必要になる…

確かに、よく探せばここまでの運用を行っているデータセンタはあるでしょう。私が見てきたデータセンタの中でも、これに近いデータセンタはありました。電源や空調などの設備については、基本的にデータセンタを建造する際にそのスペックが決定してしまうので、自分が顧客となる可能性があるのであれば構成を知ることは可能でしょう。

知るのが難しいのは運用で、メンテナンスが適正に行われているかどうかなどは、自分が大量のラックを借り受けるユーザであれば知ることはできるでしょうが、少ししか借りていなければ教えてくれないデータセンタもあるでしょう(ありました)。ちなみに、ケーブリングについては、特に東南アジア系のデータセンタでは壊滅的な状況の所も実際に見たことがあるので、可能であれば事前に見ておくべきでしょう。
自分のラック周りだけは自力でどうにでもできますが、共用部分がメチャメチャであった場合、それで障害の解析が長引いたりする可能性があります。

しかし、この翻訳には本当に時間がかかってしまいました…

Related posts:

1. よいデータセンターとは？ Part1

/.のいいところは、トピックに対してちゃんと批判的な意見も書き込まれて議論として成立している点にあります。それも、その方面の専門知識や実経験を持った技術者の応酬が繰り広げられるので、傍から見ているだけでも非常に参考になるのです。

ということで、今回は否定的な意見を採り上げてみました。

こんな書き込みがありました。

That’s interesting, but the OP really needs to know what is good or not. For example, you state “Raised Floor Height”. What is good? Newer datacenters don’t have raised floors because it is more energy efficient to have concrete floors. “Cooling Capacity” — what’s good and what is bad? How is this measured? Some datacenters may talk aobut how cool they keep the ambient air, but there isn’t much evidence that this actually provides a noticable difference to the lifetime or any other factor related to the equipment.

日本語にするとこんな感じです。

非常に興味深いね。でも、善し悪しを判断するために本当に知っておかなければならないのは、オペレーションなんじゃないかな。たとえば、”二重床の高さ”を挙げているけれども、どのような状態がいいのだろう？最近のデータセンターは、エネルギー効率の観点から二重床ではなくコンクリートの床を採用している。”空調能力”–これもどのような状態がいいのだろう？どのように計測するんだい？周囲の空気の温度をいかに低く維持しているかを力説するデータセンターもあるかもしれないけれども、それが設置機器の寿命やその他の要素に目に見える違いをもたらすという証拠は、実のところあんまり存在してない。

一理あるなぁ、というのが正直な感想です。

オペレーションが重要であるという点については異論はありません。
Part1でも書いたとおり、多少設備が古くてもよくメンテナンスされていれば問題ありませんし、逆に設備がよくてもメンテナンスされていなければお話になりません。

二重床の件に関しては、私は不勉強で知りませんでした。
ただ、二重床といっても結局二重床の床に当たるスラブはコンクリートになるので、二重床なしの方が断熱性能がいいのかどうかは個人的には懐疑的です。もちろん、室内の空気の循環を考えてそのように設計しているのであれば、二重床なしも十分ありだと思いますが。

空調能力は、個人的には重要だと思います。
どうやって計測するのか？という疑問を呈していますが、少なくとも設計段階では空調方式やラック配置などを基礎データとして気流のシュミレーションは行われます。各ラックに収容される機器の発熱量はラックへの給電能力に比例するので、適正に管理されていれば想定以上の熱量が出ることはないはずです。
＃もちろん、全ラックが提供電源を使いきる形で埋まるという前提でシュミレーションは行いませんが…

また、特に室温に関するSLAを提供しているようなデータセンターであれば、サーバルーム内に計測センサーを設置して、閾値監視するのは当然です。もちろんホットスポット(局所的に温度が高くなっている場所、熱だまり)まではわからないでしょうが、これも一種の計測といえるでしょう。

もっとも、機器の寿命については確かにそうで、データセンターに保有するサーバの台数では世界でも指折りのGoogleが、ハードディスクについては温度は関係ないとのレポートを出しています。

Googleによると、ハードディスクは温度や使用頻度に関係なく故障する – GIGAZINE

しかし、この中でも

ただし、ハードディスクの温度が50度を超えるような環境であれば、故障率は如実に上昇しています。これはハードディスクのメーカーも推奨していない温度なのでさすがに当然か。

とのことで、安易に”室温が高くてもいい”と結論付けることはできません。
また、寒すぎると動作に支障があるとの話もあるので、”室温が低ければいい”ということにもなりません。

DSAS開発者の部屋:低温環境でのHDDの動作:

となると、やはり一定の範囲で室温を維持するというSLAを提供しているデータセンターがいい、という結論になるんじゃないかなぁと思います。

Related posts:

1. よいデータセンターとは？ Part3