今回公開された文書の名前は、”Data Center Site Infrastructure Tier Standard: Operational Sustainability“で、その名の通り、データセンタの設備をいかに運用するのかということに主眼を置いています。無償でダウンロードできるので、データセンタ運用に関わる人にとって、今後必見の文書となるでしょう。

ちなみに、旧来の設備基準の正式名称は”Data Center Site Infrastructure Tier Standard: Topology“で、こちらはデータセンタを建築する際の指針を記述しています。混同されがちですが、Tierのリファレンスとしてよく名前が出るTIA-942は、この文書で規定されているTierに必要とされる実装要件を、Telecommunications Industry Association(=TIA)がまとめた文書でしかありません。TIA-942自体がTierを規定する文書と思われがちですが、TIA-942はあくまで解説書でしかなく、大元はUptime Instituteの文書になります。

話を戻すと、Topologyが”素晴らしい”データセンタを建造するための指針であったのに対し、Operational Sustainabilityは、その”素晴らしい”データセンタをいかにして維持管理するのか、ということについて書かれています。私もまだよく見ていませんが、少し見ただけでもなるほど思わせる内容でしたので、データセンタビジネスに携わる人間であれば、一読の価値はあると思います。

Related posts:

1. 風力発電で稼動するデータセンタ

http://www.datacentermap.com/

DCの場所を調べるのはなかなか苦労するので、うまくはまれば非常に参考になりますね。
もちろんすべてのDCが掲載されているわけではありませんが、見ているだけでも結構面白いです。

ちなみに、東京にマップされているのはEquinixとTelehouseだけで、しかも詳細な場所は不明となっていますが…

No related posts.

これは、データセンター関係者であれば一見の価値がありますね。
特に、海外を含めたデータセンター関連の客観的なデータが多数掲載されている別紙2が参考になります。

第三者に説得するための材料が必要な場合、総務省公表のデータというのは信頼度という意味では最高のデータと言えるはずです。

No related posts.

加入ポイントである2,100ポイントは登録するとすぐにもらえたので、今回加算されたのは利用年月に応じてもらうことができるポイントということになります。

諸事情あって私の家はNTTシンパなんですが、Bフレッツも今日中エリアが対象地域になったらすぐに加入しました。長期間利用しているほど加算ポイントが多くなる仕組みですので、思ったよりもボーナスポイントはありました。

実際に加算されていたポイントは以下の通りです。

長期利用分のボーナスポイントは1,000ポイントでした。
確認してみた所、フレッツ開通5年目ということらしいですが、まぁその程度でしょう。社宅だったので、マンションタイプのVDSLがメニューに追加されるまで入れませんでしたし。

いずれにせよ、ほとんどノーリスクで3,400ポイントがもらえるのはおいしすぎます。
このボーナスポイントのキャンペーンは平成22年9月30日まで延長されたようなので、まだ登録していない方は、じっくり考えてみるといいと思います。

Edyやnanako、楽天スーパーポイントにも交換できるので、利用もしやすいと思いますよ。

No related posts.

フレッツ光メンバーズクラブでは、2010年3月末までの期間限定で、通常の加入ポイント2,100ポイントに加えて、長期間Bフレッツを契約している人に最大2,000ポイントを上乗せして付与するキャンペーンを行っていたので、改めて自分がいつからBフレッツを利用しているのかをチェック。

確認してみて自分でも驚きましたが、2002年の秋にBフレッツを契約していました(当時は東京都小平市に在住)。
思えばテレホーダイ -> フレッツISDN -> フレッツADSLと、在住エリアでサービスが開始されると同時に乗り換えてきたので、NTTにとっては模範的な顧客ですよね…携帯もドコモですし。

しかし、最終的に申し込みはできませんでした。
というのも、Bフレッツ開通時に送られてくる”お客様ID”と”アクセスキー”が登録に必要なんですが、現住所に移転してきた際に送付されてきたはずの文書が見当たらず、NTT東日本側で確認してもらうような形になってしまったからです。確認には最大2週間ほどかかるとか….

となると心配になるのが、キャンペーンポイントです。申請自体は3月中でしたが、パスワード発行が4月に入ってしまったとしたら、キャンペーンポイントはもらえるのでしょうか？利用7年目なので1,400ポイントになりますが、これは大きいです。こちらについては問い合わせフォーム経由で問合わせ中です。

話が前後しますが、フレッツスクェアに接続できて、かつお客様IDとアクセスキーとがあれば、即時に申し込みが完了するので、開通以来かもしれないフレッツスクェアへの接続設定を行いました。ついでに速度を測ってみたところ、こんな感じでした。

思ったより出ているなぁというのが正直な印象です。マンションタイプ(VDSL)なんですが、建物が30年もので屋内配線の品質が期待できず、VDSL部分での減衰が大きいと思っていたので。なお、ブロードバンドルータはマイクロリサーチのNetGenesis SuperOPT100です。

ついでに懐かしのRBBで測定した数値。

こちらもよく出ていますねぇ。
カジュアルなサーバを公開するには十分な数値と言えるでしょう。

No related posts.

基本的に雑所得を申告しつつ必要経費を積んで、雑所得の源泉徴収分(金額はたかが知れているので10%)の還付を受けるのが目的になるのですが、数年前からはじめたFXでかなり情勢が変わりました。

それまでは、まじめにISPの費用やらPC購入費やらの領収書を取っておいて経費として積んでいました。収入に対する経費の割合があまりに高いと不自然なので、なんとなく40%～50%程度に抑えるようにしていたものです。

しかし、FXで発生した収益 / 損益は雑所得に分類されるので、FXで損益が発生していたら、その損益分が丸ごと経費として計上できるのです。もちろん、FXで損益が発生すること事態はうれしいことではありませんが、それが翻訳の経費として相殺できるのはありがたいです。FXの損益が原稿料の収入を超えたら、源泉徴収分が丸ごと戻ってくることになりますし。

最近は雑誌への記事投稿が事実上なくなり、2か月に1回の翻訳だけになってしまったので、金額としては以前ほどではありませんが、それでもそれなりにまとまった金額が還付されるのはありがたいものです。

No related posts.

米国はオレゴン州にあるCanvas Dreamsというデータセンタ事業者は、消費電力をすべて地元の風力発電で賄っているそうです。風力発電というと、日本国内では海岸沿いあたりで小規模にやっているような印象がありますが、データセンタの消費電力を賄うほどの電力を供給できるだけの発電を行っている所が世界にはあるんですね…

オレゴン州はポートランドにある、Portland General Electric (PGE)という電力会社は、Biglow Canyonというところに風力発電基地を持っており、その総発電量は450MWにも及ぶとのことです。更に、合計で100MWもの風力発電の電力を他業者から購入しているとのことで、その力の入れようがわかります。

先日、米国のデータセンタマネージャ的な位置づけにいる方と話す機会がありましたが、その人もグリーンは避けては通れない、というよりは高発熱対応と併せて最重要ファクターであると力説されていました。

ちなみに、その方が見ているデータセンタは10年選手の古いデータセンタで、コスト対効果でできうる限りの対策を採ってみたものの、それでもやはりPUEで1.6程度が限界とのこと。Googleの最新鋭のデータセンタのPUE 1.2という数字は、夢のまた夢という感じだそうです(新造ではないと無理ということ)。

私が知る限りでは、日本国内には利用している電力がクリーンな電力であることを歌っているデータセンタ事業者は存在していないと思いますが、今の世の中の流れからすると、日本でも利用電力の素性が問われるようになる日は遠からず来るのでしょうね…

No related posts.

今回は、すべてのコメントの中で一二を争う程気合が入ったコメントを紹介します。
実に気合が入ったコメントであるだけでなく、実際にデータセンタの運用に非常に明るい方が書かれたコメントと思われ、示唆に富んでいます。

少々長くなりますが、以下の書き込みです。

- Raised floor is certainly important, and a given. Check
- Cable management above AND below the floor. This is not an either-or… Check
- Cooling capacity is hard to judge, should be scalable. Redundancy is often overlooked but is often even more important that capacity… Check
- Power quality: never seen a big datacenter without a Liebert, or at least UPS in every rack. Power does not have the be contitioned except between the UPS and the machines/devices. A whole data center power conditioner is often more efficient, but unnecessary for the little guys. either way – check.
- Age is irrelevent as long as it’s under support. If it’s not, replace it. Generators need to be run several times a year to validate their condition, and also to grease the innards… See too many good generators get kicked on and fail an hour later because the oil hand’t been changed in 3 years….
- Outages should be tracked, by system, rack row, and power distro. When system seem to be going down more frequently in one area, there’s usually an underlying reason… As Google recently proved as well for us all, do not ASSUME all is well, routine disgnostics including memory scans should be performed on ALL hardware. Even ECC RAM deteriorates with age (rapidly) and needs to be part of a maintenance testing and replacement policy – Check.
- Fire suppression is usually part of your building codes, and a given, as is the routine checks (at least anually) by law.

In addition, we deploy:
- Man traps on all enterences to data centers. You go in one door, it closes, then you authenticate to a second door. A pressure plate ensures only one person goes in/out at a time (and it it’s tripped, a scurity guy looking at a screen has to override).
- Full 24×7 video surveilance of the data centers.
- in/out logs for all equipment. To take a device in/out of a datacenter requires it being logged in a book (by a designated person). This is for anything the size of a disk/tape and larger. All drive bays are audited nightly by security and if drives go missing, security reviews the access logs and server room security footage to see who might have taken them.
- clear and consistent labeling systems for rack, shelves, cables and systems.
- pre-cable just about everything to row level redundant switches, and have no cabling from server to other servers not passed through a rack/row switch first. Row switches connect to distro switches. This ensures cabling is simple, and predictable.
- Colorcoded cabling: we use 1 color for redundant cabling (indicating their should be 2 of these connected to the server at all times, and to seperate cards in the backplane and seperate switches to boot), a seperate color for generic gigabit connections, another color for DS View, another color the out management network(s), another color for heartbeat cables, and yet another for non-ethernet (T1/PRI/etc). Other colors are used in some areas to designate 100m connections, special connectivity, or security enclave barriers, and non-fiber switch-to-switch connections. Every cable is labled at both ends and every 6-8 feet inbetween.
- FULLY REDUNDANT POWER. It’s not enough to have clean poewr, and good UPS and a generator. In a large datacenter (more than a few rows, or anything truly mission critical), you should have 2 seperate power companies, 2 seperate generators, and 2 fully segregated power systems at the datcenter, room, row, and rack levels. in each datacenter we use 2 Liebert mains, each row has a seperate distribution unit connected to a differnt main, and each rack has 4 PDUs (2 to each distro). Every server is connected to 2 seperat PDUs, run all the way back to 2 completely independent power grids. For a deployment of 50 servers or so this is big time overkill. We have over 3500 servers, we need this… We can not rely on a PSU failure taking out racks at a time which may server dozens of other systems each.

すごく長いですが、頑張ってみましょう。

- 二重床は確かに重要であり、すでに指摘されている。要チェック。
- 床上と床下とのケーブル管理。どちらか片方では駄目だ….要チェック。
- 空調能力は判断が難しいが、スケーラブルではあるべきだ。冗長性は見過ごされがちだが、空調用量よりも重要であるといってもいいだろう。要チェック。
- 電源の品質 : Lievertが導入されていない、もしくはラック単位でUPSが導入されていない巨大データセンタを見ることはまずない。UPSと機器の間を除けば、電源が調整されている必要はない。データセンタ全体で調整する方が効率的だけれども、小規模なデータセンタには不要だろう。いずれにせよ、要チェック。
- 利用年数は、よくメンテナンスされている限りは関係ない。メンテナンスされていないのであれば、交換すべきだ。発電機は、そのコンディションを確認するために年に数回は動かす必要があるし、内部にグリースを塗る必要もある…3年もの間オイル交換をしていないがために、起動後たった1時間で止まってしまう発電機のなんと多いことか….
- 停電の履歴は、システム単位 / ラック列単位 / 系統別に記録されているべきだ。特定のエリアで頻繁にシステムがダウンするようであれば、根深い理由があるはずだ…最近、我々のためにGoogleが証明してくれたが、すべてがうまく動作していると思い込んではならない。メモリースキャンを含む定期的な診断がすべてのハードウェアについて必要なのだ。ECC RAMでさえ、時の流れと共に(すぐに)壊れるので、メンテナンスと交換のポリシーに含めておかなければならない。要チェック。
- 消火システムは通常はビル側の問題になるが、そうであるのであれば、定期的なチェック(少なくとも年に一回)が法律に基づいて行われるだろう。

更に、
- データセンターのすべての出入り口にマントラップ。一つ目のドアを入るとそのドアが閉まり、二つ目のドアの認証を行う。感圧プレートにより、確実に一度に一人しか出入りできないようにする(そして異常を検知した場合、画面を監視していたガードマンが駆け付ける)。
- データセンタの24時間365日の監視カメラによる監視。
- すべての機器の搬入出記録。データセンタへの機器の搬入出に際して、(指定の人物が)記録簿に記録を取ることを要求する。このルールは、ディスク/テープ以上の大きさのものすべてに適用される。すべてのドライブベイは毎夜警備員によって確認され、ドライブがなくなっていたら、警備員がアクセスログとサーバルームへの足跡とを確認し、誰がそれを持ち去ったのかを確認する。
- 明瞭かつ持続的なラべリングシステムがラックや書棚、ケーブルやシステムに適用されている。
- 列単位で冗長化されたスイッチへの先行配線が行われており、ラック/列のスイッチを経由せずにサーバ間で直接配線が行われていないこと。列のスイッチは基幹スイッチに接続されている。これにより、配線がシンプルかつ予測可能になる。
- 色別のケーブリング。我々の場合、冗長化された配線にある色を利用(これにより、常にその色のケーブルが2本サーバに接続されており、異なるカードと異なるスイッチに接続されていることになる)し、ギガビット接続には別の色を、統合監視ソフト向けには更に別の色、管理ネットワーク向けに別の色、ハードビートケーブル向けに別の色、イーサネット以外(T1/PRIなど)には更に別の色を利用する。100m超の接続、特殊なコネクティビティ、別のセキュリティエリアとの接続、光ではないスイッチ間の接続などにも専用の色を利用する。すべてのケーブルは、6-8フィート毎にラべリングされている。
- 完全に冗長化された電源。clean power(波形がきれいということ?グリーンな電力であるということ?)だけでは十分ではなく、よいUPSと発電機も必要とされる。大規模なデータセンタでそこに数列以上のラックを持つ、もしくはミッションクリティカルな何かを置くのであれば、異なる2つの電力会社から供給を受け、2系統の発電機を持ち、2系統の電源システムをデータセンタ/サーバルーム/ラック列/ランク単位で持っているデータセンタを選択すべきである。我々が利用しているデータセンタは2系統のLiebert(UPS)を持ち、それぞれのバッテリの列は独立した2つの分電盤に接続されており、各ラックは4つのPDU(1系統につき2つ)を持っている。すべてのサーバは独立した2つのPDUに接続されており、完全に独立した2つの電力グリッドから電源供給を受けている。展開しているサーバが50台程度であれば、これは過剰スペックといえるだろう。我々は3,500台以上を運用しているので、我々にはこのクラスの設備が必要になる…

確かに、よく探せばここまでの運用を行っているデータセンタはあるでしょう。私が見てきたデータセンタの中でも、これに近いデータセンタはありました。電源や空調などの設備については、基本的にデータセンタを建造する際にそのスペックが決定してしまうので、自分が顧客となる可能性があるのであれば構成を知ることは可能でしょう。

知るのが難しいのは運用で、メンテナンスが適正に行われているかどうかなどは、自分が大量のラックを借り受けるユーザであれば知ることはできるでしょうが、少ししか借りていなければ教えてくれないデータセンタもあるでしょう(ありました)。ちなみに、ケーブリングについては、特に東南アジア系のデータセンタでは壊滅的な状況の所も実際に見たことがあるので、可能であれば事前に見ておくべきでしょう。
自分のラック周りだけは自力でどうにでもできますが、共用部分がメチャメチャであった場合、それで障害の解析が長引いたりする可能性があります。

しかし、この翻訳には本当に時間がかかってしまいました…

Related posts:

1. よいデータセンターとは？ Part1
2. Uptime Instituteがデータセンタの運用基準を公開
3. ドミノ@データセンター

/.のいいところは、トピックに対してちゃんと批判的な意見も書き込まれて議論として成立している点にあります。それも、その方面の専門知識や実経験を持った技術者の応酬が繰り広げられるので、傍から見ているだけでも非常に参考になるのです。

ということで、今回は否定的な意見を採り上げてみました。

こんな書き込みがありました。

That’s interesting, but the OP really needs to know what is good or not. For example, you state “Raised Floor Height”. What is good? Newer datacenters don’t have raised floors because it is more energy efficient to have concrete floors. “Cooling Capacity” — what’s good and what is bad? How is this measured? Some datacenters may talk aobut how cool they keep the ambient air, but there isn’t much evidence that this actually provides a noticable difference to the lifetime or any other factor related to the equipment.

日本語にするとこんな感じです。

非常に興味深いね。でも、善し悪しを判断するために本当に知っておかなければならないのは、オペレーションなんじゃないかな。たとえば、”二重床の高さ”を挙げているけれども、どのような状態がいいのだろう？最近のデータセンターは、エネルギー効率の観点から二重床ではなくコンクリートの床を採用している。”空調能力”–これもどのような状態がいいのだろう？どのように計測するんだい？周囲の空気の温度をいかに低く維持しているかを力説するデータセンターもあるかもしれないけれども、それが設置機器の寿命やその他の要素に目に見える違いをもたらすという証拠は、実のところあんまり存在してない。

一理あるなぁ、というのが正直な感想です。

オペレーションが重要であるという点については異論はありません。
Part1でも書いたとおり、多少設備が古くてもよくメンテナンスされていれば問題ありませんし、逆に設備がよくてもメンテナンスされていなければお話になりません。

二重床の件に関しては、私は不勉強で知りませんでした。
ただ、二重床といっても結局二重床の床に当たるスラブはコンクリートになるので、二重床なしの方が断熱性能がいいのかどうかは個人的には懐疑的です。もちろん、室内の空気の循環を考えてそのように設計しているのであれば、二重床なしも十分ありだと思いますが。

空調能力は、個人的には重要だと思います。
どうやって計測するのか？という疑問を呈していますが、少なくとも設計段階では空調方式やラック配置などを基礎データとして気流のシュミレーションは行われます。各ラックに収容される機器の発熱量はラックへの給電能力に比例するので、適正に管理されていれば想定以上の熱量が出ることはないはずです。
＃もちろん、全ラックが提供電源を使いきる形で埋まるという前提でシュミレーションは行いませんが…

また、特に室温に関するSLAを提供しているようなデータセンターであれば、サーバルーム内に計測センサーを設置して、閾値監視するのは当然です。もちろんホットスポット(局所的に温度が高くなっている場所、熱だまり)まではわからないでしょうが、これも一種の計測といえるでしょう。

もっとも、機器の寿命については確かにそうで、データセンターに保有するサーバの台数では世界でも指折りのGoogleが、ハードディスクについては温度は関係ないとのレポートを出しています。

Googleによると、ハードディスクは温度や使用頻度に関係なく故障する – GIGAZINE

しかし、この中でも

ただし、ハードディスクの温度が50度を超えるような環境であれば、故障率は如実に上昇しています。これはハードディスクのメーカーも推奨していない温度なのでさすがに当然か。

とのことで、安易に”室温が高くてもいい”と結論付けることはできません。
また、寒すぎると動作に支障があるとの話もあるので、”室温が低ければいい”ということにもなりません。

DSAS開発者の部屋:低温環境でのHDDの動作:

となると、やはり一定の範囲で室温を維持するというSLAを提供しているデータセンターがいい、という結論になるんじゃないかなぁと思います。

No related posts.

当然でありますが、/.は本家の方が賑わっていますし、そちらの方にこそ示唆に富む投稿が数多く寄せられていたので、何回かに分けて紹介しつつ、私見を述べてゆきたいと思います。

まず、オリジナルの記事は、以下の通りでした。

mpapet writes to ask about the ins and outs of datacenter evaluation. Beyond the simpler questions of physical access control, connectivity, and power redundancy/capacity and SLA review, what other questions are important to ask when evaluating a data center? What data centers have people been happy with? What horror stories have people lived through with those that didn’t make the cut?

がんばって訳して見るとこんな感じでしょうか。

mpapetが、データセンターの評価の内実と表面とについて問いかけました。物理的なアクセス制御、コネクティビティ、電源の冗長性と容量、SLAといったシンプルな問題を以外に、データセンターを評価するときにどのような質問を投げかけるべきなのでしょうか？どのようなデータセンターが人を幸せにするのでしょうか？足切りラインに到達しないデータセンターを利用すると、どんな恐ろしい目に遭うのでしょうか？

この質問に対する興味深い書き込みを何回かに分けて一つずつ採り上げてみたいと思います。
最初の返信がこちらでした。

Well first of all, I don’t know that I’d write any of those things off as “simple”. But some other points worth looking into would be:

Raised Floor Height
Cable Management (over or under floor)
Cooling Capacity and Redundancy
Power Quality (not just redundancy)
Age and Condition of Electrical Hardware (ATSs, STSs, UPSs, Generators)
Outage/Uptime History
Fire Suppression System and Smoke Detection System
Maintenance records
Maintenance records
Maintenance records

がんばってみます(^^;

そうだね、まず第一に、それらのいずれについても、”シンプル”と決めつけちゃいけないと思う。でも、他に注目するに値する点として、こんなのもあるんじゃないかなぁ。

二重床の高さ
ケーブルの管理(床上と床下)
空調の容量と冗長性
電源の品質(冗長性だけでなく)
電源設備の利用年数と状態(ATS, STS, UPS, 非常用発電機)
電源障害 / 稼働率の履歴
消火設備と煙探知設備
メンテナンスレコード
メンテナンスレコード
メンテナンスレコード

なかなかいい点を突いているなぁと思います。

二重床の高さは、あまりに高さが低いと、特に床下に空調が通っている場合はあっという間に冷気の流れが阻害されてしまいます。別の言い方をすれば、気流が通るだけの高さが確保されていればいい、ということでしょうか。

ケーブルの管理も重要です。
床下のケーブル管理が駄目だとそれこそ気流に影響を及ぼしますし、そもそもぐちゃぐちゃだとメンテナンス性が悪いうえに、オペレーションミスを誘発する原因となります。

電源の品質は、おそらく波形が美しいということを言っているのだと思いますが、これはどうでしょうか。もちろんきれいであるにこしたことはありませんが、顧客が自分で評価するのは難しいような気が….

電源設備は非常に長く利用する設備なので、利用年数もそうですが状態の方が重要です。よくメンテナンスされていれば、多少の古さは問題にならないと個人的には思います。もっとも、ATSやSTSについては、現実問題として動作確認を行うのは容易ではありませんが…

電源障害 / 稼働率の履歴も、顧客側で客観的に調べるのはまず難しいですが、もしわかるのであれば把握しておくべき項目でしょう。もっとも、個人的には障害が発生した後にしっかりと是正措置や予防保全対策などが取られていること、つまりその障害に対するデータセンター側の姿勢の方が重要だと思います。
障害には止むを得なく発生する障害と人為的に発生する障害とがありますが、重要なのは後者がいかに起こっていないのか、そして起こらないように日々努力しているのかですから。

消火設備と煙探知設備は、よほどのことがない限り問題にはならないでしょう。
もっとも、私が見た中で、サーバルームの消火設備にスプリンクラー(!)が導入されているところがありましたが、そんなところは例外だと思います。

最後のメンテナンスレコード × 3はまったく同意で、どんなに設備が優れていても、ちゃんとメンテナンスをしていなければ意味がありません。逆に、多少設備面が劣っていたとしても、メンテナンスがよければそれをカバーできるともいえるでしょう。

ちなみに、私は海外のデータセンターをいくつも見てきましたが、このメンテナンス面においては日本のデータセンターは概して素晴らしいです。以前、仕事でご一緒した中国の方から、こんな話を聞いたことがあります。

中国では、何か建物を建てて、それをよくメンテナンスして長く使って行こうという発想自体がない。何しろ国土が広いから、失敗したり古くて使えなくなったら、別の所にまた新しいを立てればいいのだから。

逆に日本は、国土が狭いがゆえに一度建てた建物をメンテナンスしながら長く利用してゆく、という考え方が染み付いているのではないでしょうか。ですから、データセンターの運用においても、ある意味”退屈な”メンテナンス作業に時間と人とお金を費やしてゆけるのだと感じています。

Related posts:

1. よいデータセンターとは？ Part3
2. Uptime Instituteがデータセンタの運用基準を公開
3. よいデータセンターとは？ Part2