zfsでRAID10 at FreeBSD ディスク交換

拡張カードにさらに1T*2を接続してディスクの交換をしてみる。

現在の状態

oscar# zpool status
  pool: tank
 state: ONLINE
 scrub: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            ad16    ONLINE       0     0     0
            ad18    ONLINE       0     0     0

errors: No known data errors


HDDの接続状況
追加した拡張カードの2ポートがad4とad6に見え、元からあったものは後ろにずれている。
2ポートだが、チャンネルは4つ?
oscar# atacontrol list
ATA channel 0:
    Master:  ad0 ATA/ATAPI revision 4
    Slave:       no device present
ATA channel 2:
    Master:  ad4 SATA revision 2.x
    Slave:       no device present
ATA channel 3:
    Master:  ad6 SATA revision 2.x
    Slave:       no device present
ATA channel 4:
    Master:      no device present
    Slave:       no device present
ATA channel 5:
    Master:      no device present
    Slave:       no device present
ATA channel 6:
    Master: ad12 SATA revision 2.x
    Slave:       no device present
ATA channel 7:
    Master: ad14 SATA revision 2.x
    Slave:       no device present
ATA channel 8:
    Master: ad16 SATA revision 2.x
    Slave:       no device present
ATA channel 9:
    Master: ad18 SATA revision 2.x
    Slave:       no device present
ATA channel 10:
    Master:      no device present
    Slave:       no device present
ATA channel 11:
    Master:      no device present
    Slave:       no device present

RAID10だからミラー単位で入れ替えるのか思ってたけどHDD1台単位で交換できた。
ad16を追加したad4と交換してみる。
zpool replace tank ad16 ad4

途中経過はこんな感じ。
oscar# zpool status
  pool: tank
 state: ONLINE
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
 scrub: resilver in progress for 0h8m, 53.72% done, 0h7m to go
config:

        NAME           STATE     READ WRITE CKSUM
        tank           ONLINE       0     0     0
          mirror       ONLINE       0     0     0
            ad12       ONLINE       0     0     0
            ad14       ONLINE       0     0     0
          mirror       ONLINE       0     0     0
            replacing  ONLINE       0     0     0
              ad16     ONLINE       0     0     0
              ad4      ONLINE       0     0     0  34.8G resilvered
            ad18       ONLINE       0     0     0  40.4M resilvered

errors: No known data errors

完了するとこうなる。すばらしい。
oscar# zpool status
  pool: tank
 state: ONLINE
 scrub: resilver completed after 0h14m with 0 errors on Sun Sep 19 19:38:24 2010
config:

        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            ad12    ONLINE       0     0     0
            ad14    ONLINE       0     0     0
          mirror    ONLINE       0     0     0
            ad4     ONLINE       0     0     0  63.6G resilvered
            ad18    ONLINE       0     0     0  63.6M resilvered

errors: No known data errors

ということは、マザーボードにはSATAは5ポートあり、ミラーリングで2つ使用中。
余っている1つは予備HDDとすれば

• マザーボードでミラーリング*2
• 拡張カードでミラーリング*PCIEの本数
• マザーボードに控えHDDが1台 

が使えることになる。
控えHDDはいらないならSATAが6本ついているマザーボードにすればミラーを1つ増やせる。
でも、そんなマザーボードはちょっと高い。

拡張カードがFreeBSDで対応していないらしくSATA1.5Gbpsになってた…
チップはMarvell SE91XX。

zfsでRAID10 at FreeBSD

ZFSでRAIDZ2にしてファイルサーバーにしようと進めていたけど、HDDを追加できないことが発覚。
1T*4台に1台追加しようとして分かったけど、稼動直後で助かった。
ついでに1台は起動時にエラーが出ている状態。
ということで 、一旦写真とかのデータをPCに引き上げて作り直し。
RAID10ならatacontrolやgmirrorでもできるけど、パーティションを切らなくてもいいのでzfsで。

(本当の起動ディスクはIDEに接続した2GのCF。)

RAIDの中のファイルを5台目のHDDにコピーして、そっち(ad12)を使い起動できるように。
RAIDを一旦削除。
エラーの出ているad4を外し、ad10をad4に接続して再起動。
(この時点でad4,ad6,ad8と追加したad12)
ad4とad6でRAID1(tank)を作り、ファイルシステムを作る。
ad12のファイルをtankにコピーしてtankで起動する。
ad12をad10に接続して再起動。
tankにad10とad12をミラーリングにしてRAID0で追加。

これでad4,ad6のミラーとad8,ad10のミラーでストライピングし、RAID10の完成。
容量は全ディスクの半分になるけど障害にも強いし後から追加できる。
ただし内蔵SATAは5つのマザーボードなので後はPCI-Eの2ポートカードで追加。
普通のPCIではSATA本来の速度が出ないらしい。

後、RAID10とRAID01はぜんぜん違う。説明はここ。

結局入れてる

kuro-sheevaにapache2を追加。
apt-get install apache2 libapache2-mod-php5 php5-sqlite php5-gd

firefoxでだきphpinfo.phpがダウンロードダイアログになるのは何で?
(結局index.phpでphpinfo()は確認できた)

コピーできない

 Windowsのエクスプローラーだとコピーできてるのか不安なので(って無茶な)適当な
ツールを探す。
RealSyncというのがよさそうなのでこれで一旦FreeBSDからメインPCにコピー、
メインPCからNASに再コピーで試す。

KURO-SHEEVAの初期化に必要なOSとかは付属のCDに色々ファイルがあった。
やり方については http://xzr.dyndns.org/pukiwiki/index.php?%B8%BC%BC%C6 とか
日経Linuxの記事が参考になりそう。
でも不安なのでしばらくはやらない。

KURO-SHEEVAとOS

ちょうど日経LinuxがKURO-SHEEVA特集。
http://itpro.nikkeibp.co.jp/article/MAG/20100204/344212/

結局はe-SATAとかUSBがあるから他のLinuxどころかFreeBSDも起動するらしい。
http://www.mail-archive.com/freebsd-users-jp@jp.freebsd.org/msg03914.html

「出荷状態に戻す」ではなく、「再インストールする」が正しい？

Windos7だけ?

ネットワークドライブからNASにファイルをコピー、とするとブリブリっと容量を計算した後、
コピーが始まらずにダイアログが閉じられること多数。
ファイルの数が多すぎるとか関係あるのだろうか?
それともsamba経由だと何か変なことになっているのか?
とりあえずちょっとづつ小分けにしてコピー、面倒くさい。

KURO-SHEEVA続き

ポッドキャスト取得用perlスクリプトは何とか動いたので定期実行のためcronを設定、
使用としたらpermission denied。
/var/spool/cron/crontabsにパーミッションがないらしい。
chgrp crontab /var/spool/cron/crontabs
/etc/group のcrontabにアカウントを追加
chmod 777 /tmp で設定できるようになり完了。
NASをマウントできない問題は、KURO-SHEEVAが側をsambaで公開すればNetJUKEから取り込めることが分かったのでマウントしないことに。
どうせポッドキャストはどんどん削除するので容量はいらないし、余っているmicroSDで十分。

デジカメの写真とかデータをNASに 移動すればついにサーバーも停止できる。

KURO-SHEEVA起動

最初はUSBでつないでシリアルコンソールで見る必要があるらしい。
ドライバをインストールして、シリアルポートでログイン、スピードは115200 。
rootでログインパスワードはnosoup4u、ってネットで分かったけど、初期パスワード
とかの基本情報もないのでネットで見るしかないのはむーー

取りあえずパスワードを変えて一般ユーザーを作る。

ネットワークの設定
vi /etc/network/interfaces
auto lo
iface lo inet loopback
#address 127.0.0.1
#netmask 255.0.0.0

auto eth0
#iface eth0 inet dhcp
iface eth0 inet static
     address 192.168.xx.xx
     network 192.168.xx.0
     netmask 255.255.255.0
     broadcast 192.168.xx.255
     gateway 192.168.xx.xx

vi /etc/resolv.conf
nameserver xxx.xxx.xxx.xxx

vi /etc/rc.local コメントにする
#insmod /boot/fat.ko
#insmod /boot/vfat.ko

suができない
chmod u+s /bin/su

sshで直接rootでのログインを拒否
vi /etc/ssh/sshd_config
PermitRootLogin no

名前解決
apt-get install dnsutils

タイムゾーンの設定
dpkg-reconfigure tzdata

ntp
apt-get install ntp

utf8にする
locale-gen ja_JP.UTF-8

vi /etc/default/locale
LANG="ja_JP.UTF-8"

apt-get で
smbfsを入れたけどマウントできない
取りあえずポッドキャスト取得スクリプトを動かすことに
apt-get install perl-modules
後はCPANで順番にモジュールを追加、ではうまくいかなかった(インストールされていないよう)ので
なんとかapt-get install ○○で必要なものを追加し、動作するようになった。

次の展開

家のWEB、メールサーバーを止めることができる状態にはなったけどまだ動いているものが
あるので止められない。

1. ファイルサーバーはどうするか
2. 毎日perlでダウンロードしているポッドキャスト（しかもダウンロード先は別のPC）
3. テストのために外部からSSHでログインできるようにしておきたい

1のファイルサーバーはミラーリングもできるNASを買ってしまうのが一番スマートかも。
Linuxでファイルサーバーにすれば3のSSHログインと合わせて解決できるけどLinuxでのRAID1は
よく分からないのとPCは減らしてしまいたい。

2は
FreeBSD(perl)でダウンロード->Windowsで日付毎のフォルダに保存->NetJukeで取り込み->ウォークマンに転送

という使い方をしていて、NetJukeでの取り込みがフォルダ単位になるので、同じフォルダに追加
すると毎日古いものも取り込む形になるのを避けるための苦肉の策。
(なぜかFreeBSDのsambaではアクセスがうまくいかなかったのでWindowsにダウンロード)
Windowsのウォークマン管理ソフト(Xアプリ)も新しくなってポッドキャストも対応してるから、それで
新しくダウンロードしたものだけ送れるのかもしれない。
他の方法は、ウォークマンを無線LAN付きの機種(Xシリーズ)に変えてしまう。
手っ取り早いけど高いのと動画を見る気はあまりないのでサイズが少し大きいのが難点。

• Xアプリから新しいエピソードだけ自動転送できるなら、ネットブックを買ってきて24時間起動。
• ファイルサーバーはNASのミラーリング。
• 重いかも知れないけどネットブックにvmwareでFreeBSDを入れて待ち受ける。

ってところか。

HT-03A用に動画変換

ubuntuで録画したものをHT-03Aで見れないか試す。
http://ubuntuforums.org/showthread.php?t=786095
を参考にffmpegをインストール。
試した結果

ffmpeg -y -i 入力.mpg \
-s 480x272 -aspect 16:9 \
-acodec libfaac -ab 128k -ac 2 \
-vcodec libx264 -flags +loop -cmp +chroma -partitions +parti8x8+parti4x4+partp8x8+partb8x8 \
-me_method hex -subq 7 -me_range 16 -g 250 -keyint_min 25 -sc_threshold 40 -i_qfactor 0.71 \
-b_strategy 1 -qcomp 0.6 -qmin 10 -qmax 51 -qdiff 4 -bf 0 -refs 3 -directpred 1 -trellis 1 \
-coder 0 -flags2 -wpred-dct8x8+mbtree -wpredp 0 -threads 0 \
-r 29.97 -level 21 -maxrate 768k -bufsize 3000k -f mp4 出力.mp4

とすれば、HT-03AでもPSPでも再生できるmp4ができる。
ちなみに4:3の場合は -s 368x272 -aspect 4:3 とすればいい。
vpnも使えるから、変換さえしておけば、家の外からでも見れるぞ。

FOMAとザウルスで通信に成功。
認識させるのにLinuxでザウルス用のカーネルビルドするのに苦労した。

うろ覚えのメモ
シャープのサイトから開発環境を入手していインストール
gcc-cross-sa1100-2.95.2-0.i386.rpm
glibc-arm-2.2.2-0.i386.rpm
linux-headers-arm-sa1100-2.4.6-3.i386.rpm
binutils-cross-arm-2.11.2-0.i386.rpm

パスを追加
export PATH=$PATH:/opt/Embedix/tools/bin/

カーネルソ\ースを展開

http://digit.que.ne.jp/visit/index.cgi?Linux%a5%b6%a5%a6%a5%eb%a5%b9%b3%ab%c8%af%a5%e1%a5%e2%2fUSB%a5%db%a5%b9%a5%c8%b5%a1%c7%bd%a4%cb%a4%e8%a4%ebFOMA%c3%bc%cb%f6%c0%dc%c2%b3#i2
acm-FOMAのソ\ースをもらってくる。
端末のIDが無いとつないでも認識してもらえないのでソ\ースにUSBで
繋いだときのIDを追加。
acm-FOMA.cをカーネルソ\ースのdrivers/usb/acm.cに置き換え。

make ARCH=arm CROSS_COMPILE=arm-linux- menuconfig
でUSBのusb modem(ACM)を有効にする
make ARCH=arm CROSS_COMPILE=arm-linux- modules モジュール(acm.o)を作る。
ザウルスに/lib/modules/2.6.28-15-generic/kernel/drivers/usb/acm-FOMA.oとしてコピー。
modprobe acm-FOMAで読み込んでつなげば認識された。

動かないものを動かす

ubuntuではうまく動かなかったATIのカード。
ためしにHDMIでテレビにつなぐとあっさり映像が。
16:9のテレビならよくて16:10の変態モニターはだめなのか。
と半ばあきらめて無駄な買い物してもうたかと思ってネットをさまよった結果。
1680x1050のモニターはうまく認識できないことがあって手動でモニターの情報を
xorg.confに書けばいいことを発見。
でも、そんな詳しい情報は説明書にも出てないし誰か同じモニター(三菱のMD201WS)でやってないかと
思ったけどそんな人はいない。
コマンドで調べれるところまでたどり着いて
gtf 1680 1050 60 とすると出てくる出力と合わせてこんな設定

Section "Monitor"
Identifier "aticonfig-Monitor[0]-0"
Option "VendorName" "ATI Proprietary Driver"
Option "ModelName" "Generic Autodetecting Monitor"
Option "DPMS" "true"
HorizSync 31.5 - 81.1
VertRefresh 56.000 - 75.000
Modeline "1680x1050_60.00" 147.14 1680 1784 1968 2256 1050 1051 1054 1087 -HSync +Vsync
EndSection

Section "Screen"
Identifier "aticonfig-Screen[0]-0"
Device "aticonfig-Device[0]-0"
Monitor "aticonfig-Monitor[0]-0"
Defaultdepth 24
SubSection "Display"
Depth 24
Modes "1680x1050"
EndSubSection
EndSection

モニターのDVI MODEはDVI-HDからDVI-PCに変更したらubuntuでDVI->HDMI変換で
1680x1050で出力できた。
これでVistaに続いてubuntuもDVIになったのでハイビジョンも小窓で見れる。
(このモニターはJ-Plusとかハイビジョン放送はDVIでないと小画面では見れない)

粘り勝ちです。

ATI～

Linux用にHDCPの使えるビデオカードで一番安かったRH4350のものを買ってみたけど
DVIやHDMIだとうまく表\\\示できない。
モニターとの相性かフルHDでないとだめなのかはよくわからない。
アナログでは映ったけど意味無いな～

よく考えたらLinuxはアナログでしか試してないけどDVIって難しいのか?

アクセスポイント

僕の部屋とローラー部屋は隣同士。でも無線のアクセスポイントは1階なので
ローラー部屋からHDDレコーダーへの無線アクセスがいまいち。

僕の部屋にアクセスポイントを追加するのはACアダプタが増えるのが嫌だったので
HDDレコーダ(ubuntu)に無線PCカードをPCI接続してPC自体をアクセスポイント化することに。
テストマシンでやっとこさうまく行ったので後は無線の飛び具合やな。
(接続テストはPSPなので)

FreeBSDでも試したけど無線カードではうまくいかず、USBアダプタではできた。

危なかった

USBの無線アダプタをサーバーで使いアクセスポイントにしようとしたら
以前のカーネル再構築で無線周りは無効にしていたので再構築して
インストールしたらリモートからログインできなくなってしまった。
これはいかんとシングルユーザーモードで起動してバックアップから
書き戻そうとしたけどこのやり方は×で起動すらできなくなってしまった。
では今度はとUSBにつないだHDDから起動するもやり方間違えてこれまで起動できなくなったり。
予備機をつかって入れなおそうとしたらなぜかFreeBSDの起動CDが途中で止まって再インストールもできない。
やばいかもと思ったところで起動ディスクのFIXモードとやらを使えばいいことに気付いて起動。
ところがバックアップは圧縮していたのを戻すオプションが使えない。(gzip -dc)うそ～ん!!

テストのためにFreeBSDをインストールしていたHDDがあったので
CDで起動してバックアップとサーバーのHDDをマウント。
さらにテスト機もマウントしてコマンドはこっちの分を使って何とか起動。
名前が引けないのが問題のようだったのでportsからbindを入れなおしてようやく解決。

なんかぐちゃぐちゃになってるからFreeBSDも入れ直したいな。

アップデート失敗

朝起きれなかったので外に出てません。
その代わり30分ローラーを漕ぎました。
10分は間違えた練習です。

その後FreeBSDを6.3から7.1にしようとアップデートをかけたら
libcrypto.so.5がどうとかエラーが出てうまく動かないものがいくつか。
仕方ないので6.3の/を書き戻したらまともに起動しなくなってしまった。
どうしようか悩むこと数秒、フルバックアップから/usr/local(追加したソフト)と
/home(僕の大事な大事なデータ)以外を書き戻して今朝の状態に戻して再開。
簡単に行くと思ってたのになぁ

あかんかった

両面1Gx3だと起動がおかしいので2Gであきらめ。
1G余ってしまったがな。

3枚刺し

お金のかからない部分で色々変更。
ubuntuにする前に録画サーバーのOS(vine)が入っていたディスク(SATA250G)
を外してサーバー機(FreeBSD)にバックアップとして移動。
FreeBSDは320Gx2のRAIDと250Gのバックアップ領域1台
(ここは復旧用にPCのイメージをそのまま置いておく予定)

ローラー部屋にあったPCも妹が帰ってきたことで僕の部屋に戻ってきたので
ライブカメラ用のキャプチャカードを録画機に移動。
録画用2枚とライブカメラ1枚でcx24163を3枚刺し。
これでカメラのためだけに1台立ち上げる必要はなくなった。

録画用のディスクを500Gにしたいのと、今時の12cmファンで直接HDDに風を
当てる形のケースに変えたいところ。

ubuntuのapache

今の録画サーバーはubuntuです。
全部パッケージ任せなので楽だけど設定の方法がわからないことも。

apache2でpublic_htmlとsuexecの設定方法。
sudo a2enmod userdir
sudo a2enmod suexec

再開

ついに妹が帰ってくるので部屋を大掃除。
PCとかも部屋に持ってきたのでライブカメラも動くようにしました。
動画は今までと同じように動いたけど静止画が何故かデータ流れっ放しになるので
携帯からは見れないかもしれまへん。