情報　UNIX コマンド演習

目的： 今週の目標は、以下のことを学ぶことです。

パイプとリダイレクション
テキスト操作のためのいくつかのコマンド(cat,sort,uniq,cut,wc,paste,head)
単純なコマンドをパイプで組み合わせて複雑な処理をする方法

講義と演習

パイプとリダイレクションについて講義し、簡単なコマンドを組み合わせて複雑な 処理をする方法について述べる。その後、UNIXシステムで一般的なテキスト処理の コマンドを説明し、以下の演習課題でそれらのコマンドを組み合わせる練習を行う。 パイプとリダイレクションの簡単な説明はここをクリック。 演習で使用する テキスト処理コマンドの簡単な解説は このページの最後。

ターミナルの設定

　　　　まず、ターミナルを立ち上げる。ターミナル--＞環境設定--＞詳細--＞言語環境---＞文字エンコーディング--＞日本語(EUC)　に設定。設定した後に、新たにターミナルを立ち上げる

　　　　

演習課題

課題6－１（試しにやって見よう（解答付き））
(1) 以下のディレクトリ以下のファイルを各人コピーする。

　　/home/3989646672/kadai5data

　上記のディレクトリ以下すべてを、今いるカレント・ディレクトリに コピーする方法は以下。

　　% cp -r /home/3989646672/kadai5data . 　（最後のドットに注意）

ファイルの説明：

　郵便番号が７桁になってから、大口の組織にはユニークに定まる郵便番号が 割り当てられるようになった。これは、申請があると割り当てられたり、廃止 されるので、逐次更新されている。kadai5dataの下には最近追加された大口 組織の郵便番号を調べたデータが３つ入っている。これは、３人の学生に調査を 依頼したために３つになった。しかし、３人の学生が調べた期間は微妙に重複を 含むので、まったく同じデータが一部重複して入っている可能性がある。 （重複しているデータは１行全く同じと考えてよい）

                　　kadai5data/com1.txt
                　　kadai5data/com2.txt
                　　kadai5data/com3.txt
各データのフォーマットは同一で、１行に１組織のデータが入っている。各行の のデータは以下の順序で入っている。各項目の区切りはタブである。

　　　組織の読み　組織名　都道府県名　市名　新郵便番号　旧郵便番号

例えば、以下のようなデータが入っている。

             コパルデンシ    コパル電子      埼玉県  入間市  3588765 358
             ス-パ-バツグ    スーパーバック  埼玉県  入間市  3588710 358
             カミフクオカシヤクシヨ  上福岡市役所    埼玉県  上福岡市        3568501 356
             シンニホンムセン        新日本無線      埼玉県  上福岡市        5368510 356
以下のコマンドで、これらのファイルを眺めてみよ。

　　% cat com1.txt

(2) com1.txtのデータを、組織の読みで「あいうえお」順にソートしたファイルを作る。

　　解答例１： ソートしたファイルを見るだけ

% export LC_ALL=C

　　　　　 　% sort < com1.txt | more 　（または % sort com1.txt | more）

注意：export LC_ALL=Cを行うと、ファイルを見るときに文字化けする。もう一つ別にターミナル画面を立ち上げてファイルを見てください。それか、export LC_ALL=Cを行わず、sortコマンドを使うとき、先頭につけて、　LC_ALL=C sort　 とします。日本語のソートにLC_ALL=Cが必要になります。

LC_ALLは環境変数、詳しく知りたい人はここをクリック。

解答例２： ソートしたファイル(com1.sort)を作る

　　　　　　　% sort < com1.txt > com1.sort　（または % sort com1.txt > com1.sort）

　　　　　　　（com1.sortを上から順番に見ていく==> % more com1.sort）

(3) com1.txtに関して、組織の読みでソートされた、組織名（かな漢字混じり）だけ の一覧を出力する。

　　　　解答例： % sort < com1.txt | cut -f2 | more

(4) ３人の調査結果をあわせて、重複を取り除いたデータを見る。

　　　　解答例１： % cat com1.txt com2.txt com3.txt | sort | uniq | more

　　　　解答例２： % sort com1.txt com2.txt com3.txt | uniq | more

(4) ３人の調査結果で重複していたデータを見る。

　　　　解答例： % cat com1.txt com2.txt com3.txt | sort | uniq -d | more

では、以下の課題を自分の力で解いて下さい。コマンド解説にあるコマンドと パイプ、リダイレクションのみで処理すること（perlやawkを知っていても 使用しないこと）。

課題6－２
３人のデータを合わせて重複を取り除いたデータに対して、組織の読みで ソートされた組織名（かな漢字混じり）だけの一覧ファイルを 作成せよ。

結果の例：

              　　あいう商会
              　　いうえ商会
              　　かきく社
              　　・・・
課題6－３
３人のデータを合わせて重複を取り除いたデータが合計何件あるかを調べよ。
課題6－４
３人のデータを合わせて重複を取り除いたデータを新郵便番号でソートし、 新郵便番号と会社名のペアを出力せよ。各行の順序は郵便番号、会社名と なっていること。新郵便番号は文字としてソートすること。この課題は たぶん、１行のコマンドではできない。（１行でできた人は私（蔡）に 教えて下さい。）

結果の例：

              　　1056666　あいう商会
              　　1057777　かかか会社
              　　・・・
課題6－５
３人のデータを合わせて重複を取り除いたデータに関して、 各都道府県ごとの組織の数の一覧ファイルを作成せよ。

結果の例：

              　　5　熊本県
              　　8　鹿児島県
              　　・・・
課題6－６
課題6－２、6－４、6－５で作成したファイルの上５行のみを取り込んだ ファイルを作成せよ。（ヒント：headコマンド）

報告

　課題6－６で作成したファイルに以下の情報をmiで付け加え、ICT-LMSにアップロードする。miで読めないとき（反応が遅いことがあります）はテキストエディットを使ってください。 

          　(1) 「コンピュータリテラシ課題6報告書」、所属、学籍番号、名前、日付
          　　　（ファイルの一番上）
          　(2) 各５行のデータに課題番号が分かるように課題番号を付け加える。
          　(3) 各５行のデータをどのように作成したかを、打ち込んだコマンドを書け。
            (4) 課題6－３で打ち込んだコマンドと、その結果（件数）を課題6－３の
　　　　　　　　解と分かるように書け。
レポート例：

　　 

        　　　　　　　　情報　課題6　ＵＮＩＸ　シェル　コマンド　報告書
        
        　　　　　　　　ｇＸＸＸＸＸＸ、情報太郎
　　　　　　　　　　　　　　　　　　日付
        
        　　課題6－２： % xxxx | yyy | zzz > xyz.xxx
        　　　　　あいう商会
              　　いうえ商会
              　　かきく会社
              　　・・・
              
            課題6－３： % xx yy zz | xx2 | zzyy
　　　　　　３２件
            
            課題6－４： % yyz | dkfjd | dkj > ddd.dd
            　　　　　　 % dkfjd | dkfjd | eir > eeee.ee
            　　　　　　 % dkfj ddd.dd eee.ee | eeee -x -y > xxx.yyy
              　　1056666　あいう商会
              　　1057777　かかか会社
              　　・・・
              
            課題6－５： % xxx2 | yyy -xxx | dkfjd > dkfjd.dkfjd
              　　5　熊本県
              　　8　鹿児島県
              　　・・・
             　　　　　　　　　　　　　　　　　　　　　　　　　以上

演習で使用するコマンドの簡単な解説

演習で使用する機能・オプションに限定して説明。より詳しいオプション等の 説明はman コマンドで調べよ（% man command名）。
cat
more
sort
uniq
cut
wc
paste
head

cat 

　形式：cat x y z ...
　解説：ファイルx, y, z,...を左から順に標準出力に（つなげて）出力する。
　例：
　　% cat a.txt
　　1
　　3
　　5
　　% cat b.txt
　　2
　　4
　　6
　　% cat a.txt b.txt
　　1
　　3
　　5
　　2
　　4
　　6
コマンド一覧にもどる

more 

　形式： more x
　解説： ファイルxの内容を標準出力に出力するが、ウィンドウの大きさに合わせて
　　　　表示の一時停止をする。スペースを押すと、次が表示される。'q'で終了。
　　　　また、標準入力からも入れることができる。以下の２行のコマンドは等価。
　　　　　% more x
　　　　　% cat x | more
コマンド一覧にもどる

sort 

　形式：sort x y z ...
　解説：ファイルx y z ...をまとめてソートし、標準出力に出力する。。ソートとは、
　　　　ファイル中の各行をアルファベット順（日本語の場合はあいうえお順）に
　　　　並べなおすことである。入力ファイルは標準入力からでもよい。
　例：
　　% cat a.txt
　　え a
　　う c
　　あ b
　　% cat b.txt
　　い e
　　お d
　　% sort a.txt b.txt 　　(または % cat a.txt b.txt | sort )
　　あ b
　　い e
　　う c
　　え a
　　お d

　形式：sort -k n  x y ...
　解説：ファイルx, y, ...をソートするときに、'n-1'の数だけ項目をスキップして
　　　　各行を比較する。
　例：
　　% cat a.txt
　　え a
　　う c
　　あ b
　　% cat b.txt
　　い e
　　お d
　　% sort -k 2 a.txt b.txt 　(または、% cat a.txt b.txt | sort +1 )
　　え a
　　あ b
　　う c
　　お d
　　い e

*******
漢字やひらがな/カタカナなどが含まれる日本語テキストは、エンコーディングの関係でうまくソートできない。その場合は環境変数 LC_ALL=C または LANG=ja_JP.UTF-8 を設定する。

例

cat foo.txt | LC_ALL=C sort
コマンド一覧にもどる

uniq 

　形式： uniq x
　解説：ファイルxから、隣接する重複行を削除し標準出力に出力する。
　　　　（重複する行が複数行続くときに、１回しか出力されない）
　　　　ファイルを省略すると、標準入力からの入力になる。
　　　　（注意：行は完全に一致しているものだけ削除される）
　例：ファイルの中の重複した行を削除する。
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　% cat b.txt
　　い
　　う
　　え
　　お
　　% sort a.txt b.txt | uniq
　　あ
　　い
　　う
　　え
　　お

　形式： uniq -d x
　解説： ファイルxの重複した行だけ標準出力に出力。
　　　　　xを省略すると、標準入力が入力となる。
　例：ファイルの中の重複した行を削除する。
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　% cat b.txt
　　い
　　う
　　え
　　お
　　% sort a.txt b.txt | uniq -d
　　い
　　う
　　え

　形式： uniq -c x
　解説： 'uniq x'の出力の各行の先頭に重複の回数を付けて出力する。
　例：
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　% cat b.txt
　　い
　　う
　　え
　　お
　　% sort a.txt b.txt | uniq -c
　　   1 あ
　　   2 い
　　   2 う
　　   2 え
　　   1 お
コマンド一覧にもどる

cut 

　形式： cut -fn1,n2,... x
　解説： ファイルxの各行から指定されたフィールドを取り出す。n1,n2...は数字を
　　　　コンマで区切ったもので、この数字のフィールドを取り出す。フィールドは
　　　　オプションを指定しなければ、タブで区切られた文字列が左から、1,2,3,...
　　　　という番号となる。
　例：
　　% cat a.txt
　　あ      100     abc
　　い      200     def
　　う      300     ghi
　　え      400     jkl
　　お      500     mno
　　% cut -f2 a.txt
　　100
　　200
　　300
　　400
　　500
　　% cat a.txt | cut -f1,3
　　あ      abc
　　い      def
　　う      ghi
　　え      jkl
　　お      mno
コマンド一覧にもどる

wc 

　形式： wc x
　解説：ファイルxの行数、単語数、文字数を出力する。行数は改行コードの数、
　　　　単語は（半角）スペース、タブ、改行コードで挟まれた文字列のこと。
　　　　文字数は、スペース、タブ、改行コード数を含む（すなわち、ファイルの
　　　　バイト数に等しい）。日本語の場合は１文字２バイトなので、文字数
　　　　とは解釈できない。xが省略されると、標準入力から入力されたファイルに
　　　　対して処理する。
　例：
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　% cat a.txt | wc
　　       4       4      12
　（左から、４行、４単語、１２バイトを意味する。各行につき、日本語１文字
　　2バイトと改行コード1バイト、合わせて３バイトである。４行あるので、
　　3×4=12バイトとなる。日本語の場合は最初の行数しか意味がないと思ってよい。）
コマンド一覧にもどる

paste 

　形式： paste x y z ...
　解説：ファイルx,y,z,...の対応する各行をマージして１行にして出力する。
　　　　ファイル名の代わりに'-'を書くと、標準入力からの入力になる。
　例：
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　% cat b.txt
　　い
　　う
　　え
　　お
　　% paste a.txt b.txt
　　あ      い
　　い      う
　　う      え
　　え      お
コマンド一覧にもどる

head 

　形式： head x y z ...
　解説：ファイルx,y,z...の各先頭10行を標準出力に出力する。
　　　　ファイル名を省略すると、標準入力から読み込んだものの先頭10行を出力する。
　形式： head -n x y z ...
　解説：ファイルx,y,z,...の各先頭n行を標準出力に出力する。
　例：
　　% cat a.txt
　　あ
　　い
　　う
　　え
　　お
　　% cat b.txt
　　か
　　き
　　く
　　け
　　こ
　　% head -3 a.txt
　　あ
　　い
　　う
　　% head -2 a.txt b.txt
　　==> a.txt <==
　　あ
　　い
　　
　　==> b.txt <==
　　か
　　き
コマンド一覧にもどる