文字コードについて

　文字コードについての実用的な説明です。
　このページの仕様にもとづいて作成した文字コード表や、16進ダンプを使った解説や、中国語の文字コードのページもあります。

文字の種類

　文字は、JISローマ字、JISカナ、JIS漢字、JIS補助漢字の4種類に分類され、JIS規格によって決められています。この他に、制御コードと呼ばれるデータがあり、文字と同様に扱っています。
　また漢字は、94×94の領域に1字づつ配置されています。この横の行を区、縦の列を点と呼び、区点番号で表すこともあります。

JIS X 0211

JIS制御コード

JIS X 0201

JISローマ字 (ASCII)

JIS X 0201

JISカナ(半角カナ)

JIS X 0208

JIS漢字

JIS X 0212

JIS補助漢字

　ホームページや、メールなどで、以下の文字列を見ることが多いと思います。

　　Content-Type: text/plain; charset=ISO-2022-JP

　これは、テキストの文字コードが何で記述されているかを示すものです。
　ISO-2022-JPは、RFC-1468で定義されていて、インターネットでは標準的な日本語文字セットとして扱われています。 RFC-1468では、JISカナ、JIS補助漢字は、除外されています。このことが、いわゆる半角カナが使えないサイトが多い理由です。しかし、実際のデータとしては、使われている場合がありますので、入力データとしては対応しておくとトラブルが発生しません。半角カナを全角カナに変換することは簡単ですので、対応しておくと良いでしょう。
　charsetには、他にも、以下のような指定があります。

charset=ISO-8859-1

米国やヨーロッパで使われている文字セット

charset=ISO-2022-JP

半角カナを除くJISコードの日本語文字セット
実際には、半角カナが入っている場合もある

charset=Shift_JIS

SJISコードの日本語文字セット

charset=EUC-JP

EUCコードの日本語文字セット

charset=UTF-8

Unicode(UTF-8)の日本語文字セット

charset=UTF-16

Unicode(UTF-16)の日本語文字セット

文字コードの種類

　現在、インターネットの世界で使用されている文字コードは、JISコード、SJIS(Shift-JIS)コード、EUCコード、Unicodeの4つと考えてもほとんど問題はないと思います。
　以下に、よく利用されている4つのコードについての簡単な説明をします。

●JISコード

　インターネットで、最も標準的な文字コードです。 8ビットJISもありますが、ISO-2022-JPなどで使われているのは7ビットコードです。 7ビットコードでは最上位ビットを使用しないため、00-7Fまでの文字コードしか存在しません。
　JISコードでは、以下のエスケープシーケンスにより、文字の種類を決めます。

エスケープシーケンス

1バイト目

2バイト目

文字の種類

　

　

00-1F,7F

　

制御コード

1B 28 42

ESC ( B

20-7E

　

ASCII

1B 28 4A

ESC ( J

20-7E

　

JISローマ字

1B 28 49

ESC ( I

21-5F

　

JISカナ（半角カナ）

1B 24 40

ESC $ @

21-7E

21-7E

旧JIS漢字 (1978)

1B 24 42

ESC $ B

21-7E

21-7E

新JIS漢字 (1983/1990)

1B 24 44

ESC $ D

21-7E

21-7E

JIS補助漢字

　JISローマ字は、ASCIIのバックスラッシュが￥になった文字集合です。
　JIS漢字には、1978年制定の旧JISと、1983年/1990年制定の新JISがあります。この他、2000年制定のJIS第3水準、第4水準もありますが、ほとんど使われていないため、このページの最後に紹介する程度にします。

●シフトJISコード

　シフトJISコードは、SJISとも呼び、Microsoft社が決めたコードでWindows95やMS-DOSやMacなどで使用されています。シフトJISコードでは、JIS補助漢字は表現できません。
　SJISコードでは、エスケープシーケンスを使用しません。また、SJISコードでは半角カナを 1バイトで扱えるため、表示桁数と内部バイト数が一致するという特徴があります。ただし、第1バイトは必ず最上位ビットが立っていますが、第2バイトは立っていないこともあるので、プログラムをする場合は、注意しなければなりません。特に、逆方向文字列検索時は、要注意です。
　また、2バイト文字の中に"\"(0x5C)を含むデータが存在するため、文字列がメタ処理されてしまい、文字化けする可能性があります。

1バイト目

2バイト目

文字の種類

00-1F, 7F

　

制御コード

20-7E

　

JISローマ字(ASCII)

A1-DF

　

JISカナ(半角カナ)

81-9F
E0-EF

40-7E
80-FC

JIS漢字

●EUCコード

　Extended Unix Codeの略で、日本語UNIXで使われているコードです。
　EUCコードでは、エスケープシーケンスを使用せず、ASCII以外の文字は、JISコードの上位ビットを立てることにより識別しています。
　シフトJISと異なり、JISカナ(半角カナ)は、表示桁数は1桁ですが、内部のバイト数は2バイトとなります。そのため、JISカナ(半角カナ)に対応できていないプログラムが多いので、注意する必要があります。インターネットで、JISカナ(半角カナ)が使えない理由もここにあり、UNIXから普及したための制限です。
　JIS補助漢字の場合は、内部のバイト数は3バイトになります。

1バイト目

2バイト目

3バイト目

文字の種類

00-1F, 7F

　

　

制御コード

20-7E

　

　

JISローマ字(ASCII)

8E

A1-DF

　

JISカナ(半角カナ)

A1-FE

A1-FE

　

JIS漢字

8F

A1-FE

A1-FE

JIS補助漢字

●Unicode(UCS-2)

　Unicode(ユニコード)は、ユニコード・コンソーシアムによって制定された文字コードです。文字を2バイト、または4バイトで表し、世界中の文字を表現しようとしています。 Unicodeは、ISO 10646の中で、UCS-2(BMP)として採用されています。

　UCSは、Universal multiple-octet coded Character Setの略で、ISO 10646で制定されている世界統一文字コード規格です。 UCSには、2バイト(オクテット)で表すUCS-2と、4バイトで表すUCS-4があります。 UCS-4では、4バイトを群(Group)、面(Plane)、区(Row)、点(Cell)で表しますが、ほとんど使われていません。このUCS-4の0群0面を基本多言語面(BMP:Basic Multilingual Plane)と呼びます。
　UCS-2は、BMPの上位の2バイトを省略した文字コードのことで、Unicodeと同一の仕様となっています。

　Unicode(UCS-2)では、A,I,O,Rの4つの領域に分かれています。
　日本語のJIS X 0208およびJIS X 0212は、CJK統合漢字として格納されています。 CJK統合漢字とは、中国(China)、日本(Japan)、韓国(Korea)の似ている漢字を同じ文字コードに割り当てたものです。

領域名

文字コード

内容

A領域

00-4D

Alphabet領域のことで、アルファベットなどの表意文字を格納する領域

I領域

4E-9F

Ideograph領域のことで、CJK統合漢字などの表意文字を格納する領域

O領域

A0-DF

Open領域のことで、将来の拡張ための予備領域
0xD7-0xDFは、サロゲート領域で、UCS-4の1面から16面の拡張用

R領域

E0-FF

Restricted領域のことで、PUAなどの限定使用領域
PUAとは、Private Use Areaの略で、外字などを格納する領域のこと

　JavaやXMLは、基本コードとして、Unicodeを採用しています。また、WindowsNTやWindows98やWindows2000も、Unicodeを採用しています。
　従って、今後は、Unicode化が進んでいくでしょう。

UTF-8のエンコード方法

　UTF-8は、UnicodeとASCIIコードを混在させるための規格です。Unicodeでは、0x0000-0x007Fの文字コードは、ASCIIコードの0x00-0x7Fと同じとなっていることを利用して変換します。
　UTF-8では、ASCIIコードは、1バイトで表しますが、0x0800から0xFFFFまでのマルチバイト文字は、3バイトで表します。
　UTF-8では、各文字の先頭ビットにより、文字の種類を簡単に判定できます。

1ビットめの値

0:制御コード、ASCII文字

1:マルチバイト文字

マルチバイト文字の2ビットめの値

0:先頭文字以外

1:先頭文字

マルチバイト文字の先頭文字の3ビットめの値

0:2バイト文字(0x0080-0x07FF)

1:3バイト文字以上(0x0800-0x0010FFFF)

3バイト以上のマルチバイト文字の先頭文字の4ビットめの値

0:3バイト文字(0x0800-0xFFFF)

1:4バイト文字(0x00010000-0x0010FFFF)

1バイト目

2バイト目

3バイト目

4バイト目

文字の種類

00-7F
0xxxxxxx

　

　

　

制御コード
ASCII文字

C0-DF
110xxxxx

80-BF
10xxxxxx

　

　

UCS-2マルチバイト文字
（0x0080-0x07FF）

E0-EF
1110xxxx

80-BF
10xxxxxx

80-BF
10xxxxxx

　

UCS-2マルチバイト文字
（0x0800-0xFFFF）

F0-F7
11110xxx

80-BF
10xxxxxx

80-BF
10xxxxxx

80-BF
10xxxxxx

UCS-4マルチバイト文字
（0x00010000-0x0010FFFF）

※ 上段は16進数、下段は2進数（x のビットは 0 または 1）

UTF-16のエンコード方法

　UTF-16は、Unicode(UCS-2)の文字は、そのまま2バイトで表現するUnicodeの標準的なエンコード方法です。 UCS-2のO領域内のサロゲート領域(0xD7-0xDF)を使って、UCS-4の中から、1面から、16面までの文字も表現できます。文字コードで言うと、0x00000000〜0x0010FFFFの文字が表現できます。

1バイト目

2バイト目

3バイト目

文字の種類

00-D7,E0-FF

00-FF

　

Unicode(UCS-2)の文字

D8-DF

00-FF

00-FF

UCS-4の第1面から第16面の文字

JIS第3水準、JIS第4水準について

　漢字を第3水準および第4水準まで拡張する規格として、JIS X 0213があります。特徴としては、第2面が追加されて、大幅に文字数が増加しました。
　しかし、外字領域に第3水準や第4水準の文字が割り当てられているため、互換性に問題があります。また、符号化方法も現状と異なるみたいです。
　JIS X 0213の主な変更点は以下のとおりです。 Windows標準にもなった、13区のNEC拡張文字も、正式に規格化されたみたいです。 

第1面
　1-12区のJIS X 0208未定義部分に、拡張非漢字を追加
　13区に、NEC拡張文字を追加(1-12区と重複するものは未定義)
　14-94区のJIS X 0212未定義部分に、第3水準漢字を追加
第2面
　JIS X 0212未定義部分に、第4水準漢字を追加

　しかし、世の中がUnicodeに向けて動いているのに、よくわからない規格（企画？）です。
　ただ、charset=ISO-2022-JP-3となるみたいなので、UTF-8として扱えるでしょう。
　でも、現状では、charset=ISO-2022-JP-2でさえ、ほとんど普及していません。