2009-07-05

mb_detect_encoding() は文字コードの妥当性検証として使用できるか(その3)

PHP mbstring

遅くなりましたが、以下の続きです。

今回は ISO-2022-JP、ISO-2022-JP-MS、UTF-16、UTF-16BE、UTF-16LE について、mb_check_encoding() と mb_detect_encoding() を比較しました。調査した PHP のバージョンは、5.2.9 で、前々回(mb_detect_encoding() は文字コード判定として使用できるか(その1))の Patch を適用したもので調査しました。通常の PHP の結果とは一致しません。
間違いを発見した方はコメントなどでご指摘ください。

ISO-2022-JP

正規表現

mb_detect_encoding()	\A([\x00-\x1a\x1c-\x7f]\|\x1b\x24[\x40\x42]([\x21-\x7e][\x21-\x7e])+\|\x1b\x24\x28[\x40\x42\x44]([\x21-\x7e][\x21-\x7e])+\|\x1b\x28\x42)*\z
mb_check_encoding()	正規表現では記述不可

相違点

mb_check_encoding() では、ISO-2022-JP の判定を正規表現で記述できませんでした。mb_detect_encoding() での範囲は TRUE になりますが、その他の FALSE となるべきバイト列の場合でも TRUE を返します。例えば、"1b", "1b00", "1b2400" などは FALSE となるべきですが、mb_check_encoding() の判定では TRUE となります。

ISO-2022-JP-MS

正規表現

mb_detect_encoding()	\A([\x00-\x1a\x1c-\x7f]\|\x1b\x24[\x40\x42]([\x21-\x7e][\x21-\x7e])+\|\x1b\x24\x28[\x40\x42\x44]([\x21-\x7e][\x21-\x7e])+\|\x1b\x28\x42\|\x1b\x28\x4a[\x00-\x1a\x1c-\x7f]+\|\x1b\x28\x49[\x00-\x1a\x1c-\x7f]+\x1b\x28\x42)*\z
mb_check_encoding()	正規表現では記述不可

相違点

ISO-2022-JP と同様に ISO-2022-JP-MS の判定を正規表現で記述できませんでした。不正なバイト列でも TRUE を返す場合があります。

UTF-16

正規表現

mb_detect_encoding()	常に FALSE
mb_check_encoding()	\A([\x00-\xd7\xe0-\xff][\x00-\xff]\|[\xd8-\xdb][\x00-\xff][\xdc-\xdf][\x00-\xff])*\z(※)

※ mb_check_encoding() では一部の文字が FALSE になります。

相違点

mb_detect_encoding() では、常に FALSE を返します。 mb_check_encoding() は、Little Endian における、BOM(fffe) が FALSE になります。

UTF-16BE

正規表現

mb_detect_encoding()	常に FALSE
mb_check_encoding()	\A([\x00-\xd7\xe0-\xff][\x00-\xff]\|[\xd8-\xdb][\x00-\xff][\xdc-\xdf][\x00-\xff])*\z

相違点

mb_detect_encoding() では、常に FALSE を返します。

UTF-16LE

正規表現

mb_detect_encoding()	常に FALSE
mb_check_encoding()	\A([\x00-\xff][\x00-\xd7\xe0-\xff]\|[\x00-\xff][\xd8-\xdb][\x00-\xff][\xdc-\xdf])*\z

相違点

mb_detect_encoding() では、常に FALSE を返します。

まとめ

mb_check_encoding() は、前回に書いた通り多くの注意点がある上、TRUE と返すべき文字を FALSE と返すことがあります(その逆もあります)。このため、致命的ではありませんが、文字コードの妥当性判定に使用する場合には注意する必要があります。そこで、mb_detect_encoding() が mb_check_encoding() の代替にならないかと考えて調べてみましたが、最初に結論として書いた通り、現状では使えません。
以下に現状(PHP 5.2.9) mb_detect_encoding() の問題点を挙げておきます。PHP 5.2.10 と PHP 5.3.0 も公開されましたが、同様です。

現状では、Patch を適用しないと文字コードの妥当性判定としては使えない(mb_detect_encoding() は文字コード判定として使用できるか(その1))
UTF-8 の判定が弱い(冗長な表現、サロゲートペアの領域についても妥当と判定する)
UTF-16、UTF-32 など、いくつかの文字コードには対応していない

2009-07-05

mb_check_encoding() の代替関数

PHP

これまでに挙げた文字コードについて、正規表現を使用して mb_check_encoding() の代替用の関数を書いてみました。ある程度、妥当なものになっているとは思いますが、間違い等に気付いた方がおられましたら、ご指摘ください。
UTF-8 については、RFC3629 を参考にしました。各文字は4バイト以下、冗長な表現、サロゲートペアの領域を FALSE と判定します。

<?php
function is_valid_encoding( $str, $encoding )
{
    switch ( $encoding ) {
    case 'ASCII' :
        $regex = '/(?:'
            . '[\x00-\x7f]'                                             // ASCII (mb_check_encoding)
//          . '[\x00\x09\x0a\x0d\x20-\x7f]'                             // ASCII (mb_detect_encoding)
            . ')/';
        break;

    case 'SJIS' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '[\xa1-\xdf]|'                                            // いわゆる半角カナ
            . '[\x81-\x9f\xe0-\xef][\x40-\x7e\x80-\xfc]'
            . ')/';
        break;

    case 'SJIS-win' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '[\xa1-\xdf]|'                                            // いわゆる半角カナ
            . '[\x81-\x9f\xe0-\xfc][\x40-\x7e\x80-\xfc]'
            . ')/';
        break;

    case 'EUC-JP' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '[\xa1-\xfe][\xa1-\xfe]|'
            . '\x8e[\xa1-\xfe]|'                                        // いわゆる半角カナ
            . '\x8f[\xa1-\xfe][\xa1-\xfe]'
            . ')/';
        break;

    case 'eucJP-win' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '[\xa1-\xfe][\xa1-\xfe]|'
            . '\x8e[\xa1-\xfe]|'                                        // いわゆる半角カナ
            . '\x8f[\xa1-\xfe][\xa1-\xfe]'
            . ')/';
        break;

    case 'CP51932' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '[\xa1-\xfe][\xa1-\xfe]|'
            . '\x8e[\xa1-\xfe]'                                         // いわゆる半角カナ
            . ')/';
        break;

    case 'UTF-8' :                                                      // 参照: http://tools.ietf.org/html/rfc3629
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // U+0000   - U+007F
            . '[\xc2-\xdf][\x80-\xbf]|'                                 // U+0080   - U+07FF
            . '\xe0[\xa0-\xbf][\x80-\xbf]|'                             // U+0800   - U+0FFF
            . '[\xe1-\xec][\x80-\xbf][\x80-\xbf]|'                      // U+1000   - U+CFFF
            . '\xed[\x80-\x9f][\x80-\xbf]|'                             // U+D000   - U+D7FF
            . '[\xee-\xef][\x80-\xbf][\x80-\xbf]|'                      // U+E000   - U+FFFF
            . '\xf0[\x90-\xbf][\x80-\xbf][\x80-\xbf]|'                  // U+10000  - U+3FFFF
            . '[\xf1-\xf3][\x80-\xbf][\x80-\xbf][\x80-\xbf]|'           // U+40000  - U+FFFFF
            . '\xf4[\x80-\x8f][\x80-\xbf][\x80-\xbf]|'                  // U+100000 - U+10FFFF
            . ')/';
        break;

    case 'ISO-2022-JP' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '\x1b\x24[\x40\x42](?:[\x21-\x7e][\x21-\x7e])+|'          // ESC $ @,B
            . '\x1b\x24\x28[\x40\x42\x44](?:[\x21-\x7e][\x21-\x7e])+|'  // ESC $ ( @,B,D
            . '\x1b\x28\x42'                                            // ESC ( B
            . ')/';
        break;

    case 'ISO-2022-JP-MS' :
        $regex = '/(?:'
            . '[\x00-\x7f]|'                                            // ASCII
            . '\x1b\x24[\x40\x42](?:[\x21-\x7e][\x21-\x7e])+|'          // ESC $ @,B
            . '\x1b\x24\x28[\x40\x42\x44](?:[\x21-\x7e][\x21-\x7e])+|'  // ESC $ ( @,B,D
            . '\x1b\x28\x42|'                                           // ESC ( B
            . '\x1b\x28\x4a[\x00-\x1a\x1c-\x7f]+|'                      // ESC ( J
            . '\x1b\x28\x49[\x00-\x1a\x1c-\x7f]+'                       // ESC ( I
            . ')/';
        break;

    case 'UTF-16' :
        if ( (bool)preg_match( '/\A\xff\xfe/', $str ) ) {               // BOM(Little Endian)
            $regex = '/(?:'
                . '[\x00-\xff][\x00-\xd7\xe0-\xff]|'                    // U+0000-U+D7FF, U+E000-U+FFFF
                . '[\x00-\xff][\xd8-\xdb][\x00-\xff][\xdc-\xdf]'        // サロゲートペア(U+D800-U+DBFF)
                . ')/';
        }
        else {                                                          // BOM(Big Endian) BOMがない場合は Big Endian
            $regex = '/(?:'
                . '[\x00-\xd7\xe0-\xff][\x00-\xff]|'                    // U+0000-U+D7FF, U+E000-U+FFFF
                . '[\xd8-\xdb][\x00-\xff][\xdc-\xdf][\x00-\xff]'        // サロゲートペア(U+D800-U+DBFF)
                . ')/';
        }
        break;

    case 'UTF-16BE' :                                                   // BOMは不可
        $regex = '/(?:'
            . '[\x00-\xd7\xe0-\xff][\x00-\xff]|'                        // U+0000-U+D7FF, U+E000-U+FFFF
            . '[\xd8-\xdb][\x00-\xff][\xdc-\xdf][\x00-\xff]'            // サロゲートペア(U+D800-U+DBFF)
            . ')/';
        break;

    case 'UTF-16LE' :                                                   // BOMは不可
        $regex = '/(?:'
            . '[\x00-\xff][\x00-\xd7\xe0-\xff]|'                        // U+0000-U+D7FF, U+E000-U+FFFF
            . '[\x00-\xff][\xd8-\xdb][\x00-\xff][\xdc-\xdf]'            // サロゲートペア(U+D800-U+DBFF)
            . ')/';
        break;

    default :
        return FALSE;
    }

    $result = preg_replace( $regex, '', $str );
    if ( $result !== '' ) {
        return FALSE;
    }
    return TRUE;
}

最後の判定に preg_replace() を使用しているのは、preg_match() で長い文字列をマッチさせると、PHP が Segmentation Fault を起こすことがあるためです。この原因は調べていません。
単純な例としては、以下の通りです。

$ php -r 'var_dump( preg_match( "/(.)*/", str_repeat( "A", 10000 ) ) );'
zsh: segmentation fault