..bits & bytes teleported

I learned and played around a bit with the character sets in MySQL. What you see below is a simple MySQL test script to test the behaviour of MySQL with a couple of indic languages, I know- Bengali and Hindi. The key here is to create a column which will be using the 'utf8' character set and 'utf8_general_ci' collation:

CREATE TABLE t8 (c TEXT character set utf8 collate utf8_general_ci);
--warning WARN_DATA_TRUNCATED 

# Bengali
insert into t8 values(repeat('রবীন্দ্রনাথ ঠাকুর', 10000));

# Hindi
insert into t8 values('शाहरुख़ खान ये कहें कि सुपरस्टार शाहरुख़ खान एक ऐसे अभिनेता हैं जिन्होंने दिल्ली के एक आम शख्स से हिंदी सिनेमा के बेहद ख़ास अभिनेता बनने तक का सफ़र तय किया है.');
insert into t8 values(LOAD_FILE('$MYSQLTEST_VARDIR/hindi.txt'));

SELECT c, length(c) FROM t8; 

drop table t8;

Copy the above script into a file, say ctype_utf8_indic.test and (after copying it to your t/ directory) execute it with the MySQL test runner- mysql-test-run.pl script:perl mysql-test-run.pl ctype_utf8_indic. You should see something like this:

রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্র��াথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ রবীন্দ্রনাথ ঠাকুররবীন্দ্রনাথ ঠাকু  65534
शाहरुख़ खान ये कहें कि सुपरस्टार शाहरुख़ खान एक ऐसे अभिनेता हैं जिन्होंने दिल्ली के एक आम शख्स से हिंदी स बनने तक का सफ़र तय किया है.      831

Of course, the first type you run it, you will have to do a --record, or you may copy my .result file into your r/ directory and see if you get similar results. (My hindi.txt file)

One point to note here is that you won't need to confgiure your OS for either of the languages. However, you will need a editor which supports them. I found 'gedit' handy. I compiled 'vim' with multi-byte support, but haven't had any luck yet.

For some Bengali text, refer: http://www.bbc.co.uk/bengali/ and http://www.bbc.co.uk/hindi/ for Hindi.

Thank you Bar for helping me out!