Форум по операционной системе GNU/Linux и свободному программному обеспечению
http://linux-ru.ru:80/
вообще то, здесь информации мало:mmassa24 писал(а):Не получается справиться с задачей корректной транслитерации текстового файла кириллица-> латиница. Чего тока не пробовал.... Если кто-нибудь знает как сделать - помогите. Готовые скрипты принимаются с большой благодарностью
)что значит "может быть любая" - любая быть не может!mmassa24 писал(а):кодировка исходного файла может быть любая. Это - линукс
Код: Выделить всё
[olej@notebook _TEMP]$ ls -l
итого 8
-rw-rw-r-- 1 olej olej 20 Фев 23 23:39 cp1251.txt
-rw-rw-r-- 1 olej olej 35 Фев 23 23:37 utf-8.txt
Код: Выделить всё
[olej@notebook _TEMP]$ cat utf-8.txt
[attachment=1]utf-8.zip[/attachment]
[attachment=0]cp1251.zip[/attachment]
P.S. здесь движок форума идиотски настроен, у администраторов - паранойя, и расширения файлов .txt из числа запрещённых к прикреплению, я вам их переименовал в .zip ... но поверьте ;) - это .txt файлы.
это текстовый файл
Код: Выделить всё
[olej@notebook _TEMP]$ hexdump -b cp1251.txt
0000000 375 362 356 040 362 345 352 361 362 356 342 373 351 040 364 340
0000010 351 353 015 012
0000014
[olej@notebook _TEMP]$ hexdump -b utf-8.txt
0000000 321 215 321 202 320 276 040 321 202 320 265 320 272 321 201 321
0000010 202 320 276 320 262 321 213 320 271 040 321 204 320 260 320 271
0000020 320 273 012
0000023
utf-8.zip cp1251.zipможно, конечно, глянуть на утилиту file и посмотреть что она делает:Olej писал(а):это совершенно разные файлы.mmassa24 писал(а):кодировка исходного файла может быть любая. Это - линукс
Код: Выделить всё
[olej@notebook _TEMP]$ file utf-8.txt
utf-8.txt: UTF-8 Unicode text
[olej@notebook _TEMP]$ file cp1251.txt
cp1251.txt: ISO-8859 text, with CRLF line terminators
но даже если вы динамически определитесь с кодировкой файла (по ключу в команде запуска своей программы, или утилитой подобной file), то преобразование в таком варианте будет в десяток раз сложнее и более громоздким:Olej писал(а): - но file - угадывает содержимое-назначение файла по хитрой комбинации маджик-кодов (не только начальных, но и на любых фиксированных позициях).
И она не всегда удачно угадывает! И тогда преобразование пойдёт просто вразнос.
Достаточно приемлемое решение этой задачи показали здесь:mmassa24 писал(а):кодировка исходного файла может быть любая. Это - линукс
Код: Выделить всё
[olej@notebook _TEMP]$ ./translit.py < utf-8.txt
ehto tekstovyjj fajjl
[olej@notebook _TEMP]$ ./translit.py < cp1251.txt
Traceback (most recent call last):
File "./translit.py", line 173, in <module>
out.write( opts.func( b.decode(enc) ).encode(enc) )
File "/usr/lib/python2.6/encodings/utf_8.py", line 16, in decode
return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode bytes in position 0-5: unsupported Unicode code range
А iconv чем плох?Olej писал(а):я мог бы попробовать по-быстренькому написать вам конвертор
Код: Выделить всё
iconv -f CP1251 -t UTF-8 < file-cp1251 > file-utf8
это вы говорите о преобразовании кодировок, одну в другую, с сохранением содержания...bose писал(а):А iconv чем плох?Olej писал(а):я мог бы попробовать по-быстренькому написать вам конвертор