Mac os кодировка windows 1251

Время на прочтение
6 мин

Количество просмотров 40K

Случилось мне иметь ноут на OS X, комп на Linux и одного из друзей с Windows. И вот через dropbox обмениваются все эти три компа документами разными. В том числе и текстовыми, в которых хранятся разные заметки, задачи и т.п. И вот незадача: тексты написанные на MacOSx плохо читаются в блокноте Винды, а виндовые в textedit на MacOSx.

И вся причина в том, что на винде блокнот использует кодировку Windows 1251, а на OS X используется по умолчанию MACCYRILLIC. Причем обе программы без проблем работают с UTF-8 кодировкой.
Вот только конвертировать из одной кодировки в другую как-то неудобно, лишнее время тратить на открытие терминала и набор заветных команд iconv…

Пораздумав, написал небольшой скрипт, который сам определяет используемую кодировку и конвертирует в UTF-8 все txt-файлы.

Что использую для всего:
Python 2.7
Mac OS X 10.7.5
PyCharm IDE

Изначально сделал определение кодировки самостоятельно, без дополнительных модулей. Но по совету ad3w решил переписать с использованием готового модуля chardet для определения кодировки.
Кому интересно, предыдущий

#!/usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'virtustilus'

import os
import sys

#Автоматический режим при запуске с параметрами
automatic=False

#общие данные
appdata={'enc':'','curfile':''}

#Массив файлов для конвертации
toconvert=[]

#массив на загрузку
r=[]
if len(sys.argv)>1:
    r=sys.argv[1:]
    automatic=True
else:
    i=raw_input(u'INPUT PATH:')
    r+=[i]


def print1(s):
    """
    Функция печатает данные, если не в автоматическом режиме
    """
    if not automatic:
        print s


#Строка с возможными символами
utfrustring=u'АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдеёжзийклмнопрстуфхцчшщъыьэюя'
utfrustring+=u'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'
utfrustring+=u'1234567890-=—+_}{][\\"|;:\'/?><.,`~§±!@#$%^&*()№ \r\n « » \u0009 \u2013 \u201c \u201d'


def checkline(s,encoding=''):
    """
    проверка одной строки на правильность символов
    """
    hist=''
    b=True
    for i in range(0,len(s)):
        c=s[i]
        try:
            if not c in utfrustring:
                #Отладка: если в UTF-8 кодировке неверный символ, лучше его показать
                if encoding==u'UTF-8':
                    hist+= c + u' ' + str(hex(ord(c))) + u' at ' + str(i) + u' in: ' + s + '\n'
                b=False
                break
        except:
            if encoding==u'UTF-8':
                hist+=u'error encoding \n'
            b=False
            break
    return (b,hist)




def check_all_lines(lines, encoding=''):
    """
    Проверка массива строк для файла
    """
    foundenc=appdata['enc']

    if foundenc:
        return foundenc
    if encoding=='':
        foundenc=u'UNICODE'
    else:
        foundenc=encoding
    x=lines[:]
    for j in x:
        if encoding!='':
            try:
                j=unicode(j,encoding)
            except:
                foundenc=''
                break
        cl=checkline(j,encoding)
        if not cl[0]:
            if cl[1]!='':
                print1(u'Error in:'+appdata['curfile'])
                print1(cl[1])
            foundenc=''
            break
    appdata['enc']=foundenc


#Если передана директория, а не файл, собрать все входящие текстовые файлы
if len(r)==1 and os.path.isdir(r[0]):
    a=r[0]
    r[:]=[]
    for i in os.walk(a):
        p=i[2]
        for j in p:
            if j.endswith('.txt'):
                r+=[i[0]+'/'+j]



if len(r)>0:
    for i in r:
        i=unicode(i,u'UTF-8')
        #обратите внимание, тут конвертация имени файла в UNICODE и проверка txt также в UNICODE: u'.txt'
        if i.endswith(u'.txt'):
            f=file(i,'r')
            lines=f.readlines()
            f.close()

            appdata['curfile']=i

            #Проверяем некоторые кириллические кодировки

            check_all_lines(lines,'')
            check_all_lines(lines,u'MACCYRILLIC')
            check_all_lines(lines,u'CP866')
            check_all_lines(lines,u'CP1251')
            check_all_lines(lines,u'KOI8R')
            check_all_lines(lines,u'CP10007')
            check_all_lines(lines,u'UTF-8-MAC')
            check_all_lines(lines,u'UTF-8')
            check_all_lines(lines,u'UTF-8-MAC')
            check_all_lines(lines,u'UTF-16')
            check_all_lines(lines,u'UTF-16BE')
            check_all_lines(lines,u'UTF-7')
            check_all_lines(lines,u'CP1252')
            check_all_lines(lines,u'KOI8-U')
            check_all_lines(lines,u'KOI8-RU')
            check_all_lines(lines,u'ISO-8859-5')


            if not appdata['enc']:
                toconvert.append((i,u'NOT FOUND ENCODING'))

            if appdata['enc'] and appdata['enc']!=u'UTF-8':
                toconvert.append((i,appdata['enc']))

        else:
            print1(u'\nFile '+i+u' is not text file. \n\n')


    if toconvert:
        c=0
        for i in toconvert:
            if i[1]!=u'NOT FOUND ENCODING':
                c+=1
        if c>0:
            print1(u'\n\n FOUND FILES TO CONVERT: ')
            for i in toconvert:
                print1(i[0] + u' in encoding ' + i[1])

            bt=True
            if not automatic:
                w=raw_input(u'Convert '+str(c)+u' files? (N)')
                bt= (w=='Y' or w=='y' or w=='Д' or w=='д' or w=='да' or w=='Да')
            if bt:
                for i in toconvert:
                    if i[1]!=u'NOT FOUND ENCODING':
                        f=file(i[0],'r')
                        x=f.readlines()
                        f.close()
                        x=[ unicode(k,i[1]) for k in x ]
                        x=[ k.encode(u'UTF-8') for k in x]
                        f=file(i[0],'w')
                        f.writelines(x)
                        f.close()
                        print1(u'FILE '+i[0]+u' CONVERTED SUCCESSFULLY :) ')
            else:
                print1(u'Bye!')
        else:
            print1(u'NO FILES TO CONVERT')
            for i in toconvert:
                print1(i[0] + u' in encoding ' + i[1])

    else:
        print1(u' ALL ENCODING IS OK (UTF-8)!!! :)')



else:
    print1(u'NO ONE TXT FILE')

Скачиваем модуль chardet 1.1,
Распаковываем и устанавливаем:

python setup.py install

Создаем свой скрипт для перекодировки файлов:

#!/usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'virtustilus'

import os
import sys
import chardet

files=sys.argv[1:]
#если запуск без параметров, запрашиваем путь
if len(files)==0: files=[raw_input(u'INPUT PATH:')]

#собираем текстовые файлы и проходим по папкам
files_to_convert=[]
for i in files:
    if os.path.exists(i):
        if os.path.isdir(i):
            for w in os.walk(i):
                for wfile in w[2]:
                    if wfile.lower().endswith('.txt'):
                        files_to_convert+=[w[0]+'/'+wfile]
        elif os.path.isfile(i):
            #если был выбран файл специально, не важно какое расширение
            files_to_convert+=[i]

if len(files_to_convert)>0:
    for i in files_to_convert:
        f=file(i,'r')
        text=''.join(f.readlines())
        f.close()
        enc=chardet.detect(text).get('encoding')
        #Чтобы лишний раз не перезаписывать файл (dropbox), проверяем его кодировку
        if enc!='UTF-8':
            #Обходим ошибку перекодировки файла при пустом файле или другом случае
            try:
                text=text.decode(enc).encode('UTF-8')
                f=file(i,'w')
                f.write(text)
                f.close()
            except:
                pass

#!/usr/bin/python
# -*- coding: utf-8 -*-
__author__ = 'virtustilus'

import os
import sys
import chardet

def may_be_1251(text_not_changed, encoding):
    """
    Функция проверяет возможность Win1251, если chardet написал, что это MacCyrillic
    И возвращает кодировку
    Например в данном тексте chardet считает, что это MacCyrillic:

    1. ”становить пробную Advanced-версию
    2. ”бедитьс€, что программа закрыта (в т.ч. и агент в области уведомлений)
    3. —копировать библиотеку mfc100u.dll в папку с программой и согласитьс€ на замену
    """
    simbols = u'АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдеёжзийклмнопрстуфхцчшщъыьэюя'
    simbols += u'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz'
    simbols += u'1234567890-=—+_}{][\\"|;:\'/?><.,`~§±!@#$%^&*()№ \r\n'
    if encoding.lower() == 'maccyrillic':
        err_mac = err_win = 0
        try:
            t_win = text_not_changed.decode('cp1251')
        except:
            err_win += 1000000
        try:
            t_mac = text_not_changed.decode('MacCyrillic')
        except:
            err_mac += 1000000
        for i in t_win:
            if i not in simbols and i != u'\n':
                err_win += 1
        for i in t_mac:
            if i not in simbols:
                err_mac += 1
        if err_mac > err_win:
            encoding = 'cp1251'
    return encoding

paths = sys.argv[1:]

#если запуск без параметров, запрашиваем путь
if len(paths) == 0: paths = [raw_input(u'INPUT PATH:')]

#выбираем директории и файлы (файлы любые, т.к. они были выбраны пользователем "не зря")
dirs = [i for i in paths if os.path.exists(i) and os.path.isdir(i)]
files = [i for i in paths if os.path.exists(i) and os.path.isfile(i)]

#рекурсивно проходим по поддиректориям
for i_dir in dirs:
    for wpath, wdirs, wfiles in os.walk(i_dir):
        files += [wpath + '/' + i for i in wfiles if i.lower().endswith('.txt')]

for i in files:
    with open(i, 'r') as f:
        text = ''.join(f.readlines())
    enc = may_be_1251(text, chardet.detect(text).get('encoding'))
    #Чтобы лишний раз не перезаписывать файл (dropbox), проверяем его кодировку
    if enc and enc.lower() != 'utf-8':
        #Обходим ошибку перекодировки файла при пустом файле или другом случае
        try:
            text = text.decode(enc)
            #На новой версии OS X 10.8 текстедиту не нравятся символы \r
            text = text.replace(u'\r', '').encode('utf-8')
            #Обнаружил проблему: если питон увидит кодировку, то он в ней и будет работать. Нам это не нужно, поэтому удаляем файл
            os.unlink(i)
            with open(i, 'w') as f:
                f.write(text)
        except:
            pass

Далее необходимо сделать удобным запуск данного скрипта прямо из папки в OS X.

Открываем Automator и создаем Службу.
Вверху выбираем пункты, чтобы получилось «Служба получает файлы и папки в Finder.app».

Далее ставим действие «получить выбранные объекты Finder».
Далее «Запустить Shell-скрипт» в настройках его «Передать ввод: как аргументы» и в нем содержание:

for f in "$@"
do
	python /ПУТЬ_К_ВАШЕМУ_СКРИПТУ/convert_encoding.py "$f" 2>/dev/null
done

Дописал 2>/dev/null, чтобы автоматор не останавливал выполнение при выводе ошибки модуля chardet.

И последний пункт «Show Growl Notification» (в нем можно написать, что конвертация произведена).

Сохраняем с именем латинскими буквами (с русскими у меня почему-то пункт в меню не появлялся, пока не переименовал) и проверяем.

Новый пункт меню появится в Finder в меню файлов и папок в подменю Сервисы.

P.S. Это уже 5-ая редакция скрипта после комментариев и опыта его использования.
P.S. Обнаружил проблему: если питон увидит кодировку файла, в который пишет, то он в ней и будет работать. Нам это не нужно, поэтому удаляем файл перед сохранением.

Кодировка текстовых файлов является важным аспектом каждой операционной системы. В данной статье мы рассмотрим особенности кодировки txt в Mac OS и предоставим детальное руководство по работе с ней.

Кодировка txt определяет, каким образом символы и символьные последовательности преобразуются в байты. Mac OS предоставляет несколько опций для кодировки txt, включая UTF-8, UTF-16, ASCII и др. Каждая из них имеет свои особенности и применение.

В данной статье мы рассмотрим каждую кодировку подробно, объясним их различия и рекомендации по применению в разных случаях. Также мы расскажем о способах изменения кодировки для существующих txt-файлов и создания новых файлов с нужной кодировкой в Mac OS.

Это руководство будет полезным для всех пользователей компьютеров на базе Mac OS, которые работают с текстовыми файлами и хотят получить более глубокое понимание кодировки текста и улучшить свой опыт работы с ней.

Кодировка Txt в Mac OS

В Mac OS поддерживаются различные кодировки для текстовых файлов, такие как UTF-8, UTF-16, ASCII и многие другие. UTF-8 считается наиболее распространенной и универсальной кодировкой, которая поддерживает большинство языков и символов.

Чтобы изменить кодировку текстового файла в Mac OS, вам потребуется использовать специальные программы или редакторы, такие как TextEdit, Sublime Text, Atom и другие. В этих редакторах часто есть опция для выбора кодировки при сохранении файла.

Если файл уже сохранен, но отображается неправильно из-за неправильной кодировки, вы можете попробовать открыть его в другом текстовом редакторе и изменить кодировку вручную. В большинстве случаев это можно сделать через меню «Файл» или «Сохранить как».

Если вы работаете с текстом на разных языках или символах, рекомендуется всегда использовать UTF-8 при сохранении файлов. Это позволит обеспечить совместимость и правильное отображение текста на разных платформах.

В заключение, правильная кодировка текстовых файлов в Mac OS является важным аспектом при работе с компьютером. Выберите подходящую кодировку для своих файлов и убедитесь, что текст отображается корректно, чтобы избежать проблем с символами и языковыми особенностями.

Подробное руководство для пользователей

В Mac OS существует несколько способов кодирования текстовых файлов в формате TXT. В этом руководстве мы рассмотрим основные методы и поделимся советами, чтобы помочь вам выбрать подходящую кодировку для вашего файла.

1. Выбор кодировки при сохранении файла

При сохранении текстового файла в формате TXT в Mac OS, вы можете выбрать кодировку в опции сохранения. По умолчанию используется кодировка UTF-8, которая поддерживает большинство языков и символов. Однако, если ваш текст содержит специфические символы или использует другую кодировку, вам следует выбрать соответствующую кодировку перед сохранением.

2. Конвертация кодировки существующего файла

Если у вас уже есть текстовый файл в формате TXT с неправильной кодировкой, вы можете легко конвертировать его в нужную кодировку. Для этого можно воспользоваться различными текстовыми редакторами или специальными приложениями, доступными в Mac OS. В некоторых редакторах есть возможность автоматической конвертации кодировки, в то время как другие могут предоставлять опции для выбора кодировки при сохранении.

3. Поддержка различных языков и кодировок

Mac OS обеспечивает поддержку большого количества языков и кодировок. Вы можете использовать различные кодировки, такие как UTF-8, UTF-16, Windows-1251 и другие, чтобы правильно отображать символы и специфические языки в ваших текстовых файлах. Убедитесь, что вы выбрали правильную кодировку, чтобы ваш текст отображался корректно без искажений или ошибок.

4. Проверка кодировки вашего файла

Если вы не уверены, какая кодировка используется в вашем текстовом файле, вы можете проверить его с помощью текстовых редакторов или специальных онлайн-инструментов. Они позволят вам просмотреть кодировку файла и, при необходимости, конвертировать его в другую кодировку.

При использовании кодировок и сохранении текстовых файлов в формате TXT в Mac OS, всегда помните о правильном выборе кодировки, чтобы избежать проблем с отображением и сохранением текста.

Советы по выбору правильной кодировки

Правильный выбор кодировки текста важен для того, чтобы гарантировать его корректное отображение и интерпретацию на разных платформах и устройствах. Вот несколько советов, которые помогут вам выбрать правильную кодировку для ваших файлов текста в Mac OS:

1. Учитывайте совместимость.

Перед выбором кодировки убедитесь, что она совместима с программами и системами, в которых будет использоваться ваш файл текста. Некоторые кодировки могут быть неподдерживаемыми или приводить к некорректному отображению символов на определенных платформах. Поэтому важно узнать, поддерживает ли ваша целевая платформа выбранную кодировку.

2. Разберитесь с Unicode.

Unicode — это стандартная кодировка, которая предоставляет универсальное решение для работы с множеством языков и символов. Использование Unicode (например, UTF-8) обеспечит наибольшую совместимость и предотвратит проблемы с отображением специальных символов или символов не на латинице.

3. Правильно задайте кодировку.

При сохранении или экспорте текстовых файлов вам потребуется указать желаемую кодировку. Убедитесь, что выбранная кодировка правильно соответствует содержанию вашего текста. Например, если ваш текст содержит русские символы, выберите кодировку UTF-8 или Windows-1251 для корректного отображения.

4. Проверяйте результаты.

После сохранения или экспорта текстового файла проверьте результаты в различных платформах и приложениях, чтобы убедиться, что текст отображается корректно. Если возникают проблемы с отображением или интерпретацией символов, возможно, вам следует изменить кодировку или использовать специальные инструменты или настройки для поддержки нужных символов и языков.

5. Консультируйтесь с документацией и экспертами.

В случае сомнений или сложностей с выбором правильной кодировки обратитесь к документации или обратитесь за помощью к источникам, таким как форумы или сообщества разработчиков. Эксперты могут предложить рекомендации и советы, учитывая особенности вашего проекта или файлов текста.

Следуя этим советам, вы сможете выбрать правильную кодировку для ваших текстовых файлов в Mac OS и достичь оптимального отображения и интерпретации текста на различных платформах и устройствах. Это поможет вам избежать возможных проблем и несоответствий в отображении символов и содержания текста.

Как изменить кодировку существующих файлов

Изменение кодировки существующих файлов в Mac OS может быть нужно, например, если вы получили файл от кого-то другого и он отображается неправильно, или если вы хотите изменить кодировку файла для совместимости с программами или устройствами.

Чтобы изменить кодировку существующего файла, вам понадобится использовать текстовые редакторы или специализированные программы. Ниже приведены несколько способов, как это можно сделать:

1. Использование текстового редактора

Если ваш файл в текстовом формате, его можно открыть с помощью текстового редактора, такого как TextEdit, BBEdit или Sublime Text. В меню выберите «Открыть файл» и найдите нужный файл.

Далее в меню выберите «Формат» или «Кодировка» и выберите нужную кодировку, например, UTF-8 или Windows-1251. Далее сохраните изменения.

2. Использование специализированных программ

Существуют специализированные программы, которые могут помочь вам изменить кодировку файлов. Некоторые из них включают в себя BatchMod или TextWrangler. Они предлагают возможности пакетной обработки файлов и позволяют изменить кодировку множества файлов за один раз.

3. Использование командной строки

Если вы знакомы с командной строкой, вы можете использовать инструменты командной строки для изменения кодировки файлов. Например, вы можете использовать команду «iconv», которая является стандартной утилитой в Mac OS для изменения кодировки файлов.

Чтобы изменить кодировку файла с помощью командной строки, откройте Терминал и выполните команду:

iconv -f [исходная кодировка] -t [целевая кодировка] [имя файла]

Например, чтобы изменить кодировку файла «example.txt» с UTF-8 на Windows-1251, выполните следующую команду:

iconv -f UTF-8 -t Windows-1251 example.txt

После выполнения команды создастся новый файл с заданной кодировкой.

Важно помнить, что при изменении кодировки существующих файлов вы можете потерять некоторые символы или данные, особенно если новая кодировка не поддерживает все символы исходной кодировки. Поэтому перед изменением кодировки рекомендуется создать резервную копию файла и тщательно проверить результат.

Рекомендации по использованию UTF-8

Вот несколько рекомендаций по использованию UTF-8 в Mac OS:

1. Установите UTF-8 по умолчанию: Убедитесь, что ваши настройки системы установлены на использование UTF-8. Для этого перейдите в «Параметры системы» -> «Язык и регион» и выберите «UTF-8» в качестве предпочтительной кодировки.

2. Проверяйте кодировку: При работе с текстовыми файлами всегда проверяйте и указывайте кодировку как UTF-8. Если файл открывается с неправильной кодировкой, измените его на UTF-8, чтобы гарантировать правильное отображение символов.

3. Используйте правильные символы: Пользуйтесь символами из Unicode, чтобы быть уверенными в их поддержке UTF-8. Избегайте использования устаревших символов или кодировок, чтобы избежать проблем с отображением текста.

4. Обновляйте программное обеспечение: Регулярно обновляйте программное обеспечение, включая операционную систему и приложения, чтобы быть уверенными в поддержке UTF-8 и предотвратить возможные проблемы с кодировкой.

5. Бэкапы и синхронизация: При создании и редактировании файлов, особенно важно делать регулярные бэкапы и использовать средства синхронизации, чтобы сохранить свои файлы в безопасности и избежать потери данных.

6. Используйте правильные программы: Пользуйтесь текстовыми редакторами и программами, которые хорошо поддерживают UTF-8. Это поможет избежать проблем с кодировкой и сделает работу с текстовыми файлами более удобной и эффективной.

Следуя этим рекомендациям, вы сможете использовать UTF-8 в Mac OS без проблем и обеспечить правильное отображение текста на всех устройствах и платформах.

Проблемы с кодировкой и их возможные решения

При работе с текстовыми файлами в Mac OS могут возникать различные проблемы с кодировкой, которые могут приводить к неправильному отображению символов и текста. В этом разделе мы рассмотрим некоторые из наиболее распространенных проблем с кодировкой и предложим возможные решения.

1. Неправильное отображение кириллических символов.

Если вы замечаете, что кириллические символы в текстовом файле отображаются неправильно (например, вместо русских букв вы видите набор странных символов), это может быть связано с неправильной кодировкой файла или настройками системы. Чтобы исправить эту проблему, попробуйте следующие решения:

• Откройте файл в текстовом редакторе, выберите правильную кодировку (например, UTF-8 или Windows-1251) в меню «Файл -> Сохранить с кодировкой» и сохраните файл снова.
• Измените настройки системы, чтобы задать правильную кодировку по умолчанию для текстовых файлов. Это можно сделать в настройках «Язык и регион» или «Текстовые файлы» в настройках системы.

2. Проблемы с переносом строк.

Еще одной распространенной проблемой может быть неправильный перенос строк в текстовом файле, особенно если файл создавался или редактировался на другой операционной системе. Для решения этой проблемы можно воспользоваться следующими советами:

• Используйте текстовый редактор, который позволяет выбирать кодировку и формат переноса строк. Например, в редакторе Sublime Text можно выбрать нужную кодировку и формат переноса строк во вкладке «View» или «Preferences».
• При открытии файла с неправильным форматом переноса строк, попробуйте изменить формат в меню «Файл -> Переводы строк» и сохраните файл снова.

3. Невозможность открыть файл с неподдерживаемой кодировкой.

Иногда может возникнуть ситуация, когда файл содержит текст в кодировке, которая не поддерживается вашим текстовым редактором. В этом случае можно воспользоваться следующими рекомендациями:

• Попробуйте открыть файл в другом текстовом редакторе, который поддерживает больше форматов кодировки. Например, редактор Atom имеет большое количество плагинов и настроек для поддержки различных кодировок.
• Воспользуйтесь онлайн-сервисами для конвертации кодировки текстовых файлов. Некоторые сервисы, такие как Convertio или Online-Convert, позволяют выбрать и конвертировать файл в нужную кодировку прямо в браузере.

Надеемся, что эти советы помогут вам решить проблемы с кодировкой текстовых файлов в Mac OS и облегчат вашу работу с текстом.