Кодировка windows 1251 в linux

Ubuntu — одна из самых популярных операционных систем на базе Linux, используемая многими разработчиками и администраторами серверов по всему миру. В то же время, некоторые проекты и веб-сайты могут быть созданы с использованием кодировки windows 1251 вместо стандартной кодировки UTF-8, что может вызвать некоторые трудности при работе с такими данными в Ubuntu.

Для того чтобы правильно работать с кодировкой windows 1251 в Ubuntu, необходимо сделать несколько дополнительных шагов. Во-первых, нужно убедиться, что ваша система поддерживает эту кодировку. В Ubuntu это можно сделать с помощью команды sudo locale-gen ru_RU.CP1251, которая установит необходимые файлы и настройки.

Важно помнить, что после выполнения этой команды может потребоваться перезагрузить систему, чтобы изменения вступили в силу.

После установки кодировки windows 1251 необходимо настроить несколько программ для корректного отображения и работы с такими данными. Это может включать изменение настроек текстовых редакторов, терминалов и веб-браузеров. Например, в текстовом редакторе Sublime Text можно указать кодировку windows 1251 в меню View -> Encoding -> Cyrillic (Windows 1251).

В заключение, работа с кодировкой windows 1251 в Ubuntu возможна, но требует дополнительных настроек. Правильная установка и настройка кодировки позволит вам корректно работать с данными в этом формате и избежать проблем с отображением символов или ошибками при обработке текста.

Работа с кодировкой windows 1251 в Ubuntu: основные принципы и инструкции

В данной статье мы рассмотрим основные принципы и инструкции по работе с кодировкой windows 1251 в операционной системе Ubuntu. Кодировка windows 1251 широко используется в операционных системах семейства Windows, поэтому при работе с такими системами может возникнуть необходимость в поддержке этой кодировки в Ubuntu.

Для начала работы с кодировкой windows 1251 в Ubuntu необходимо установить поддержку этой кодировки. Для этого можно воспользоваться пакетом ttf-mscorefonts-installer. Установить его можно с помощью следующей команды в терминале:

sudo apt-get install ttf-mscorefonts-installer

После установки пакета необходимо настроить систему для поддержки кодировки windows 1251. Для этого можно воспользоваться программой locale. В терминале выполним следующую команду:

sudo dpkg-reconfigure locales

В появившемся окне необходимо выбрать желаемую кодировку. Для работы с кодировкой windows 1251 выберем ru_RU.CP1251, нажмем Space для выбора и подтвердим выбор, нажав Enter.

После настройки системы для работы с кодировкой windows 1251 необходимо перезагрузить компьютер для применения изменений.

После перезагрузки можно приступить к работе с символами и текстом в кодировке windows 1251. Для отображения символов этой кодировки в текстовых редакторах, таких как Gedit или Emacs, необходимо выбрать нужную кодировку в настройках программы.

Если необходимо работать с файлами в кодировке windows 1251 в командной строке, можно использовать команду iconv. Например, чтобы перекодировать файл из кодировки UTF-8 в windows 1251, можно выполнить следующую команду:

iconv -f utf-8 -t windows-1251 input.txt > output.txt

В данной команде input.txt — это имя исходного файла, output.txt — имя файла, в который будет записан результат перекодировки.

Таким образом, работа с кодировкой windows 1251 в Ubuntu возможна при наличии поддержки данной кодировки в системе. После установки поддержки и настройки можно использовать различные программы и команды для работы с файлами и символами в кодировке windows 1251.

Понимание особенностей кодировки windows 1251

Особенностью кодировки windows 1251 является то, что она несовместима с кодировкой UTF-8, которая широко используется в Unix-подобных системах, таких как Ubuntu. При работе с текстом, закодированным в windows 1251, в Ubuntu могут возникнуть проблемы с отображением символов и ошибками в кодировке.

Для того чтобы правильно работать с кодировкой windows 1251 в Ubuntu, необходимо выполнить несколько действий. Во-первых, установите поддержку кодировки windows 1251 на своей системе. Это можно сделать, выполнив команду:

sudo apt-get install language-selector-gnome

После установки инструмента выбора языка запустите его и выберите русский язык и кодировку windows 1251. После этого перезагрузите систему для применения изменений.

После установки и настройки кодировки windows 1251 в Ubuntu, вы можете начать работу с файлами, содержащими текст, закодированный в этой кодировке. Когда вы открываете такой файл в текстовом редакторе, убедитесь, что кодировка файла установлена на windows 1251. В большинстве редакторов это можно сделать в меню «Сохранить как» или «Настройки кодировки». Также не забудьте выбрать windows 1251 при экспорте файла в другие форматы, если это необходимо.

При экспорте или обработке текста, закодированного в windows 1251, важно также учитывать кодировку ввода и вывода. Убедитесь, что ваши инструменты и программы, которые вы используете для работы с текстом, корректно используют кодировку windows 1251.

При работе с кодировкой windows 1251 в Ubuntu необходимо также учитывать, что ее поддержка может отличаться в различных программных приложениях. Некоторые приложения могут не отображать символы правильно или могут отображать их с ошибками. В таком случае, вам может потребоваться использовать альтернативные программы или конвертировать файлы в более совместимые форматы.

Понимание особенностей кодировки windows 1251 важно для разработчиков, администраторов и пользователей Ubuntu, которые взаимодействуют с текстом на русском языке. Следуя рекомендациям и инструкциям, описанным выше, вы сможете успешно работать с кодировкой windows 1251 и избежать проблем с отображением и обработкой текста на вашей системе.

Источник

Для многих пользователей операционных систем Linux возникает вопрос о возможности работы с файлами, содержащими текст в кодировке Windows 1251. Данная кодировка, широко используемая в ОС Windows, может вызывать некорректное отображение символов при открытии таких файлов в Linux. В этой статье мы рассмотрим возможности установки и использования кодировки Windows 1251 на системах Linux, чтобы обеспечить корректное отображение текста.

Первым шагом в установке кодировки Windows 1251 на Linux является установка необходимого пакета поддержки этой кодировки. Существует несколько пакетов, позволяющих работать с кодировкой Windows 1251, в зависимости от используемого дистрибутива Linux. В данной статье мы рассмотрим установку пакета «iconv», который является одним из самых популярных и удобных для работы с различными кодировками.

После установки пакета «iconv» необходимо прописать соответствующие настройки для работы с кодировкой Windows 1251. Для этого необходимо отредактировать файл «/etc/environment» и добавить в него следующие строки:

LANG=ru_RU.CP1251

LC_CTYPE=ru_RU.CP1251

LC_ALL=ru_RU.CP1251

После сохранения и закрытия файла «/etc/environment» необходимо выполнить команду «source /etc/environment» для применения изменений. Теперь система Linux будет поддерживать кодировку Windows 1251 и корректно отображать текст в этой кодировке.

Содержание

Установка Windows 1251 на Linux
Настройка кодировки Windows 1251 в Linux
Преимущества использования Windows 1251 на Linux
Совместимость Windows 1251 с другими кодировками в Linux

Установка Windows 1251 на Linux

Чтобы установить поддержку Windows 1251 на Linux, вам понадобится выполнить несколько шагов:

1. Установка необходимых пакетов

Прежде чем приступить к установке Windows 1251, убедитесь, что у вас установлены пакеты iconv и locales. Эти пакеты обеспечат поддержку кодировки.

Для установки пакетов на Debian/Ubuntu:

Откройте терминал и выполните следующую команду:

sudo apt-get update
sudo apt-get install libc6-dev g++-multilib iconv locales

Для установки пакетов на Fedora:

Откройте терминал и выполните следующую команду:

sudo dnf install glibc-devel.i686 libstdc++-devel.i686 iconv-devel glibc-locale-source

2. Настройка локали

После установки пакетов, вам нужно настроить локали для Windows 1251. Создайте файл /etc/locale.gen в текстовом редакторе и добавьте следующую строку:

ru_RU.CP1251 CP1251

Сохраните файл и закройте его.

3. Генерация локалей

После настройки локали, выполните следующую команду в терминале, чтобы сгенерировать локали:

sudo locale-gen

Эта команда создаст файлы с локалями в директории /usr/lib/locale.

4. Установка переменных окружения

Чтобы Linux использовал новые локали, вам необходимо установить соответствующие переменные окружения. Откройте файл /etc/default/locale в текстовом редакторе и добавьте следующую строку:

LANG="ru_RU.CP1251"

Сохраните файл и закройте его.

5. Перезагрузка системы

После всех настроек, перезагрузите систему, чтобы изменения вступили в силу.

Теперь ваша система Linux поддерживает кодировку Windows 1251. Вы можете использовать ее для отображения русских символов в различных приложениях и текстовых редакторах. Убедитесь, что выбранная кодировка совпадает с Windows 1251 при открытии или сохранении файлов.

Установка Windows 1251 на Linux может значительно упростить работу с русскоязычными текстами и приложениями. Не забывайте выполнять регулярные обновления вашей системы, чтобы иметь доступ к последним изменениям и исправлениям, связанным с поддержкой кодировки.

Настройка кодировки Windows 1251 в Linux

Linux по умолчанию использует кодировку UTF-8, которая поддерживает широкий набор символов. Однако, если вам необходимо работать с текстовыми файлами, созданными в кодировке Windows 1251, вам придется настроить Linux на использование этой кодировки.

Для начала, убедитесь, что у вас установлена поддержка русского языка в вашей операционной системе. Для этого откройте терминал и выполните следующую команду:

sudo dpkg-reconfigure locales

В появившемся окне выберите нужные вам локали, включая русскую, и нажмите Enter.

Затем установите пакет поддержки кодировки Windows 1251. В терминале выполните следующую команду:

sudo apt-get install language-pack-ru

После установки пакета перезагрузите компьютер, чтобы изменения вступили в силу.

Теперь вы можете настроить кодировку за входящие и исходящие соединения в вашем текстовом редакторе или в вашей командной строке. Например, в большинстве текстовых редакторов вы можете выбрать «Windows 1251» в меню «Кодировка». В командной строке, вы можете использовать команду:

export LANG=ru_RU.CP1251

Это настроит кодировку только для текущей сессии. Если вы хотите, чтобы настройки были постоянными, добавьте эту строку в файл .bashrc в вашей домашней директории.

Теперь вы можете легко работать с текстовыми файлами в кодировке Windows 1251 на вашей системе Linux.

Преимущества использования Windows 1251 на Linux

1. Совместимость с русскими программами и приложениями. Множество программ и приложений, разработанных для русскоязычной аудитории, используют кодировку Windows 1251. Использование этой кодировки на Linux позволяет без проблем работать с русскоязычными текстами в этих программных средах.

2. Работа с историческими данными. Windows 1251 является стандартной кодировкой для русскоязычных текстов в Windows-системах с долгой историей использования. Использование этой кодировки на Linux позволяет без потери данных открывать и редактировать тексты, созданные в прошлых версиях Windows.

3. Простота работы. Linux обладает богатым выбором кодировок, и Windows 1251 является одной из них. Использование этой кодировки на Linux позволяет без лишних усилий работать с русскоязычными текстами, не тратя время на конвертацию или поиск подходящих инструментов.

4. Поддержка различных платформ. Windows 1251 является межплатформенной кодировкой и поддерживается не только на Windows, но и на многих других операционных системах, в том числе и на Linux. Это позволяет обмениваться данными между различными платформами, не теряя русскоязычную информацию.

Выводящаяся строка символов с кодировкой Windows 1251 на Linux скорее всего понадобиться корректного (но, возможно, не идеального) просмотра или редактирования настройки в файле подключения к Postgres в Linux-системе.

Совместимость Windows 1251 с другими кодировками в Linux

Существует несколько других кодировок, используемых в Linux, таких как UTF-8, KOI8-R и ISO 8859-5. UTF-8 является универсальной кодировкой, поддерживающей символы всех национальностей, включая кириллицу. Кодировка KOI8-R — это русская восьмибитная кодировка, в то время как ISO 8859-5 — еще одна русская кодировка, поддерживающая символы кириллицы.

Несмотря на то, что Windows 1251 является широко используемой кодировкой в системе Windows, она может привести к проблемам при работе с другими кодировками в Linux. При перекодировке текста между Windows 1251 и другими кодировками могут возникать ошибки и искажения, особенно если текст содержит символы, отсутствующие в другой кодировке.

Для обеспечения совместимости Windows 1251 с другими кодировками в Linux рекомендуется использовать утилиты и программы, специально разработанные для работы с различными кодировками. Например, можно использовать программу iconv, которая позволяет конвертировать текст между различными кодировками. Также можно использовать текстовые редакторы с поддержкой различных кодировок, такие как Vim или Emacs, чтобы правильно отображать и редактировать текст в различных кодировках.

Совместимость между Windows 1251 и другими кодировками в Linux может быть сложной задачей, и требуется аккуратность при работе с текстом в разных кодировках. Особенно важно быть внимательным при перекодировке текста, чтобы избежать потери данных и искажения текста.

Источник

Читаю txt-файлы в java/groovy в кодировке WINDOWS-1251.

Часть файлов читается успешно, но один файл из 1С читается успешно только под windows, а под linux кодировка обрабатывается неверно.

Код чтения из файла Groovy

  String fileEncoding = "cp1251"
  file.eachLine(fileEncoding) { line -> esvData << line.split('=')
    System.out.println(line)}

В логе на Windows видны русские буквы, а на i686-redhat-linux(6.0) лог имеет следующий вид:

1CClientBankExchange
Р’РµСЂСЃРёСЏР¤РѕСЂРјР°С‚Р°=1.02
РљРѕРґРёСЂРѕРІРєР°=Windows
РћС‚РїСЂР°РІРёС‚РµР»СЊ=
РџРѕР»СѓС‡Р°С‚РµР»СЊ=
Р”Р°С‚Р°РЎРѕР·РґР°РЅРёСЏ=23.03.2015
Р’СЂРµРјСЏРЎРѕР·РґР°РЅРёСЏ=01:46:15
Р”Р°С‚Р°РќР°С‡Р°Р»Р°=20.03.2015
Р”Р°С‚Р°РљРѕРЅС†Р°=20.03.2015
Р Р°СЃС‡РЎС‡РµС‚=407028

При этом файлы в кодировке windows-1251 из других источников обрабатываются успешно на том же linux.

В чем-то, кроме кодировки, может быть разница? Слышал, что могут присутствовать какие-то доп. символы в начале файла.

package com.peterservice.pays.filepay.camel.processors.inscriptproc;

import com.peterservice.pays.filepay.camel.processors.InScriptProc;
import com.peterservice.pays.filepay.enums.CamelProperties;
import com.peterservice.pays.filepay.enums.Directories;
import com.peterservice.pays.filepay.model.Pay;
import com.peterservice.pays.filepay.model.PayRoute;
import org.apache.camel.Exchange;
import org.apache.camel.impl.DefaultCamelContext;
import org.apache.camel.impl.DefaultExchange;
import org.junit.Assert;
import org.junit.Ignore;
import org.junit.Test;

import java.io.File;
import java.math.BigDecimal;
import java.util.HashMap;
import java.util.Map;

/**
 * Created by Yuriy.Vinogradov on 06.08.2015.
 */
public class InScriptProc1CTest {

    @Test
    public void test() throws Exception {
        InScriptProc processor = new InScriptProc();
        Exchange exchange = prepareExchange();
        processor.process(exchange);
        Pay[] payments = exchange.getIn().getBody(Pay[].class);
        Assert.assertEquals(256, payments.length);
        for (Pay payment : payments) {
            if (payment.number.equals("549")) {
                Assert.assertEquals(new BigDecimal("0.4"), payment.amount);
                Assert.assertEquals("2015-03-20", payment.inDate);
                Assert.assertEquals("770fgh320", payment.INN);
                Assert.assertEquals("770fhh001", payment.payerKpp);
                Assert.assertEquals("401058fgh000fh79", payment.payerAccount);
                Assert.assertEquals("УФК по г.Москве (ФКУ \"Дирекция космодрома \"Восточный\")", payment.payerTitle);
                Assert.assertEquals("25904fgh2221 0373fg910 Опл.  за услуги сот.связи за декабрь2014, дог.от 12.12.14  №2350948, сч.14-1 от 26.12.2014, акт  DV03/70761371/28  от 26,12,2014 , в т.ч. НДС-0,06 (л/с 15fg925)", payment.paymentReason);
            } else if(payment.number.equals("701")) {
                Assert.assertEquals(new BigDecimal("1.79"), payment.amount);
                Assert.assertEquals("2015-03-20", payment.inDate);
                Assert.assertEquals("2815fff915", payment.INN);
                Assert.assertEquals("27fff1001", payment.payerKpp);
                Assert.assertEquals("30302810fffh0000100", payment.payerAccount);
                Assert.assertEquals("ФКП \"Аэропорты Дальнего Востока\" р/с 40502810409fghfh001 в ХФ ОАО \"МДМ БАНК\"  г Хабаровск", payment.payerTitle);
                Assert.assertEquals("УИНО///Оплата по сч-фак. №10010687719/800 от 28.02.2015 л/счет 1fgh4543. Сумма 1-79 В т.ч. НДС  (18%) 0-27", payment.paymentReason);
            } else if(payment.number.equals("822")) {
                Assert.assertEquals(new BigDecimal("50"), payment.amount);
            }else{
           //     Assert.fail("Not expected document number:" + payment.number + " Check if it is correct and create if branch for this document number");
            }
        } 
    }

    private Exchange prepareExchange() {
        Exchange exchange = new DefaultExchange(new DefaultCamelContext());
        PayRoute payRoute = new PayRoute();
        exchange.getIn().setBody(payRoute);
        payRoute.setInScript("src/scripts/1c-java.groovy");
        Map<String, String> resultDirs = new HashMap<>();
        resultDirs.put(Directories.ERROR.title, "test/" + Directories.ERROR.title + "/dir/");
        resultDirs.put(Directories.GF.title, "test/" + Directories.GF.title + "/dir/");
        resultDirs.put(Directories.LG.title, "test/" + Directories.LG.title + "/dir/");
        resultDirs.put(Directories.UNDEFINED.title, "test/" + Directories.GF.title + "/dir/");
        resultDirs.put(Directories.LOG.title, "test/" + Directories.LOG.title + "/dir/");
        payRoute.setResultDirs(resultDirs);
        exchange.setProperty(CamelProperties.ProcessingFile.title, new File("src/test/resources/sberbank_27_20150320_1.txt").getAbsoluteFile());
        return exchange;
    }
}

hexdump для проверки начала файла на bom

[relstand@srv3-amain-a test]$ hexdump -C sberbank_27_20150320_1.txt | head
00000000  31 43 43 6c 69 65 6e 74  42 61 6e 6b 45 78 63 68  |1CClientBankExch|
00000010  61 6e 67 65 0d 0a c2 e5  f0 f1 e8 ff d4 ee f0 ec  |ange............|

Источник

Я знаю что кириллица в логах Linux – это самый страшный грех для айтишника, но иногда это просто необходимость. Одна из таких необходимостей возникает при создании централизованного хранения log-файлов различных операционных систем. Microsoft всегда в своих log`ах применяет кириллицу и поэтому если мы хотим получать log-файлы и от Win-серверов, то стоит смириться, что в log`ах будет кирилица.

Для того, чтобы эти логи нормально отображались нам и нужно явно указать locale в Debian, Ubuntu или какой Linux-дистрибутив Вы используете.

Проблемы отображения кириллических символов в Linux не существует. Есть проблема у русской версии Windows. Весь мир и Linux в том числе, работает в кодировке UTF-8, когда русская версия Microsoft использует CP1251. Такая ситуация сложилось исторически благодаря компании «Парус», которая взяла на себя обязательства по локализации всех операционных систем Windows. Выбрали они почему-то кодировку CP1251, которая применяется до сих пор. Использование этой «неправильной» кодировки в наши дни обусловлено сохранением совместимости всех версий ОС.

Чтобы добавить кириллицу, чтобы Linux сервер нормально отображал русские буквы, нужно объяснить ему, что необходимо работать в той же кодировке, что и Windows.

Для того, чтобы управлять локалью в Linux, необходим пакет locales, который должен быть у Вас установлен. В большинстве случаев пакет locales уже будет у Вас установлен, поэтому для проформы просто проверяем этот факт.

sudo apt-get install locales

Посмотреть установленную locale linux можно командой:

locale

Для ручного указания кодировке в Linux Mint, Debian или ubuntu нужно отредактировать конфигурационный файл /etc/locale.gen:

sudo nano /etc/locale.gen

Команду sudo не нужна, если Вы зашли как суперпользователь. Это относится к Linux Mint и Ubuntu, так как Debian ничего не знает о команде sudo.

В этом файле необходимо найти строчку и расскомментировать с той locale, которая Вам нужна. Для добавления кириллицы нужно раскомментировать строчки с UTF-8 или CP1251.

если хотим указать, чтобы ОС работала в UTF-8, раскомментирум:
```
ru_RU.UTF-8 UTF-8
```
если хотим указать, чтобы ОС работала в CP1251, раскомментирум:
```
ru_RU.CP1251 CP1251
```

Стоит обратить внимание, что первые 2 символа (в нашем примере это ru) говорят нам о языке локализации (кириллица).

После этого переопределяем настройки locales командой:

sudo locale-gen

Команда locale-gen позволяет запустить скрипт /etc/locale.gen и перечитывает все кодировки для консоли.

Чтобы увидеть кириллицу в консоли Linux, остается только перелогиниться.

Теги:

и сервер Linux

Описание проблемы

Ubuntu по умолчанию использует кодировку текстовых файлов UTF-8, однако некоторые операционные системы используют другие кодировки (например, русская версия Microsoft Windows использует CP-1251). Из-за разницы в кодировках могут возникнуть проблемы при открытии текстовых файлов в редакторе Gedit — они будут нечитаемыми. Данная статья предлагает несколько простых способов решения этой проблемы.

Настройка Gedit на автоопределение кодировки

Gedit может автоматически определить нужную кодировку. Для этого его нужно немного настроить.

Есть 3 варианта:

Для редактора dconf-editor¹⁾
Для редактора gconf-editor²⁾
Способ, в котором нужно выполнить всего-лишь одну команду в Терминале.

Вариант 1.

Запускаем dconf-editor и переходим в

/org/gnome/gedit/preferences/encodings/

Редактируем ключ auto_detected³⁾, вписывая нужную нам кодировку

WINDOWS-1251

Пример строки

['UTF-8', 'WINDOWS-1251', 'CURRENT', 'ISO-8859-15', 'UTF-16']

Вариант 2.

Выполните в терминале команду:

gconf-editor /apps/gedit-2/preferences/encodings

Откроется Редактор Конфигурации GNOME. В нем откройте для редактирования ключ auto_detected⁴⁾.

В появившемся окне редактирования переместите нужную вам кодировку вверх, так, чтобы она находилась сразу после UTF-8. Нажмите OK и закройте редактор.

Вариант 3.
Выполните в терминале команду:

gsettings set org.gnome.gedit.preferences.encodings auto-detected "['UTF-8', 'WINDOWS-1251', 'CURRENT', 'ISO-8859-15', 'UTF-16']"

Для Ubuntu 16.04:

gsettings set org.gnome.gedit.preferences.encodings candidate-encodings "['UTF-8', 'WINDOWS-1251', 'KOI8-R', 'CURRENT', 'ISO-8859-15', 'UTF-16']"

Для Ubuntu Mate 16.04:

gsettings set org.mate.pluma auto-detected-encodings "['UTF-8', 'WINDOWS-1251', 'KOI8-R', 'CURRENT', 'ISO-8859-15', 'UTF-16']"

Данный способ является самым быстрым.

Теперь, если вы откроете файл с кодировкой WINDOWS-1251 — он будет правильно отображаться в Gedit.

Смена кодировки открытого файла

С помощью системы плагинов можно добавить возможность выбора кодировки уже открытого файла.

Если для распаковки используется стандартный менеджер архивов переименуйте архив в из encoding.tar.gz в encoding.tar (проверялось в Ubuntu 8.10 и 10.4)
Распаковываем его в ~/.local/share/gedit/plugins (если такой папки нет, то её нужно создать)
Запускаем Gedit и включаем в нём модуль «Кодировка» (Правка→Параметры→Модули)

После этого в главном меню Файл появляется пункт «Encoding», который позволяет менять кодировку в уже открытом документе.

Ссылки

Источник

Работа с кодировкой windows 1251 в Ubuntu: основные принципы и инструкции

Понимание особенностей кодировки windows 1251

Установка Windows 1251 на Linux

Настройка кодировки Windows 1251 в Linux

Преимущества использования Windows 1251 на Linux

Совместимость Windows 1251 с другими кодировками в Linux

Комментарии

Содержание

Описание проблемы

Настройка Gedit на автоопределение кодировки

Смена кодировки открытого файла

Ссылки