Как utf 8 преобразовать в windows 1251

Привет, друзья. Я уже 3 года работаю с вебом, но с таким не встречался еще. В чем суть:
Есть у меня кириллический текст с кодировкой UTF-8 и отображается он нормально.
Мне нужно изменить кодировку на windows-1251 так, чтобы кириллический текст так же нормально читабельно отображался. И вот что-то ну вообще не могу взять в толк, как это сделать?

Вопрос задан

более трёх лет назад
23881 просмотр

Пригласить эксперта

для большого количества файлов есть однострочник на powershell:

Get-ChildItem folderwithfiles -File | foreach {Get-Content $_.fullname -Encoding UTF8 | Out-File folderwithconvertedfiles\$_ -encoding default}

Одна загвоздка : encoding default — берет кодировку системы.
Проверить что это windows 1251 можно так(powershell) :
[System.Text.Encoding]::Default.Codepage

Вы имеете в виду, самостоятельно, а не в программном коде? Тогда с помощью Вашего текстового редактора, которым Вы пользуетесь. Например, если Вы предпочитаете Sublime Text, то просто воспользуйтесь пунктом меню File->Save with encoding > Cyrillic (Windows 1251)

Показать ещё
Загружается…

09 окт. 2023, в 14:22

5000 руб./за проект

09 окт. 2023, в 14:15

6000 руб./за проект

09 окт. 2023, в 13:56

2520000 руб./за проект

Минуточку внимания

Источник

Опять в php, использование iconv дает сбои.

function cp1251_to_utf8 ($txt)  {
    $in_arr = array (
&nbsp;       chr(208), chr(192), chr(193), chr(194),
     &nbsp;  chr(195), chr(196), chr(197), chr(168),
     &nbsp;  chr(198), chr(199), chr(200), chr(201),
     &nbsp;  chr(202), chr(203), chr(204), chr(205),
     &nbsp;  chr(206), chr(207), chr(209), chr(210),
     &nbsp;  chr(211), chr(212), chr(213), chr(214),
     &nbsp;  chr(215), chr(216), chr(217), chr(218),
     &nbsp;  chr(219), chr(220), chr(221), chr(222),
     &nbsp;  chr(223), chr(224), chr(225), chr(226),
     &nbsp;  chr(227), chr(228), chr(229), chr(184),
     &nbsp;  chr(230), chr(231), chr(232), chr(233),
     &nbsp;  chr(234), chr(235), chr(236), chr(237),
     &nbsp;  chr(238), chr(239), chr(240), chr(241),
     &nbsp;  chr(242), chr(243), chr(244), chr(245),
     &nbsp;  chr(246), chr(247), chr(248), chr(249),
     &nbsp;  chr(250), chr(251), chr(252), chr(253),
     &nbsp;  chr(254), chr(255)
    );

    $out_arr = array (
     &nbsp;  chr(208).chr(160), chr(208).chr(144), chr(208).chr(145),
     &nbsp;  chr(208).chr(146), chr(208).chr(147), chr(208).chr(148),
     &nbsp;  chr(208).chr(149), chr(208).chr(129), chr(208).chr(150),
     &nbsp;  chr(208).chr(151), chr(208).chr(152), chr(208).chr(153),
     &nbsp;  chr(208).chr(154), chr(208).chr(155), chr(208).chr(156),
     &nbsp;  chr(208).chr(157), chr(208).chr(158), chr(208).chr(159),
     &nbsp;  chr(208).chr(161), chr(208).chr(162), chr(208).chr(163),
     &nbsp;  chr(208).chr(164), chr(208).chr(165), chr(208).chr(166),
     &nbsp;  chr(208).chr(167), chr(208).chr(168), chr(208).chr(169),
     &nbsp;  chr(208).chr(170), chr(208).chr(171), chr(208).chr(172),
     &nbsp;  chr(208).chr(173), chr(208).chr(174), chr(208).chr(175),
     &nbsp;  chr(208).chr(176), chr(208).chr(177), chr(208).chr(178),
     &nbsp;  chr(208).chr(179), chr(208).chr(180), chr(208).chr(181),
     &nbsp;  chr(209).chr(145), chr(208).chr(182), chr(208).chr(183),
     &nbsp;  chr(208).chr(184), chr(208).chr(185), chr(208).chr(186),
     &nbsp;  chr(208).chr(187), chr(208).chr(188), chr(208).chr(189),
     &nbsp;  chr(208).chr(190), chr(208).chr(191), chr(209).chr(128),
     &nbsp;  chr(209).chr(129), chr(209).chr(130), chr(209).chr(131),
     &nbsp;  chr(209).chr(132), chr(209).chr(133), chr(209).chr(134),
     &nbsp;  chr(209).chr(135), chr(209).chr(136), chr(209).chr(137),
     &nbsp;  chr(209).chr(138), chr(209).chr(139), chr(209).chr(140),
     &nbsp;  chr(209).chr(141), chr(209).chr(142), chr(209).chr(143)
    );

    $txt = str_replace($in_arr,$out_arr,$txt);
&nbsp;   return $txt;
}

Источник

Проблема кодировок часто возникает при написании парсеров, чтении данных из xml и CSV файлов. Ниже представлены способы эту проблему решить.

windows-1251 в UTF-8

$text = iconv('windows-1251//IGNORE', 'UTF-8//IGNORE', $text);
echo $text;

PHP

$text = mb_convert_encoding($text, 'UTF-8', 'windows-1251');
echo $text;

PHP

UTF-8 в windows-1251

$text = iconv('utf-8//IGNORE', 'windows-1251//IGNORE', $text);
echo $text;

PHP

$text = mb_convert_encoding($text, 'windows-1251', 'utf-8');
echo $text;

PHP

Когда ни что не помогает

$text = iconv('utf-8//IGNORE', 'cp1252//IGNORE', $text);
$text = iconv('cp1251//IGNORE', 'utf-8//IGNORE', $text);
echo $text;

PHP

Иногда доходит до бреда, но работает:

$text = iconv('utf-8//IGNORE', 'windows-1251//IGNORE', $text);
$text = iconv('windows-1251//IGNORE', 'utf-8//IGNORE', $text);
echo $text;

PHP

File_get_contents / CURL

Бывают случаи когда file_get_contents() или CURL возвращают иероглифы (ÐÐ»Ð¼Ð°Ð·Ð½ÑÐµ Ð±Ð¾ÑÑ) – причина тут не в кодировке, а в отсутствии BOM-метки.

$text = file_get_contents('https://example.com');
$text = "\xEF\xBB\xBF" .  $text;
echo $text;

PHP

Ещё бывают случаи, когда file_get_contents() возвращает текст в виде:

�mw�Ƒ0��&IkAI��f��j4/{�</�&�h�� ({�񌝷o��:/��<g��g��(�=�9�Paɭ

Это сжатый текст в GZIP, т.к. функция не отправляет правильные заголовки. Решение проблемы через CURL:

function getcontents($url){
	$ch = curl_init();
	curl_setopt($ch, CURLOPT_URL, $url);
	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
	curl_setopt($ch, CURLOPT_ENCODING, 'gzip');
	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
	$output = curl_exec($ch);
	curl_close($ch);
	return $output;
}

echo getcontents('https://example.com');

PHP

12.01.2017, обновлено 02.11.2021

Другие публикации

Отправка e-mail в кодировке UTF-8 с вложенными файлами и возможные проблемы.

JSON (JavaScript Object Notation) – текстовый формат обмена данными, основанный на JavaScript, который представляет собой набор пар {ключ: значение}. Значение может быть массивом, числом, строкой и…

Описание значений глобального массива $_SERVER с примерами.

Так как Instagram и Fasebook ограничили доступ к API, а фото с открытого аккаунта всё же нужно периодически получать и…

В статье представлены различные PHP-расширения для чтения файлов XLS, XLSX, описаны их плюсы и минусы, а также примеры…

Примеры как зарегистрировать бота в Телеграм, описание и взаимодействие с основными методами API.

Источник

Конвертирует строку из UTF-8 в Windows-1251

static string UTF8ToWin1251(string sourceStr)
{
Encoding utf8 = Encoding.UTF8;
Encoding win1251 = Encoding.GetEncoding(«Windows-1251»);
byte[] utf8Bytes = utf8.GetBytes(sourceStr);
byte[] win1251Bytes = Encoding.Convert(utf8, win1251, utf8Bytes);
return win1251.GetString(win1251Bytes);
}

Конвертирует строку из Windows-1251 в UTF-8

static private string Win1251ToUTF8(string source)
{
Encoding utf8 = Encoding.GetEncoding(«utf-8»);
Encoding win1251 = Encoding.GetEncoding(«windows-1251»);
byte[] utf8Bytes = win1251.GetBytes(source);
byte[] win1251Bytes = Encoding.Convert(win1251, utf8, utf8Bytes);
source = win1251.GetString(win1251Bytes);
return source;
}

Источник

Программа позволяет перекодировать текстовые файлы из кодировки UTF-8 в кодировку Windows-1251, а также добавлять маркер UTF-8, если его нет.

Автор статьи: romix | Редакторы:
Последняя редакция №3 от 03.07.07 | История
URL: http://kb.mista.ru/article.php?id=481

Ключевые слова: кодировка, utf-8, windows-1251, windows

http://x-romix.narod.ru/UTF8_1251.rar

(скачивать ЛЕВОЙ кнопкой мыши, 24К)

Пример вызова:

utf8_1251.exe test_utf8.xml test.xml

Программа изменяет объявление кодировки в первой строке XML.

Перекодирование из Windows-1251 в UTF-8

Перекодирует XML-файл из кодировки Windows-1251 в UTF8.

Если файл уже в кодировке UTF8, то он остается как есть.

Если файл не содержит маркера кодировки UTF8, то добавляет его.

Вызов win1251_utf8.exe Файл1.xml Файл2.xml

Добавление маркера в UTF-8

Используйте ту же самую программу win1251_utf8.exe для добавления маркера UTF-8.

Если кодировка уже была UTF-8, и был маркер, то файл не изменится.

smaharbA пишет:

9 — 28.02.07 — 21:52

//*******************************************
 
Процедура Сформировать()
    Стрим = СоздатьОбъект("Adodb.Stream");
    Стрим.Type = 2;
    Стрим.Mode= 3;
    Стрим.charset="utf-16";
    //Стрим.charset="windows-1251";
 
    Стрим.Open();
    Стрим.WriteText("Проверочка");
    Стрим.SaveToFile("c:\unicode.txt",2);
    Стрим.Close();
    Стрим.charset="koi8-r";
    Стрим.Open();
    Стрим.WriteText("Проверочка");
    Стрим.Close();
    Стрим.charset="utf-8";
    Стрим.Open();
    Стрим.WriteText("Проверочка");
    Стрим.SaveToFile("c:\utf-8.txt",2);
    Стрим.Close();
КонецПроцедуры

Источник