Windows 1252 или windows 1251

Code	HEX	Windows-1252Western Europe	Windows-1251Cyrillic
128	80	€	Euro sign	Ђ	Cyrillic capital letter Dje
129	81	Unused	Unused	Ѓ	Cyrillic capital letter Gje
130	82	‚	Single low-9 quotation mark	‚	Single low-9 quotation mark
131	83	ƒ	Latin small letter f with hook	ѓ	Cyrillic small letter gje
132	84	„	Double low-9 quotation mark	„	Double low-9 quotation mark
133	85	…	Horizontal ellipsis	…	Horizontal ellipsis
134	86	†	Dagger	†	Dagger
135	87	‡	Double dagger	‡	Double dagger
136	88	ˆ	Modifier letter circumflex accent	€	Euro sign
137	89	‰	Per mille sign	‰	Per mille sign
138	8A	Š	Latin capital letter S with caron	Љ	Cyrillic capital letter Lje
139	8B	‹	Single left-pointing angle quotation	‹	Single left-pointing angle quotation
140	8C	Œ	Latin capital ligature OE	Њ	Cyrillic capital letter Nje
141	8D	Unused	Unused	Ќ	Cyrillic capital letter Kje
142	8E	Ž	Latin capital letter Z with caron	Ћ	Cyrillic capital letter Tshe
143	8F	Unused	Unused	Џ	Cyrillic capital letter Dzhe
144	90	Unused	Unused	ђ	Cyrillic small letter dje
145	91	‘	Left single quotation mark	‘	Left single quotation mark
146	92	’	Right single quotation mark	’	Right single quotation mark
147	93	“	Left double quotation mark	“	Left double quotation mark
148	94	”	Right double quotation mark	”	Right double quotation mark
149	95	•	Bullet	•	Bullet
150	96	–	En dash	–	En dash
151	97	—	Em dash	—	Em dash
152	98	˜	Small tilde	Unused	Unused
153	99	™	Trade mark sign	™	Trade mark sign
154	9A	š	Latin small letter S with caron	љ	Cyrillic small letter lje
155	9B	›	Single right-pointing angle quotation mark	›	Single right-pointing angle quotation mark
156	9C	œ	Latin small ligature oe	њ	Cyrillic small letter nje
157	9D	Unused	Unused	ќ	Cyrillic small letter Kje
158	9E	ž	Latin small letter z with caron	ћ	Cyrillic small letter Tshe
159	9F	Ÿ	Latin capital letter Y with diaeresis	џ	Cyrillic small letter Dzhe
160	A0	NBSP	Non-breaking space	NBSP	Non-breaking space
161	A1	¡	Inverted exclamation mark	Ў	Cyrillic capital letter short U
162	A2	¢	Cent sign	ў	Cyrillic small letter short u
163	A3	£	Pound sign	Ј	Cyrillic capital letter Je
164	A4	¤	Currency sign	¤	Currency sign
165	A5	¥	Yen sign	Ґ	Cyrillic capital letter Ghe with upturn
166	A6	¦	Pipe, broken vertical bar	¦	Pipe, broken vertical bar
167	A7	§	Section sign	§	Section sign
168	A8	¨	Spacing diaeresis — umlaut	Ё	Cyrillic capital letter Io
169	A9	©	Copyright sign	©	Copyright sign
170	AA	ª	Feminine ordinal indicator	Є	Cyrillic capital letter Ukrainian Ie
171	AB	«	Left double angle quotes	«	Left double angle quotes
172	AC	¬	Negation	¬	Negation
173	AD	SHY	Soft hyphen	SHY	Soft hyphen
174	AE	®	Registered trade mark sign	®	Registered trade mark sign
175	AF	¯	Spacing macron — overline	Ї	Cyrillic capital letter Yi
176	B0	°	Degree sign	°	Degree sign
177	B1	±	Plus-or-minus sign	±	Plus-or-minus sign
178	B2	²	Superscript two — squared	І	Cyrillic capital letter Byelorussian-Ukrainian I
179	B3	³	Superscript three — cubed	і	Cyrillic small letter Byelorussian-Ukrainian i
180	B4	´	Acute accent — spacing acute	ґ	Cyrillic small letter ghe with upturn
181	B5	µ	Micro sign	µ	Micro sign
182	B6	¶	Pilcrow sign — paragraph sign	¶	Pilcrow sign — paragraph sign
183	B7	·	Middle dot — Georgian comma	·	Middle dot — Georgian comma
184	B8	¸	Spacing cedilla	ё	Cyrillic small letter io
185	B9	¹	Superscript one	№	Numero Sign
186	BA	º	Masculine ordinal indicator	є	Cyrillic small letter Ukrainian ie
187	BB	»	Right double angle quotes	»	Right double angle quotes
188	BC	¼	Fraction one quarter	ј	Cyrillic small letter je
189	BD	½	Fraction one half	Ѕ	Cyrillic capital letter Dze
190	BE	¾	Fraction three quarters	ѕ	Cyrillic small letter dze
191	BF	¿	Inverted question mark	ї	Cyrillic small letter yi
192	C0	À	Latin capital letter A with grave	А	Cyrillic capital letter A
193	C1	Á	Latin capital letter A with acute	Б	Cyrillic capital letter Be
194	C2	Â	Latin capital letter A with circumflex	В	Cyrillic capital letter Ve
195	C3	Ã	Latin capital letter A with tilde	Г	Cyrillic capital letter Ghe
196	C4	Ä	Latin capital letter A with diaeresis	Д	Cyrillic capital letter De
197	C5	Å	Latin capital letter A with ring above	Е	Cyrillic capital letter Ie
198	C6	Æ	Latin capital letter AE	Ж	Cyrillic capital letter Zhe
199	C7	Ç	Latin capital letter C with cedilla	З	Cyrillic capital letter Ze
200	C8	È	Latin capital letter E with grave	И	Cyrillic capital letter I
201	C9	É	Latin capital letter E with acute	Й	Cyrillic capital letter Short I
202	CA	Ê	Latin capital letter E with circumflex	К	Cyrillic capital letter Ka
203	CB	Ë	Latin capital letter E with diaeresis	Л	Cyrillic capital letter El
204	CC	Ì	Latin capital letter I with grave	М	Cyrillic capital letter Em
205	CD	Í	Latin capital letter I with acute	Н	Cyrillic capital letter En
206	CE	Î	Latin capital letter I with circumflex	О	Cyrillic capital letter O
207	CF	Ï	Latin capital letter I with diaeresis	П	Cyrillic capital letter Pe
208	D0	Ð	Latin capital letter ETH	Р	Cyrillic capital letter Er
209	D1	Ñ	Latin capital letter N with tilde	С	Cyrillic capital letter Es
210	D2	Ò	Latin capital letter O with grave	Т	Cyrillic capital letter Te
211	D3	Ó	Latin capital letter O with acute	У	Cyrillic capital letter U
212	D4	Ô	Latin capital letter O with circumflex	Ф	Cyrillic capital letter Ef
213	D5	Õ	Latin capital letter O with tilde	Х	Cyrillic capital letter Ha
214	D6	Ö	Latin capital letter O with diaeresis	Ц	Cyrillic capital letter Tse
215	D7	×	Multiplication sign	Ч	Cyrillic capital letter Che
216	D8	Ø	Latin capital letter O with slash	Ш	Cyrillic capital letter Sha
217	D9	Ù	Latin capital letter U with grave	Щ	Cyrillic capital letter Shcha
218	DA	Ú	Latin capital letter U with acute	Ъ	Cyrillic capital letter Hard Sign
219	DB	Û	Latin capital letter U with circumflex	Ы	Cyrillic capital letter Yeru
220	DC	Ü	Latin capital letter U with diaeresis	Ь	Cyrillic capital letter Soft Sign
221	DD	Ý	Latin capital letter Y with acute	Э	Cyrillic capital letter E
222	DE	Þ	Latin capital letter THORN	Ю	Cyrillic capital letter Yu
223	DF	ß	Latin small letter sharp s — ess-zed	Я	Cyrillic capital letter Ya
224	E0	à	Latin small letter a with grave	а	Cyrillic Small Letter A
225	E1	á	Latin small letter a with acute	б	Cyrillic small letter be
226	E2	â	Latin small letter a with circumflex	в	Cyrillic small letter ve
227	E3	ã	Latin small letter a with tilde	г	Cyrillic small letter ghe
228	E4	ä	Latin small letter a with diaeresis	д	Cyrillic small letter de
229	E5	å	Latin small letter a with ring above	е	Cyrillic small letter ie
230	E6	æ	Latin small letter ae	ж	Cyrillic small letter zhe
231	E7	ç	Latin small letter c with cedilla	з	Cyrillic small letter ze
232	E8	è	Latin small letter e with grave	и	Cyrillic small letter i
233	E9	é	Latin small letter e with acute	й	Cyrillic small letter short i
234	EA	ê	Latin small letter e with circumflex	к	Cyrillic small letter ka
235	EB	ë	Latin small letter e with diaeresis	л	Cyrillic small letter el
236	EC	ì	Latin small letter i with grave	м	Cyrillic small letter em
237	ED	í	Latin small letter i with acute	н	Cyrillic small letter en
238	EE	î	Latin small letter i with circumflex	о	Cyrillic small letter o
239	EF	ï	Latin small letter i with diaeresis	п	Cyrillic small letter pe
240	F0	ð	Latin small letter eth	р	Cyrillic small letter er
241	F1	ñ	Latin small letter n with tilde	с	Cyrillic small letter es
242	F2	ò	Latin small letter o with grave	т	Cyrillic small letter te
243	F3	ó	Latin small letter o with acute	у	Cyrillic small letter u
244	F4	ô	Latin small letter o with circumflex	ф	Cyrillic small letter ef
245	F5	õ	Latin small letter o with tilde	х	Cyrillic small letter ha
246	F6	ö	Latin small letter o with diaeresis	ц	Cyrillic small letter tse
247	F7	÷	Division sign	ч	Cyrillic small letter che
248	F8	ø	Latin small letter o with slash	ш	Cyrillic small letter sha
249	F9	ù	Latin small letter u with grave	щ	Cyrillic small letter shcha
250	FA	ú	Latin small letter u with acute	ъ	Cyrillic small letter hard sign
251	FB	û	Latin small letter u with circumflex	ы	Cyrillic small letter yeru
252	FC	ü	Latin small letter u with diaeresis	ь	Cyrillic small letter soft sign
253	FD	ý	Latin small letter y with acute	э	Cyrillic small letter e
254	FE	þ	Latin small letter thorn	ю	Cyrillic small letter yu
255	FF	ÿ	Latin small letter y with diaeresis	я	Cyrillic small letter ya

From Wikipedia, the free encyclopedia

Windows-1251

MIME / IANA	windows-1251
Alias(es)	cp1251 (Code page 1251)
Language(s)	Russian, Ukrainian, Belarusian, Bulgarian, Serbian Cyrillic, Bosnian Cyrillic, Macedonian, Rotokas, Rusyn, English
Created by	Microsoft
Standard	WHATWG Encoding Standard
Classification	extended ASCII, Windows-125x
Other related encoding(s)	Amiga-1251, KZ-1048, RFC 1345’s «ECMA-Cyrillic»
v t e

Windows-1251 is an 8-bit character encoding, designed to cover languages that use the Cyrillic script such as Russian, Ukrainian, Belarusian, Bulgarian, Serbian Cyrillic, Macedonian and other languages.

On the web, it is the second most-used single-byte character encoding (or third most-used character encoding overall), and most used of the single-byte encodings supporting Cyrillic. As of November 2022, 0.4% of all websites use Windows-1251.^[1][2] It’s by far mostly used for Russian, while a small minority of Russian websites use it, with 93.7% of Russian (.ru) websites using UTF-8,^[3][4][5] and the legacy 8-bit encoding is distant second. In Linux, the encoding is known as cp1251.^[6] IBM uses code page 1251 (CCSID 1251 and euro sign extended CCSID 5347) for Windows-1251.^{[7][8][9][10][11][12][13]}

Windows-1251 and KOI8-R (or its Ukrainian variant KOI8-U) are much more commonly used than ISO 8859-5 (which is used by less than 0.0004% of websites).^[14] In contrast to Windows-1252 and ISO 8859-1, Windows-1251 is not closely related to ISO 8859-5.

Unicode (e.g. UTF-8) is preferred to Windows-1251 or other Cyrillic encodings in modern applications, especially on the Internet, making UTF-8 the dominant encoding for web pages. (For further discussion of Unicode’s complete coverage, of 436 Cyrillic letters/code points, including for Old Cyrillic, and how single-byte character encodings, such as Windows-1251 and KOI8-R, cannot provide this, see Cyrillic script in Unicode.)

Character set[edit]

The following table shows Windows-1251. Each character is shown with its Unicode equivalent and its Alt code.

Windows-1251[15]

0

1

2

3

4

5

6

7

8

9

A

B

C

D

E

F

0x

NUL

SOH

STX

ETX

EOT

ENQ

ACK

BEL

BS

HT

LF

VT

FF

CR

SO

SI

1x

DLE

DC1

DC2

DC3

DC4

NAK

SYN

ETB

CAN

EM

SUB

ESC

FS

GS

RS

US

2x

SP

!

»

#

$

%

&

‘

(

)

*

+

,

—

.

/

3x

0

1

2

3

4

5

6

7

8

9

:

;

<

=

>

?

4x

@

A

B

C

D

E

F

G

H

I

J

K

L

M

N

O

5x

P

Q

R

S

T

U

V

W

X

Y

Z

[

\

]

^

_

6x

`

a

b

c

d

e

f

g

h

i

j

k

l

m

n

o

7x

p

q

r

s

t

u

v

w

x

y

z

{

|

}

~

DEL

8x

Ђ

Ѓ

‚

ѓ

„

…

†

‡

€

‰

Љ

‹

Њ

Ќ

Ћ

Џ

9x

ђ

‘

’

“

”

•

–

—

™

љ

›

њ

ќ

ћ

џ

Ax

NBSP

Ў

ў

Ј

¤

Ґ

¦

§

Ё

©

Є

«

¬

SHY

®

Ї

Bx

°

±

І

і

ґ

µ

¶

·

ё

№

є

»

ј

Ѕ

ѕ

ї

Cx

А

Б

В

Г

Д

Е

Ж

З

И

Й

К

Л

М

Н

О

П

Dx

Р

С

Т

У

Ф

Х

Ц

Ч

Ш

Щ

Ъ

Ы

Ь

Э

Ю

Я

Ex

а

б

в

г

д

е

ж

з

и

й

к

л

м

н

о

п

Fx

р

с

т

у

ф

х

ц

ч

ш

щ

ъ

ы

ь

э

ю

я

Kazakh variant[edit]

An altered version of Windows-1251 was standardised in Kazakhstan as Kazakh standard STRK1048, and is known by the label KZ-1048. It differs in the rows shown below:

KZ-1048 (STRK1048-2002)[16]

0

1

2

3

4

5

6

7

8

9

A

B

C

D

E

F

8x

Ђ

Ѓ

‚

ѓ

„

…

†

‡

€

‰

Љ

‹

Њ

Қ

Һ

Џ

9x

ђ

‘

’

“

”

•

–

—

™

љ

›

њ

қ

һ

џ

Ax

NBSP

Ұ

ұ

Ә

¤

Ө

¦

§

Ё

©

Ғ

«

¬

SHY

®

Ү

Bx

°

±

І

і

ө

µ

¶

·

ё

№

ғ

»

ә

Ң

ң

ү

  Differences from Windows-1251

Amiga variant[edit]

Amiga-1251

MIME / IANA	Amiga-1251
Alias(es)	Ami1251
Language(s)	English, Russian
Classification	extended ASCII
Based on	Windows-1251, ISO-8859-1, ISO-8859-15
v t e

Russian Amiga OS systems used a version of code page 1251 which matches Windows-1251 for the Russian subset of the Cyrillic letters, but otherwise mostly follows ISO-8859-1. This version is known as Amiga-1251,^[17] under which name it is registered with the IANA.^[18]

Amiga-1251[17]

0

1

2

3

4

5

6

7

8

9

A

B

C

D

E

F

8x

XXX

XXX

BPH

NBH

IND

NEL

SSA

ESA

HTS

HTJ

VTS

PLD

PLU

RI

SS2

SS3

9x

DCS

PU1

PU2

STS

CCH

MW

SPA

EPA

SOS

XXX

SCI

CSI

ST

OSC

PM

APC

Ax

NBSP

¡

¢

£

€[a]

¥

¦

§

Ё

©

№[b]

«

¬

SHY

®

¯

Bx

°

±

²

³

´

µ

¶

·

ё

¹

º

»

¼

½

¾

¿

  Different from Windows-1251 to match ISO-8859-1

  Different from both Windows-1251 and ISO-8859-1

See also[edit]

• Latin script in Unicode
• Unicode
• Universal Character Set
  • European Unicode subset (DIN 91379)
• UTF-8

References[edit]

Further reading[edit]

• Kornai, Andras; Birnbaum, David J.; da Cruz, Frank; Davis, Bur; Fowler, George; Paine, Richard B.; Paperno, Slava; Simonsen, Keld J.; Thobe, Glenn E.; Vulis, Dimitri; van Wingen, Johan W. (1993-03-13). «CYRILLIC ENCODING FAQ Version 1.3». Retrieved 2020-06-24.

External links[edit]

• Windows 1251 reference chart
• IANA Charset Name Registration
• Unicode mappings of windows 1251 with «best fit»
• Universal Cyrillic decoder, an online program that may help recovering unreadable Cyrillic texts with broken Windows-1251 or other character encodings.

From Wikipedia, the free encyclopedia

Windows code pages are sets of characters or code pages (known as character encodings in other operating systems) used in Microsoft Windows from the 1980s and 1990s. Windows code pages were gradually superseded when Unicode was implemented in Windows,^{[citation needed]} although they are still supported both within Windows and other platforms, and still apply when Alt code shortcuts are used.

There are two groups of system code pages in Windows systems: OEM and Windows-native («ANSI») code pages.
(ANSI is the American National Standards Institute.) Code pages in both of these groups are extended ASCII code pages. Additional code pages are supported by standard Windows conversion routines, but not used as either type of system code page.

ANSI code page[edit]

Windows-125x series

Alias(es)	ANSI (misnomer)
Standard	WHATWG Encoding Standard
Extends	US-ASCII
Preceded by	ISO 8859
Succeeded by	Unicode UTF-16 (in Win32 API)
v t e

ANSI code pages (officially called «Windows code pages» ^[1] after Microsoft accepted the former term being a misnomer ^[2]) are used for native non-Unicode (say, byte oriented) applications using a graphical user interface on Windows systems. The term «ANSI» is a misnomer because these Windows code pages do not comply with any ANSI (American National Standards Institute) standard; code page 1252 was based on an early ANSI draft that became the international standard ISO 8859-1, ^[2] which adds a further 32 control codes and space for 96 printable characters. Among other differences, Windows code-pages allocate printable characters to the supplementary control code space, making them at best illegible to standards-compliant operating systems.)

Most legacy «ANSI» code pages have code page numbers in the pattern 125x. However, 874 (Thai) and the East Asian multi-byte «ANSI» code pages (932, 936, 949, 950), all of which are also used as OEM code pages, are numbered to match IBM encodings, none of which are identical to the Windows encodings (although most are similar). While code page 1258 is also used as an OEM code page, it is original to Microsoft rather than an extension to an existing encoding. IBM have assigned their own, different numbers for Microsoft’s variants, these are given for reference in the lists below where applicable.

All of the 125x Windows code pages, as well as 874 and 936, are labelled by Internet Assigned Numbers Authority (IANA) as «Windows-number«, although «Windows-936» is treated as a synonym for «GBK». Windows code page 932 is instead labelled as «Windows-31J».^[3]

ANSI Windows code pages, and especially the code page 1252, were so called since they were purportedly based on drafts submitted or intended for ANSI. However, ANSI and ISO have not standardized any of these code pages. Instead they are either:^[2]

• Supersets of the standard sets such as those of ISO 8859 and the various national standards (like Windows-1252 vs. ISO-8859-1),
• Major modifications of these (making them incompatible to various degrees, like Windows-1250 vs. ISO-8859-2)
• Having no parallel encoding (like Windows-1257 vs. ISO-8859-4; ISO-8859-13 was introduced much later). Also, Windows-1251 follows neither the ISO-standardised ISO-8859-5 nor the then-prevailing KOI-8.

Microsoft assigned about twelve of the typography and business characters (including notably, the euro sign, €) in CP1252 to the code points 0x80–0x9F that, in ISO 8859, are assigned to C1 control codes. These assignments are also present in many other ANSI/Windows code pages at the same code-points. Windows did not use the C1 control codes, so this decision had no direct effect on Windows users. However, if included in a file transferred to a standards-compliant platform like Unix or MacOS, the information was invisible and potentially disruptive.^{[citation needed]}

OEM code page[edit]

The OEM code pages (original equipment manufacturer) are used by Win32 console applications, and by virtual DOS, and can be considered a holdover from DOS and the original IBM PC architecture. A separate suite of code pages was implemented not only due to compatibility, but also because the fonts of VGA (and descendant) hardware suggest encoding of line-drawing characters to be compatible with code page 437. Most OEM code pages share many code points, particularly for non-letter characters, with the second (non-ASCII) half of CP437.

A typical OEM code page, in its second half, does not resemble any ANSI/Windows code page even roughly. Nevertheless, two single-byte, fixed-width code pages (874 for Thai and 1258 for Vietnamese) and four multibyte CJK code pages (932, 936, 949, 950) are used as both OEM and ANSI code pages. Code page 1258 uses combining diacritics, as Vietnamese requires more than 128 letter-diacritic combinations. This is in contrast to VISCII, which replaces some of the C0 (i.e. ASCII) control codes.

History[edit]

Initially, computer systems and system programming languages did not make a distinction between characters and bytes: for the segmental scripts used in most of Africa, the Americas, southern and south-east Asia, the Middle East and Europe, a character needs just one byte, but two or more bytes are needed for the ideographic sets used in the rest of the world. This subsequently led to much confusion. Microsoft software and systems prior to the Windows NT line are examples of this, because they use the OEM and ANSI code pages that do not make the distinction.

Since the late 1990s, software and systems have adopted Unicode as their preferred storage format; this trend has been improved by the widespread adoption of XML which default to UTF-8 but also provides a mechanism for labelling the encoding used.^[4] All current Microsoft products and application program interfaces use Unicode internally,^{[citation needed]} but some applications continue to use the default encoding of the computer’s ‘locale’ when reading and writing text data to files or standard output.^{[citation needed]} Therefore, files may still be encountered that are legible and intelligible in one part of the world but unintelligible mojibake in another.

UTF-8, UTF-16[edit]

Microsoft adopted a Unicode encoding (first the now-obsolete UCS-2, which was then Unicode’s only encoding), i.e. UTF-16 for all its operating systems from Windows NT onwards, but additionally supports UTF-8 (aka CP_UTF8) since Windows 10 version 1803.^[5]
UTF-16 uniquely encodes all Unicode characters in the Basic Multilingual Plane (BMP) using 16 bits but the remaining Unicode (e.g. emojis) is encoded with a 32-bit (four byte) code – while the rest of the industry (Unix-like systems and the web), and now Microsoft chose UTF-8 (which uses one byte for the 7-bit ASCII character set, two or three bytes for other characters in the BMP, and four bytes for the remainder).

List[edit]

The following Windows code pages exist:

Windows-125x series[edit]

These nine code pages are all extended ASCII 8-bit SBCS encodings, and were designed by Microsoft for use as ANSI codepages on Windows. They are commonly known by their IANA-registered^[6] names as windows-<number>, but are also sometimes called cp<number>, «cp» for «code page». They are all used as ANSI code pages; Windows-1258 is also used as an OEM code page.

The Windows-125x series includes nine of the ANSI code pages, and mostly covers scripts from Europe and West Asia with the addition of Vietnam. System encodings for Thai and for East Asian languages were numbered to match similar IBM code pages and are used as both ANSI and OEM code pages; these are covered in following sections.

ID	Description	Relationship to ISO 8859 or other established encodings
1250[7][8]	Latin 2 / Central European	Similar to ISO-8859-2 but moves several characters, including multiple letters.
1251[9][10]	Cyrillic	Incompatible with both ISO-8859-5 and KOI-8.
1252[11][12]	Latin 1 / Western European	Superset of ISO-8859-1 (without C1 controls). Letter repertoire accordingly similar to CP850.
1253[13][14]	Greek	Similar to ISO 8859-7 but moves several characters, including a letter.
1254[15][16]	Turkish	Superset of ISO 8859-9 (without C1 controls).
1255[17][18]	Hebrew	Almost a superset of ISO 8859-8, but with two incompatible punctuation changes.
1256[19][20]	Arabic	Not compatible with ISO 8859-6; rather, OEM Code page 708 is an ISO 8859-6 (ASMO 708) superset.
1257[21][22]	Baltic	Not ISO 8859-4; the later ISO 8859-13 is closely related, but with some differences in available punctuation.
1258[23][24]	Vietnamese (also OEM)	Not related to VSCII or VISCII, uses fewer base characters with combining diacritics.

DOS code pages[edit]

These are also ASCII-based. Most of these are included for use as OEM code pages; code page 874 is also used as an ANSI code page.

East Asian multi-byte code pages[edit]

These often differ from the IBM code pages of the same number: code pages 932, 949 and 950 only partly match the IBM code pages of the same number, while the number 936 was used by IBM for another Simplified Chinese encoding which is now deprecated and Windows-951, as part of a kludge, is unrelated to IBM-951. IBM equivalent code pages are given in the second column. Code pages 932, 936, 949 and 950/951 are used as both ANSI and OEM code pages on the locales in question.

ID	Language	Encoding	IBM Equivalent	Difference from IBM CCSID of same number	Use
932	Japanese	Shift JIS (Microsoft variant)	943[26]	IBM-932 is also Shift JIS, has fewer extensions (but those extensions it has are in common), and swaps some variant Chinese characters (itaiji) for interoperability with earlier editions of JIS C 6226.	ANSI/OEM (Japan)
936	Chinese (simplified)	GBK	1386	IBM-936 is a different Simplified Chinese encoding with a different encoding method, which has been deprecated since 1993.	ANSI/OEM (PRC, Singapore)
949	Korean	Unified Hangul Code	1363	IBM-949 is also an EUC-KR superset, but with different (colliding) extensions.	ANSI/OEM (Republic of Korea)
950	Chinese (traditional)	Big5 (Microsoft variant)	1373[27]	IBM-950 is also Big5, but includes a different subset of the ETEN extensions, adds further extensions with an expanded trail byte range, and lacks the Euro.	ANSI/OEM (Taiwan, Hong Kong)
951	Chinese (traditional) including Cantonese	Big5-HKSCS (2001 ed.)	5471[28]	IBM-951 is the double-byte plane from IBM-949 (see above), and unrelated to Microsoft’s internal use of the number 951.	ANSI/OEM (Hong Kong, 98/NT4/2000/XP with HKSCS patch)

A few further multiple-byte code pages are supported for decoding or encoding using operating system libraries, but not used as either sort of system encoding in any locale.

ID	IBM Equivalent	Language	Encoding	Use
1361	—	Korean	Johab (KS C 5601-1992 annex 3)	Conversion
20000	—	Chinese (traditional)	An encoding of CNS 11643	Conversion
20001	—	Chinese (traditional)	TCA	Conversion
20002	—	Chinese (traditional)	Big5 (ETEN variant)	Conversion
20003	938	Chinese (traditional)	IBM 5550	Conversion
20004	—	Chinese (traditional)	Teletext	Conversion
20005	—	Chinese (traditional)	Wang	Conversion
20932	954 (roughly)	Japanese	EUC-JP	Conversion
20936	5479	Chinese (simplified)	GB 2312	Conversion
20949, 51949	970	Korean	Wansung (8-bit with ASCII, i.e. EUC-KR)[29]	Conversion

EBCDIC code pages[edit]

[edit]

Macintosh compatibility code pages[edit]

ISO 8859 code pages[edit]

ITU-T code pages[edit]

KOI8 code pages[edit]

• 20866 – Russian – KOI8-R
• 21866 – Ukrainian – KOI8-U (or KOI8-RU in some versions)^[40]

Problems arising from the use of code pages[edit]

Microsoft strongly recommends using Unicode in modern applications, but many applications or data files still depend on the legacy code pages.

• Programs need to know what code page to use in order to display the contents of (pre-Unicode) files correctly. If a program uses the wrong code page it may show text as mojibake.
• The code page in use may differ between machines, so (pre-Unicode) files created on one machine may be unreadable on another.
• Data is often improperly tagged with the code page, or not tagged at all, making determination of the correct code page to read the data difficult.
• These Microsoft code pages differ to various degrees from some of the standards and other vendors’ implementations. This isn’t a Microsoft issue per se, as it happens to all vendors, but the lack of consistency makes interoperability with other systems unreliable in some cases.
• The use of code pages limits the set of characters that may be used.
• Characters expressed in an unsupported code page may be converted to question marks (?) or other replacement characters, or to a simpler version (such as removing accents from a letter). In either case, the original character may be lost.

See also[edit]

• AppLocale – a utility to run non-Unicode (code page-based) applications in a locale of the user’s choice.

References[edit]

External links[edit]

• National Language Support (NLS) API Reference. Table showing ANSI and OEM codepages per language (from web-archive since Microsoft removed the original page)
• IANA Charset Name Registrations
• Unicode mapping table for Windows code pages
• Unicode mappings of windows code pages with «best fit»

О кодировках и кодовых страницах

Вряд ли это сейчас сильно актуально, но может кому-то покажется интересным (или просто вспомнит былые годы).

Начну с небольшого экскурса в историю компьютера. Поскольку компьютер использовался для обработки информации, то он просто обязан представлять эту информацию в «человеческом» виде. Компьютер хранит информацию в виде чисел (байтов), а человек воспринимает символы (буквы, цифры, различные знаки). Значит, надо сделать сопоставление число <-> символ и задача будет решена. Сначала посчитаем, сколько символов нам надо (не забудем, что «мы» — американцы, использующие латинский алфавит). Нам надо 10 цифр + 26 заглавных букв английского алфавита + 26 строчных букв + математические знаки (хотя бы +-/*=><%) + знаки препинания (.,!?:;’” ) + различные скобки + служебные символы (_^%$@|) + 32 непечатных управляющих символов для работы с устройствами (в первую очередь, с телетайпом). В общем, 128 символов хватает «впритык» и этот стандартный набор символов «мы» назвали ASCII, т.е. «American Standard Code for Information Interchange»

Отлично, для 128 символов достаточно 7 бит. С другой стороны, в байте 8 бит и каналы связи 8-битные (забудем про «доисторические» времена, когда в байте и каналах бит было меньше). По 8-ми битному каналу будем передавать 7 бит кода символа и 1 бит контрольный (для повышения надежности и распознавания ошибок). И все было замечательно, пока компьютеры не стали использоваться в других странах (где латиница содержит больше 26 символов или вообще используется не латинский алфавит). Вместо того, чтобы всем поголовно освоить английский, жители СССР, Франции, Германии, Грузии и десятков других стран захотели, чтобы компьютер общался с ними на их родном языке. Пути были разные (в зависимости от остроты проблемы): одно дело, если к 26 символам латиницы надо добавить 2-3 национальных символа (можно пожертвовать какими-то специальными) и другое дело, когда надо «вклинить» кириллицу. Теперь «мы» — русские, стремящиеся «русифицировать» технику. Первыми были решения на основе замены строчных английских букв прописными русскими. Однако проблема в том, что русских букв (33) и они не влезают на 26 мест. Надо «уплотнить» и первой жертвой этого уплотнения пала буква Ё (еe просто повсеместно заменили на Е). Другой прием – вместо «русских» A,E,K,M,H,O,P,C,T стали использовать похожие английские (таких букв даже больше чем надо, но в некоторых парах прописные похожие, а строчные — не очень: Hh Tt Bb Kk Mm). Но все же «вклинили » и в результате весь вывод шел ПРОПИСНЫМИ БУКВАМИ, что неудобно и некрасиво, однако со временем привыкли. Второй прием – «переключение языка». Код русского символа совпадал с кодом английского символа, но устройство помнило, что сейчас оно в русском режиме и выводило символ кириллицы (а в английском режиме – латиницы). Режим переключался двумя служебными символами: Shift Out (SO, код 14) на русский и Shift IN (SI, код 15) на английский (интересно, что когда-то в печатных машинках использовалась двухцветная лента и SO приводил к физическому подъему ленты и в результате печать шла красным, а SI ставил ленту на место и печать снова шла черным). Текст с большими и маленькими буквами стал выглядеть вполне прилично. Все эти варианты более-менее работали на больших компьютерах, но после выпуска IBM PC началось массовое распространение персональных компьютеров по всему миру и надо было что-то решать централизовано.

Решением стала разработанная фирмой IBM технология кодовых страниц. К этому времени «контрольный символ» при передаче потерял свою актуальность и все 8-бит можно было использовать для кода символа. Вместо диапазона кодов 0-127 стал доступен диапазон 0-255. Кодовая страница (или кодировка)– это сопоставление кода из диапазона 0-255 некоему графическому образу (например, букве «Я» кириллицы или букве «омега» греческого). Нельзя сказать «символ с кодом 211 выглядит так», но можно сказать «символ с кодом 211 в кодовой странице CP1251 выглядит так: У, а в CP1253(греческая) выглядит так: Σ ». Во всех (или почти всех) кодовых таблица первые 128 кодов соответствуют таблице ASCII, только для первых 32 непечатных кодов IBM «назначила» свои картинки (которые показывается при выводе на экран монитора). В верхней части IBM разместила символы псевдографики (для рисования различных рамок), дополнительные символы латиницы, используемые в странах Западной Европы, некоторые математические символы и отдельные символы греческого алфавита. Эта кодовая страница получила название CP437 (IBM разработала и множество других кодовых страниц) и по умолчанию использовалась в видеоадаптерах. Кроме того, различные центры стандартизации (мировые и национальные) создали кодовые страницы для отображения национальных символов. Наши компьютерные «умы» предложили 2 варианта: основная кодировка ДОС и альтернативная кодировка ДОС. Основная предназначалась для работы везде, а альтернативная — в особых случаях, когда использование основной неудобно. Оказалось, что таких особых случаев большинство и основной (не по названию, а по использованию) стала именно «альтернативная» кодировка. Думаю, такой исход был ясен с самого начала для большинства специалистов (кроме «ученых мужей», оторванных от жизни). Дело в том, что в большинстве случаев использовались английские программы, которые «для красоты» активно использовали псевдографику для рисования различных рамок и тп. Типичные пример — суперпопулярный Нортон коммандер, стоящий тогда на большинстве компьютеров. Основная кодировка на местах псевдографики разместила русские символы и панели нортона выглядели просто ужасно (равно как и любой другой псевдографический вывод). А альтернативная кодировка бережно сохранила символы пседографики, использую для русских букв другие места. В результате и с Нортон коммандером и с другими программами вполне можно было работать. Андрей Чернов (широко известная личность в то время) разработал кодировку KOI8-R (КОИ8), пришедшую с «больших» компьютеров, где господствовал UNIX. Ее особенностью было то, что если у русского символа пропадал 8-й бит, то получившийся в результате «обрезания» английский символ будет созвучен исходному русскому. И вместо «Привет» получался «pRIVET», что не совсем то, но хотя бы читаемо. В результате в СССР на компьютерах использовали 3 различных кодовых страницы (основную, альтернативную и KOI8). И это не считая различных «вариаций», когда в альтернативной кодировке, скажем, отдельные символы (а то и строки) изменялись. От KOI8 тоже «отпочковывались» варианты — украинский, белорусский, таджикский, кавказский и др. Оборудование (принтеры, видеодаптеры) тоже надо было настраивать (или «прошивать») для работы со своими кодировками. Коммерсанты могли привезти дешевую партию принтеров (из эмиратов, например, по бартеру) а они не работали с русскими кодировками.

Тем не менее в целом кодовые страницы позволили решить проблему вывода национальных символов (устройство просто должно уметь работать с соответствующей кодовой страницей), но породили проблему множественности кодировок, когда почтовая программа отправляет данные в одной кодировке, а принимающая программа показывает их в другой. В результате пользователь видит так называемые «кракозябры» (вместо «привет» написано «ЏаЁўҐв» или «оПХБЕР»). Потребовались программы-перекодировщики, переводящие данные из одной кодировки в другую. Увы, порой письма при прохождении через почтовые серверы неоднократно автоматически перекодировались (или даже «обрезался» 8-й бит) и нужно было найти и выполнить всю цепочку обратных преобразований.

После массового перехода на Windows к трем кодовым страницам добавилась четвертая (Windows-1251 она же CP1251 она же ANSI ) и пятая (CP866 она же OEM или DOS). Не удивляйтесь — Windows для работы с кириллицей в консоли по-умолчанию использует кодировку CP866 (русские символы такие же как в «альтернативной кодировке», только некоторые спецсимволы отличаются), для других целей — кодировку CP1251. Почему Windows понадобилось две кодировки, неужели нельзя было обойтись одной? Увы, не получается: DOS-кодировка используется в именах файлов (тяжелое наследие DOS) и консольные команды типа dir, copy должны правильно показывать и правильно обрабатывать досовские имена файлов. С другой стороны, в этой кодировке много кодов отведено символам псевдографики (различным рамкам и т.п.), а Windows работает в графическом режиме и ей (а точнее, windows-приложениям) не нужны символы псевдографики (но нужны занятые ими коды, которые в CP1251 использованы для других полезных символов). Пять кириллических кодировок поначалу еще больше усугубили ситуацию, но со временем наиболее популярными стали Windows-1251 и KOI8, а досовскими просто стали меньше пользоваться. Еще при использовании Windows стало неважно, какая кодировка в видеоадаптере (только изредка, до загрузки Windows в диагностических сообщениях можно видеть «кракозябры»).

Решение проблемы кодировок пришло, когда повсеместно стала внедряться система Unicode (и для персональных ОС и для серверов). Unicode каждому национальному символу ставит в соответствие раз и навсегда закрепленное за ним 20-ти битовое число («точку» в кодовом пространстве Unicode, причем чаще всего хватает 16 бит, поскольку 20-битные коды используются для редких символов и иероглифов), поэтому нет необходимости перекодировать (подробнее об Unicode см следующую запись в журнале). Теперь для любой пары <код байта>+<кодовая страница> можно определить соответствующий ей код в Unicode (сейчас в кодовых страницах для каждого 8-битного кода показывается 16-битный код Unicode) и потом при необходимости вывести этот символ для любой кодовой страницы, где он присутствует. В настоящее время проблема кодировок и перекодировок для пользователей практически исчезла, но все же изредка приходят письма, где либо тема письма либо содержание «не в той» кодировке.

Интересно, что примерно год назад проблема кодировок ненадолго всплыла при «наезде» ФАС на сотовых операторов, мол те дискриминируют русскоязычных пользователей, поскольку за передачу кириллицы берут больше. Это объясняется техническим решением, выбранным разработчиком протокола SMS связи. Если бы его россияне разработали, они бы, возможно, отдали приоритет кириллице. В указанной статье «начальник управления контроля транспорта и связи Дмитрий Рутенберг отметил, что существуют и восьмибитные кодировки для кириллицы, которые могли бы использовать операторы.» Во как — на улице 21-й век, Unicode шагает по миру, а господин Рутенберг тянет нас в начало 90-х, когда шла «война кодировок» и проблема перекодировок стояла во весь рост. Интересно, в какой кодировке должен получить СМС Вася Пупкин, пользующийся финским телефоном, находящийся в Турции на отдыхе, от жены с корейским телефоном, отправляющей СМС из Казахстана? А от своего французского компаньона (с японским телефоном), находящегося в Испании? Думаю, никакой начальник ответа на этот вопрос дать не сможет. К счастью, это «экономное» предложение не воплотилось в жизнь.

Юный читатель может спросить — а что помешало сразу использовать Unicode, зачем были придуманы эти заморочки с кодовыми страницами? Думаю, дело в финансовой стороне проблемы. Unicode требует в 2 раза больше памяти, а память стоит денег (и дисковая и ОЗУ). Стал бы американец покупать компьютер на 1-2 тыс дороже из-за того, что «теперь новая ОС требует больше памяти, но позволяет без проблем работать с русским, европейскими, арабскими языками»? Боюсь, простой англоязычный покупатель воспринял бы такой аргумент «неадекватно» (и обратился бы к другим производителям).

О кодировках utf-8 и windows 1251

Самое главное. что нас интересует, как и меня — в чем же отличие кодировок utf-8 и windows 1251. И отличается только кириллица!

Чем отличаются utf-8 и windows 1251

Главное отличие кодировок – это используемый набор символов. В UTF-8 гораздо больше количество символов возможно представить, чем в Windows- 1251. Кодировка Windows- 1251 однобайтовая, т.е. представить в ней можно только 255 символов. Для кириллицы, впрочем, этого вполне достаточно, именно поэтому однобайтовые кодировки до сих пор так массово применяются.

Что такое кодировка windows 1251

Windows-1251 – набор символов и кодировка, являющаяся стандартной 8-битной кодировкой для всех русских версий Microsoft Windows. Пользуется довольно большой популярностью. Windows-1251 выгодно отличается от других 8‑битных кириллических кодировок (таких как CP866, KOI8-R и ISO 8859-5) наличием практически всех символов, использующихся в русской типографике для обычного текста; она также содержит все символы для близких к русскому языку языков: украинского, белорусского, сербского и болгарского.

Что такое кодировка UTF-8

Пример вывода текста в кодировках utf-8 латиницы

Когда и если вы прочитали теорию о разнице кодировок utf-8 и windows 1251 — это уже победа!
смайлы

А если вы еще и поняли о чем идет речь, то вы вообще Эйнштейн!
смайлы, то и смысла особого вам читать дальше нет.

А для всех остальных продолжим…

Чем отличается текст в кодировках utf-8 и windows 1251

Теория — это конечно классно и круто, но как обстоит дело на практике!

Как показать отличие двух кодировок!?

У нас на сайте основная кодировка utf-8, и мы не напрягаясь можем посмотреть, что творится с текстом в этой кодировке!

Нам понадобится какой-то текст на латинице:

И… нам нужно такое слово, чтобы имело одинаковое количество букв в слове, ну пусть это будет моё имя…

Результат:

string(5) «Marat»

Что мы здесь можем прочитать!?

Что это строка, и что в ней 5 элементов.

Пример вывода текста в кодировках utf-8 кириллицы

Теперь, проделаем тоже самое со строкой на кириллице:

У нас все таже кодировка utf-8.

Но теперь нам понадобится текст на кириллице:

Результат:

string(10) «Марат»

И что мы здесь видим!?

Что количество элементов в строке 10… Если вы читали теорию внимательно, то вот вам показатель того, что одна буква состоит из двух символов, а латиницы это не касается…!

Поэтому, и возникают проблемы с текстом в кодировке utf-8 кириллицы, множество функций тупо не работают.

Как пример…как-то я задолбался со strtolower в utf-8 для кириллицы, что решил написать собственную функцию strtolower, чтобы каждый раз не городить этажерку из нескольких функций…

Пример отличия в кодировках utf-8 и windows 1251

Если вы поленились прочитать два верхних пункта, то ещё раз выведем результаты вывода текста на латинице и на кириллице с одним количеством букв.

Результат вывода var_dump(‘Marat’);:
string(5) «Marat»

Результат var_dump(‘Марат’);:
string(10) «Марат»

Что делать, если функция для кириллицы на utf-8 не работают?

Поскольку я давно занимаюсь сайтами, то могу сказать, что на самом деле таких случаев не так много, когда нужна какая-то специальная функция для обработки кириллицы на utf-8.

Но если уж она возникала, то есть несколько вариантов решения!

Рассмотрим, первый попавшийся на ум пример…

Пусть это будет функция str_split и её аналог mb_str_split

print_r (str_split(‘Марат’)); выдаст :

print_r (mb_str_split(‘Марат’)); выдаст :

Как видим… полный отстой…

Мы далее разбирались с этим здесь.

Как перекодировать строку из utf-8 в windows 1251

Итак… есть третий вариант, борьбы с квадратиками(непонимание кодировки) — перекодировать строку из utf-8 в windows 1251:

iconv(«UTF-8», «windows-1251», $text)

После того, как вы выполнили все намеченные действия с текстом, возвращаем его в исходную кодировку :

iconv(«windows-1251», «UTF-8», $text)

Рассмотрим пример перекодировки текста из UTF-8 в windows-1251 и обратно

Мы использовали var_dump, и он посчитал не правильно, поскольку просто так, на страницу вывести данные с помощью var_dump нельзя, мы использовали вот такой костыль :

Теперь попробуем перекодировать строку прямо внутри :

Результат подсчета знаков верный, но видим что слово не было перекодировано обратно :

string(5) «�����»

Исправим:

Результат :

string(5) «Марат»

Итак… вы видели процесс кодировки и перекодировки текста из utf-8 в windows 1251, а потом обратно!

---

Вы наверное подумали :

Что за дичь здесь происходит!? Это не дичь! Когда ты внутри, а не снаружи, то все кажется не простым, а очень простым.

И чем больше ты в теме, это просто, как есть, пить, дышать… просто не задумываешься…

Я не говорю, что всегда так, иногда бывает очень трудно какаю-то задачку решить…
смайлы

Что лучше для кириллицы utf-8 или…

Интересный поисковый запрос — «Что лучше для кириллицы utf-8 или…«…

Дело в том, что я выбрал кодировку «utf-8» уже… 14 лет(число динамическое) назад… и… уже сейчас трудно вспомнить, почему именно её… но точно вам могу заявить, что когда-то пользовался «windows-1251″… и у неё были какие-то заморочки, в виде неадекватного вывода информации, что, я волей неволей перешел на «utf-8»

Какие минусы у utf-8?

Одна из самых главных проблем «utf-8» — это многобайтовость…

Да! Это несколько неудобно в самом начале, но для всякой функции, которая не хочет работать с кириллицей, существуют замены.

В процессе создания сайта у вас может возникнуть несколько проблем, которые вы решите и «тупо» забудете об этом…

Задумывался ли я о переходе с кодировки utf-8 на другую?

Смысл задумываться о переходе с кодировки utf-8 на другую, если всё работает так, как нужно!