Codificació de caràcters

La codificació de caràcters és el mètode que permet convertir un caràcter d'un llenguatge natural (alfabet o sil·labari) en un símbol d'un altre sistema de representació, com un nombre o una seqüència de polsos elèctrics en un sistema electrònic, aplicant normes o regles de codificació. Un exemple senzill de codificació per a la paraula " hello " pot veure's aquí

Taula de continguts

1 Normes de codificació
2 Normes de Transmissió
3 Taules tipogràfiques
4 Normes comunes de codificació de caràcters
5 Codificació de caràcters de l'idioma espanyol

Normes de codificació [modifica]

Defineixen la forma en què es codifica un caràcter donat en un símbol en un altre sistema de representació. Exemples d'això són el codi Morse, la norma ASCII o la UTF-8, entre altres.

ASCII [modifica]

Per estar íntimament lligat al octet (i per tant als sencers que van del 0 al 127, el problema que presenta és que no pot codificar més que 128 símbols diferents (128 és el nombre total de diferents configuracions que es poden aconseguir amb 7 dígits binaris o digitals (0.000.000 , 0.000.001 ,..., 1.111.111 ), usant el vuitè dígit de cada octet (bit o dígit de paritat) per detectar algun error de transmissió). Una quota de 128 és suficient per incloure majúscules i minúscules de l'abecedari anglès, a més de xifres, puntuació, i alguns "caràcters de control" (per exemple, un que instrueix a una impressora que passi al full següent), però el ASCII no inclou ni els caràcters accentuats ni el començament d'interrogació que s'usa en català, ni tants altres símbols (matemàtics, lletres gregues ,...) que són necessaris en molts contextos.

ASCII ampliada [modifica]

A causa de les limitacions del ASCII es van definir diversos codis de caràcters de 8 bits, entre ells el ASCII estès. Tanmateix, el problema d'aquests codis de 8 bits és que cada un d'ells es defineix per un conjunt de llengües amb escriptures semblants i per tant no donen una solució unificada a la codificació de totes les llengües del món. És a dir, no són suficients 8 bits per codificar tots els alfabets i escriptures del món.

Unicode [modifica]

Com a solució a aquests problemes, des de 1991 s'ha acordat internacionalment utilitzar la norma Unicode, que és una gran taula, que actualment assigna un codi a cada un dels més de cinquanta mil símbols, els quals comprenen tots els alfabets europeus, ideogrames xinesos, japonesos, coreans, moltes altres formes d'escriptura, i més d'un miler de símbols especials.

UTF-8 [modifica]

És una norma de transmissió utilitzada juntament amb la norma de codificació Unicode. Utilitzades en conjunt, funcionen de la següent manera:

Unicode assigna els enters del 0 al 127 (un total de 128) a exactament els mateixos caràcters que ASCII
UTF-8 empaqueta qualsevol sencer del 0 al 127 en un octet "a l'antiga" però amb el vuitè dígit sempre en zero, ja que actualment el bit de paritat no s'utilitza més per a detecció d'errors
A més, com la taula de Unicode és tan gran, la majoria dels seus símbols estan assignats a enters majors que 127 (codis que, en conseqüència, necessiten més que 7 dígits per a la seva representació binària). En tots aquests casos, UTF-8 envia el començament de la representació binària del codi en qüestió en un primer octet amb dígit de paritat = 1
El receptor d'aquest missatge, interpreta aquest dígit en 1 com a senyal que el que està sent transmès és un codi que no cap en 7 dígits binaris, i per tant determina que el símbol no ho va a conèixer mentre no llegiu el següent octet , i potser el que segueix. En el pitjor dels casos, potser es faci necessari llegir seis octets consecutius per determinar un codi alt.

Mapes de caràcters [modifica]

Article principal: Mapa de caràcters

Sovint els sistemes operatius, en especial Windows, utilitzen mapes de caràcters o pàgines de codi on barregen o Inclòs diverses normes . html aquí es troba a la figura 1 un exemple de com estan distribuïts els caràcters i les normes de codificació de caràcters per a MS DOS.

Normes de Transmissió [modifica]

Les normes de transmissió tenen com a objectiu definir la manera com els caràcters codificats (utilitzant els normes de codificació ) són transmesos al canal de comunicacions (per exemple Internet)

Actualment, a Internet els missatges es transmeten en paquets que sempre consten d'un nombre sencer de bytes, i la detecció d'error ja no es fa amb el vuitè dígit de cada octet, sinó amb octets especials que automàticament s'agreguen a cada paquet. Les normes de transmissió es limiten a especificar una correspondència, reversible, entre codis (que representen caràcters), i seqüències de bytes (que han de ser transmesos en qualitat de dades).

Taules tipogràfiques [modifica]

Però, finalment, per carta electrònica en xinès simplificat (per exemple) cal un detall important:

La taula que el Consorci Unicode publica per a ser llegida per humans, conté una representació gràfica o descripció, de cada caràcter inclòs fins aquell moment, però, els sistemes de visualització de documents, per poder funcionar, requereixen taules de tipografia, que associen un glif (dibuix) a cada caràcter que abasten, i passa que hi ha moltíssimes taules de tipografia, amb noms com Arial o Times, que dibuixen una mateixa lletra a base de matrius diferents i en diferents estils ("A" o "A"), però la gran majoria de les famílies de tipus d'impremta contenen només un petit subconjunt de tots els caràcters Unicode. Per aquest motiu, per llegir pàgines amb caràcters asiàtics, per exemple, no n'hi ha prou que el visualitzador usat "accepti" la codificació Unicode, sinó que, a més, l'ordinador ha de tenir instal·lada una taula tipogràfica prou extensa.

Normes comunes de codificació de caràcters [modifica]

ISO 646
- BCD
- BCD (6-bit)
- ASCII
EBCDIC
- CP930
ISO 8859:
- ISO 8859-1 Europa occidental
- ISO 8859-2 Europa occidental i Centreeuropa
- ISO 8859-3 Europa occidental i Europa del Sud
- ISO 8859-4 Europa occidental i països bàltics (lituà, estonià i lapó)
- ISO 8859-5 alfabet ciríl lic
- ISO 8859-6 àrab
- ISO 8859-7 grec
- ISO 8859-8 Hebreu
- ISO 8859-9 Europa occidental amb el joc de caràcters turc
- ISO 8859-10 Europa occidental amb jocs de caràcters nòrdics, incloent el de Islàndia.
- ISO 8859-11 tailandès
- ISO 8859-13 idiomes bàltics i polonès
- ISO 8859-14 idiomes celtes (gaèlic irlandès, escocès, Welsh)
- ISO 8859-15 Afegeix el símbol d'Euro i altres a ISO 8859-1
- ISO 8859-16 idiomes centreeuropeus (polonès, txec, eslovac, hongarès, albano, romanès, alemany i italià) (Polish, Czech, Slovenian, Slovak, Hungarian, Albanian, Romanian , German, Italian)
CP437, CP737, CP850, CP852, CP855, CP857, CP858, CP860, CP861, CP863, CP865, CP866, CP869
Jocs de caràcters de Windows:
- Windows-1250 per a idiomes centreeuropeus que utilitzen un guió llatí, (polonès, txec, eslovac, hongarès, eslovè, serbi, croat, romanès i albanès)
- Windows-1251 per alfabets ciríl·lics
- Windows-1252 per a idiomes occidentals
- Windows-1253 per grec
- Windows-1254 per turc
- Windows-1255 per hebreu
- Windows-1256 per àrab
- Windows-1257 per a idiomes bàltics
- Windows-1258 per vietnamita
Mac OS Roman
KOI8-R, KOI8-U, KOI7
MIK
Cork o T1
ISCII
VISCII
Big5
- HKSCS
Guobiao
- GB2312
- GBK (Pàgina de codis 936 de Microsoft)
- GB18030
Shift JIS per Japonès (Pàgina de codis 932 de Microsoft)
EUC-KR per Coreà (Pàgina de codis 932 de Microsoft)
ISO-2022 i EUC per a jocs de caràcters CJK
Unicode (i els seus subconjunts, com el Basic Multilingual Plane de 16 bits). Vegeu també UTF-8 i UTF-16.
Ansel o ISO/IEC 6937