Teckentydning

[Klas Mårtensson]

Varför har trafikbolagen så svårt med att få rätt stavning på displayerna i nya bussar? Åkte nyligen med en ny buss på SL 515, och noterade att skyltningen inte klarade ö i Frösundaleden. Inte heller ä i -vägen.
Och nyss i Kalmar. En månadsgammal buss som skyltades L{ckeby.
Vad är det som gör det så svårt att klara detta? Skyltningen är ju ett slutet system, så det borde inte vara så svårt att ha rätt kodning redan från början. (Att det blir fel i e-post och liknande är begripligare, där ska man ta emot historiska teckenkodningar).

[thorwald]

Vissa lever fortfarande i 1900-talet. Manualen ADVANCED WINDOWS NT / The Developers Guide to the Win32 Application Programming Interface från år 1994 introducerade för mig något som de kallar Unicode som en ersättning till ASCII. Måste alltså dra den slutsatsen att de som tillverkar dessa "utomordentlig" buss skyltar fortfarande använder sig av ASCII.
Angående e-post så klarar man även här i flesta fall detta årtusende fastän gamla ASCII emellanåt sticker upp. Men dessa buss skyltar visar täcken på att använda den äldsta ASCII varianten eller ASCII 7-bit kodningen. Märkena ÅÄÖ finns med i variant av ASCII 8-bit kodning på vissa ASCII sidor.
Kanske man borde för buss bolaget föreslå att de i biljeterna övegick till hålkort med Hollerith kodning

[TKO]

Jag stödjer alla förslag om att över/återgå till hålkort - grinig gammal gubbe som jag håller på att bli! En del personer i min omgivning vill nog byta 'håller på att bli' mot 'redan blivit'...

Åter till ämnet:
1) Problemet borde inte finnas kvar i driftsskedet - tillverkarna testar väl innan dom levererar?
2) Om mot all förmodan problemet kvarstår (eller /åter/uppstår) i driftsskedet noteras detta naturligtvis omgående av den ansvarskännande entreprenören. I stort sett omedelbart åtgärdas felet och allt är frid och fröjd.
3) Om det otroliga händer att felet kvarstår trots att det är uppenbart för alla tar naturligtvis SLL/TF fram bilan och gör processen kort med den odugliga entreprenören.

Ovanstående scenario är naturligtvis helt litterärt och skall inte alls kopplas till verkliga händelser!

God natt alla barn
Thomas K Ohlsson
Jourhavande sagoberättare

[NerdBoy]

I min bransch spelar det ingen roll att en webbsida är ordentligt testad med olika webbläsare på olika plattformar, det dyker ändå alltid upp något oväntat fall där bilder hamnar till hälften utanför sidan om man använder en obskyr webbläsare på en uppochnervänd iPhone 2.

Jag har inga som helst problem att tänka mig att displayer byggda i olika länder pratar lite olika varianter av 8-bitars ASCII och därför kräver något olika inställningar i styrprogrammet.

[Odd]

...
Åter till ämnet:
1) Problemet borde inte finnas kvar i driftsskedet - tillverkarna testar väl innan dom levererar?
2) Om mot all förmodan problemet kvarstår (eller /åter/uppstår) i driftsskedet noteras detta naturligtvis omgående av den ansvarskännande entreprenören. I stort sett omedelbart åtgärdas felet och allt är frid och fröjd.
3) Om det otroliga händer att felet kvarstår trots att det är uppenbart för alla tar naturligtvis SLL/TF fram bilan och gör processen kort med den odugliga entreprenören.
...

UniCode har funnits under lång tid men dels så finns det dels en massa olika dialekter av det, dels finns det fortfarande system och framför allt protokoll som inte använder sig av UniCode. Att förenkla det hela och inkompetensförklara alla pga det är inte en framkomlig väg.

Det var enklare när det bara fanns en enda part i sammanhanget, Trafikhuvudmannen, som enbart behövde se till att ett flöde fungerade. Men idag så läggs allt fler system över på de olika operatörerna på olika sätt, med olika leverantörer mm. Det ursäktar inte att man missar teckenkodsomvandlingen, men det förklarar varför det är mer sannolikt för att det händer. Till det, gamla skyltar, gamla protokoll och gamla system.

[thorwald]

UniCode har funnits under lång tid men dels så finns det dels en massa olika dialekter av det

Stämmer ej vilket just är det som är betydelsefullt, se http://www.unicode.org/. Det finns 5 stycken sätt att koda unicode (UTF kodning)

• UTF-8
• UTF-16BE
• UTF-16LE
• UTF-32BE
• UTF-32LE

Men detta är en fråga om hur uppbevara en unicode kodvärde. Just frånvaron av dialekter är ett av de centrala målen, ett märkes unicode värde har oberoende av kodning alltid samma unicode kodvärde. Utöver detta kommer frågan om kodvärden som kan bygga upp ett unicode kodvärde så som diaresis-märke + bokstaven-A står för vädet för bokstaven-Ä. Men att bygga upp ett märke som ej har sitt eget unicode värde blir ej ett legalt unicode värde

Men förelår att vi avslutar med detta denna diskussion och koncentrar oss på säkerhetskontrollen på Öresundståget. Senast jag reste, för flera år sedan, kunde man resa direkt från Köpenhamn till Hälsingborg utan denna "kontroll". Nu undrar jag när är detta igen möjligt.

[TKO]

Jag vidhåller att detta inte är en teknisk utan en administrativ fråga!

(Det går inte att jämföra med "det fria och öppna nätet" - där den som kodar inte har en aning om och heller inte kan styra vad slutanvändaren har för utrustning)

I ursprungstråden tas SL (SLL/TF) upp som exempel på beställare som misslyckas. Beställaren ska naturligtvis kräva att all teckenkodning sker enligt EN fastställd tabell - gärna en standardtabell (ASCII, UTF etc). För att göra det enkelt både för leverantörer och upphandlare kan man ta fram en provtext som innehåller alla tecken som kan komma ifråga - det handlar inte om så många. En seriös leverantör ser naturligtvis till att levererad utrustning är anpassad till denna standard. Och det är ju en funktion som är lätt att testa innan idrifttagande, både av leverantör och beställare.
Skulle man då mot all förmodan upptäcka att teckenpresentationen blir felaktig är det bara för beställaren att säga "Nej tack - återkom när det är fixat". Ett vite för leveransförsening kan nog öka noggrannheten!

Om man följer ovanstående schema blir det både billigt och bra. Som alla säkert förstår gör man oftast inte det, och då blir det som det blir...

föreläser
Thomas K Ohlsson
(med viss upphandlingserfarenhet)

PS: Och som de flesta säkert redan anat är denna modell tillämpbar i alla upphandlingssituationer, inte bara när det gäller informationspresentation.

[Klas Mårtensson]

Eftersom jag är så gammal i gården att jag minns när 7-teckens ASCII var en ny, önskvärd, standardisering. (Synd bara att aktuell datamaskin hade 6-bitars teckenrepresentation):
Jag misstänker att trafikbolagen inte kontrollerar vad de matar in i visningssystemet. Utan att kontrollera vilken representation som visningssystemet förutsätter. L{ckeby ser t.ex. ut som klassiskt fall av ASCII-inmatning där UTF-8 förväntas.

[Odd]

Jag använde ordet "dialekt" slarvigt men det är inte så enkelt som att påstå att det bara är att implementera det.

Men, UTF8 är egentligen inget annat än ett "superset" av ASCII, eller rättare sagt, 7-bitars ASCII, plus lite skräp till. Så, man måste veta vilken teckenuppsättning som avses. Det finns inget i filformatet som talar om om en fil är en ASCII-fil eller en UTF8-fil utan man brukar använda sig av nån form av detektering där man går igenom hela filen och gör någon form av rimlighetsbedömning, tex att om det förekommer knasiga tecken mitt i normala ord. ASCII-tecknen skiljer sig inte från motsvarande tecken i UTF8 för de första sju bitarna och icke-ASCII-tecken kodas sedan med ett prefix framför varje tecken som talar om vilken kodtabell som skall användas för efterföljande tecken, vilket i sin tur till stora delar bygger på många av de olika utökade ASCII-tabeller som finns, däribland de vanliga västerländska ISO-8859-1 till -10, men därtill säkert ett hundratal till. Så, om man kallar det för dialekt eller ej, så är det ändå så att det är ett problem.

Till det så Om man kör 16-bitars eller 32-bitars kod så måste man dessutom veta hur det är kodat, därav BOM-prefixet i filerna ( exempelvis 0xFFFE för Little Endian ). Det hade så klart varit fantastiskt om man hade kunnat enas om att man redan från början skulle koda UTF8-filer med ett prefix likt UTF16 och UTF32, då hade man sluppit en massa problem (och fått några få nya). Men nu är det inte så.

Med andra ord, så länge som du håller dig borta från konstiga bokstäver med prickar, ringar, fnuttar och streck ovanför så kommer det gå finfint, då man håller sig till 7-bitarstecken, men så fort man stegar upp på den 8:e biten, då kan det börja bli krångligt. Och tro mig, det finns många som inte har koll på det, inte ens folk på SL.

[TKO]

Jag tror att en del (eller rätt många) skribenter i denna tråd glömmer bort att det är enkla informationssystem inom kollektivtrafiken som frågan gäller - inte det generella problem som finns med digital teckenkodning. Och därför svävar ut i onödigt tillkrångliga spekulationer av invecklad datorteknisk art!

så det så
TKO

[Klas Mårtensson]

Jag tror att bussarnas informationssystem förväntar sig UTF-8, och tolkar som om det vore det. Tyvärr verkar KLT mata in ASCII, och SL förmodligen något 8-bitars superset av ASCII. Vilket innebär att båda företagen har dåliga system för att skapa inmatningen.
Vilket tyder på att det antingen inte finns några instruktioner, eller (troligare) att de finns men inte nått rätt personer.
E-post och liknande system ska, av historiska skäl, helst hantera, och återge som önskat, vilken inmatning som helst. Men att baka in något sådant i displayernas system har förmodligen ansetts vara överdrivet (och svårare, eftersom man bara har enstaka ord att gå på).

[daniel_s]

Snart (eller om det redan har hänt) så kommer "SL" att släppa greppet om bussarnas skyltsystem och efter det kan det bli precis hur som helst. Man kanske kan säga att det du såg på 515 är en försmak av hur det så småningom kommer att bli.

[Klas Mårtensson]

Snart (eller om det redan har hänt) så kommer "SL" att släppa greppet om bussarnas skyltsystem och efter det kan det bli precis hur som helst. Man kanske kan säga att det du såg på 515 är en försmak av hur det så småningom kommer att bli.

I så fall ingen ny försmak, med tanke på de konstigheter som då och då skyltats för hållplatsen "Allén".

[TKO]

Snart (eller om det redan har hänt) så kommer "SL" att släppa greppet om bussarnas skyltsystem och efter det kan det bli precis hur som helst. Man kanske kan säga att det du såg på 515 är en försmak av hur det så småningom kommer att bli.

Är detta följden av ett (genomtänkt) beslut eller är det bara att man glidit ytterligare en bit nedåt på det sluttande planet?

undrar
Thomas K Ohlsson