Archifau Misol: Chwefror 2017

Sut mae Swyddfa Archwilio Queensland yn dadansoddi data i archwilio’n fwy effeithiol

Beth allwn ni ddysgu o’r ffordd mae Swyddfa Archwilio Queensland yn dadansoddi ei data ar gyfer eu harchwiliadau? Cafodd Dyfrig Williams sgwrs ffôn yn hynod o gynnar yn y bore er mwyn darganfod mwy.

Fel rydw i wedi dweud o’r blaen yn fy mlogbost ar brosiect Archwilio Sydd ar Flaen y Gad, rwy’n edrych i nodi ffyrdd o wneud defnydd gwell o ddata a thechnoleg i drawsnewid y ffordd rydyn ni’n gweithio. Fe wnes i ddod ar draws yr erthygl hon ar sut mae Swyddfa Archwilio Queensland yn dadansoddi data i gael mewnwelediad gwell iddo. Trwy fy nghydweithiwr Tom Haslam trefnais sgwrs yn gynnar iawn yn y bore rhyngof i a fy nghydweithwyr (Steve Lisle a Nigel Blewitt) a Daniele Bird, yr Archwilydd Cyffredinol Cynorthwyol ar gyfer Archwilio Perfformiad yn Queensland, Ben Jiang, y Cyfarwyddwr Cynorthwyol dros Ddadansoddi Data Archwilio a David Toma, y Cyfarwyddwr Cynorthwyol ar gyfer Gwasanaethau Archwilio Perfformiad.

Beth mae Swyddfa Archwilio Queensland yn gwneud?

Edrychodd y swyddfa ar gyfleoedd i ddefnyddio offer delweddu data mewn ffordd fwy soffistigedig yn ôl yn 2014 er mwyn cael dealltwriaeth well o’r cyrff maen nhw’n archwilio. Fe wnaethon nhw dreialu a phrofi Qlikview, sef meddalwedd sy’n gallu cael ei ddefnyddio trwy’r we neu ar ben desg. Fe wnaethon nhw sefydlu tîm dadansoddi data yn 2015, ble roedd pob un ohonynt yn gyn-archwilwyr. Fe wnaeth y tîm derbyn hyfforddiant i ddechrau, ond ers hynny mae eu datblygiad wedi dod o hunan-ddysgu. Y cynllun ar y dechrau oedd gweithio ar Archwilio Perfformiad. Fodd bynnag, symudodd y ffocws i Archwilio Ariannol gan fod yr un setiau o ddata yn cael ei ddefnyddio tro ar ôl tro, felly roedd yn haws i alluogi gwaith effeithlon ac effeithiol o’i gymharu â’r mathau gwahanol iawn o ddata sydd eu hangen ar gyfer astudiaethau Archwilio Perfformiad.

Y pwysigrwydd o berthnasau

Fe wnaeth ein seminarau yn 2015 a 2016 ar gau cyfrifon yn gynt dangos i mi fod rhaid i’r archwilydd a’r corff sy’n cael ei archwilio i gydweithio’n agos i weithio’n effeithiol. Adeiladodd Swyddfa Archwilio Queensland prosesau a systemau awtomatig i gasglu data, ond roeddwn nhw’n dal i gael cwestiynau o gleientiaid am y diogelwch o beth roedden nhw’n gwneud a beth roedden nhw’n mynd i wneud  gyda’r data. Rhoddir tudalen Cwestiynau a Ofynnir yn Aml at ei gilydd yn fewnol fel y gallai arweinwyr y timau archwilio tawelu meddyliau’r sefydliadau ac adeiladu ymddiriedaeth. Fe wnaethon nhw hefyd cymryd y baich o newid i ffwrdd o’r cyrff drwy eu galluogi i anfon y data heb ei fformatio. Gwnaeth y Tîm Dadansoddi Data y gwaith o drawsnewid a glanhau’r data, ac maen nhw’n awr yn gallu cynnig mewnwelediad unigryw i’r data gan eu bod nhw’n casglu data o gyrff amrywiol. Maen nhw’n gallu ffurfio trosolwg o faterion yn gyflym, ac maen nhw hefyd yn gallu meincnodi perfformiad cleientiaid er mwyn dangos sut maen nhw’n cymharu â’u cyfoedion (cewch gip ar y sleid isod). Maen nhw hefyd yn gallu defnyddio’r meddalwedd i gynnal ymchwiliadau fel Dadansoddiad Benford, sy’n nodi’n glir pwy sydd yn bell o’r norm. Mae hyn yn arbennig o ddefnyddiol wrth nodi twyll.

Graff sy'n dangos llawer o ddotiau at ei gilydd ac un sydd glir ymhell i ffwrdd ar werth dyledion drwg

Sut mae Swyddfa Archwilio Queensland yn cael mewnwelediad i werth dyledion drwg

Archwilio Perfformiad

Mae’r Tîm Dadansoddi Data hefyd yn cefnogi staff Archwilio Perfformiad. Mae’r tîm yn defnyddio cloddio testun i archwilio pynciau amrywiol, er enghraifft i weld beth mae athrawon yn nodi fel eu nodau datblygu. Mae hyn wedi galluogi iddynt gynhyrchu Wordclouds a chrynodebau testun o’r 10 datganiad uchaf. Maen nhw hefyd yn defnyddio’r dechneg yma i ysgubo trwy Hansards.

Mae’r tîm hefyd yn edrych ar sut y gall hyn helpu staff i ddewis pynciau i archwilio iddynt. Maen nhw’n dadansoddi teimlad ar Twitter, sy’n bwydo i mewn i’r cynllunio strategol. Mae hyn yn eu helpu nhw i ddeall y materion sydd yn bwysig i’r byd ehangach a beth mae pobl yn dweud amdano’n nhw. Er bod y dechnoleg wedi cael ei hadeiladu ar gyfer Twitter, gallai hefyd gael ei ddefnyddio ar gyfer rhwydweithiau fel LinkedIn, a fyddai’n galluogi archwilwyr i gael gafael ar wahanol ddefnyddwyr a safbwyntiau. Maen nhw hefyd wedi adeiladu offer sy’n graddio pwysigrwydd y trydar. Mae hyn yn galluogi archwilwyr i ganolbwyntio adnoddau ar y negeseuon pwysig.

Creu amgylchedd gwaith cadarnhaol

Fe wnaeth Daniele, Ben a David gydnabyddi’r pwysigrwydd o arweinyddiaeth gref i greu amgylchedd ble mae gwaith y Tîm Dadansoddi Data yn ffynnu. Maen nhw wedi derbyn cefnogaeth o’r lefel uchaf o’r Archwilydd Cyffredinol blaenorol a’r Archwilydd Cyffredinol Dros Dro cyfredol. Mae hyn yn rhywbeth ni’n gweld o’n Harchwilydd Cyffredinol ein hunain yn natblygiad y prosiect Archwilio Sydd ar Flaen y Gad, a gobeithio y gall canfyddiadau ein gwaith ni ein helpu ni i ddarparu sylfaen i ddatblygu ein ffordd o weithio. Roedd e’n ddiddorol i glywed sut mae’r sefydliad yn edrych yn barhaus i ddatblygu eu gwaith ac adeiladu ar arferion presennol. Ar hyn o bryd maen nhw’n edrych i weld os all symud o Qlikview i Qlik Sense rhoi manteision pellach iddynt.

Mae gwaith y Tîm Dadansoddi Data wedi cyflawni arbedion effeithlonrwydd, yn bennaf trwy arbed amser y gellir ei ail-fuddsoddi mewn ei gwaith, ond maen nhw hefyd yn edrych i arbed mwy i wneud mwy. Mae’r amgylchedd ehangach yn newid yn gyflym ac mae cyllid cyhoeddus cyfyngedig yn rhoi her i bob gwasanaeth cyhoeddus. Mae Swyddfa Archwilio Queensland wedi wynebu’r her yma ac maen nhw’n gweithio mewn ffordd wahanol i ddarparu gwasanaeth gwell. Mae gwaith ei staff yn awr yn fwy ystyrlon a diddorol, ac mae archwilwyr yn datblygu sut maen nhw’n meddwl yn feirniadol. Fe fyddai’n defnyddio ein hegwyddorion Cyfnewidfa Arfer Da wrth i ni fyfyrio dros ein sgwrs â Swyddfa Archwilio Queensland, fel ein bod ni’n meddwl am sut rydyn ni’n gallu addasu’r dull gweithredu hwn fel ein bod ein gwaith ni, fel y gwasanaethau rydyn ni’n archwilio, yn cyflawni’r canlyniadau gorau posibl i bobl Cymru.

Datblygu personas ar gyfer gwasanaeth sy’n canolbwyntio ar y defnyddiwr

Sut all personas helpu i sicrhau bod prosiectau yn canolbwyntio ar y defnyddiwr? Isod mae Dyfrig Williams yn adlewyrchu ar sut maen nhw wedi bod yn rhan o’i waith ar fynd i’r afael â data yn effeithiol.

Llun o bersonas staff Archwilio Perfformiad

Rydw i wedi bod yn gweithio ar arbrawf i gasglu data ar gyfer archwilwyr fel y gallwn weithio’n fwy effeithlon fel rhan o fy ngwaith ar brosiect Archwilio Sydd ar Flaen y Gad.

Rydw i wedi blogio o’r blaen ar fy niddordeb mewn darparu gwasanaethau cyhoeddus digidol achos y ffocws di-baid ar angen y defnyddiwr. Dyw hwn ddim yn safbwynt sy’n newydd i mi – roedd e’n amlwg yn fy nghwaith yn fy swydd flaenorol ar gynnwys dinasyddion i sicrhau bod adnoddau’n cael eu targedu’n effeithiol.

Nawr rwy’n dechrau ar ran ymarferol fy gwaith ar ôl 4 mis o brosiect 6 mis. Ond yn fy hen rôl fe wnes i glywed tro ar ôl tro bod gwasanaethau’n cael eu darparu at hen ragdybiaethau pan nad yw staff yn cael yr amser i ymgysylltu â phobl mewn modd priodol. Doeddwn i ddim eisiau gwneud yr un camgymeriad yn fy ngwaith, felly datblygais personas ar gyfer y prif ddefnyddwyr o ddata mewn timau archwilio er mwyn sicrhau ein bod ni’n canolbwyntio ar adeiladu rhywbeth y byddai pobl yn wir ddefnyddio.

Mae personas yn gynrychioliadau o wahanol fathau o gwsmeriaid neu ddefnyddwyr. Maen nhw’n helpu ni i ateb y cwestiwn o “Pwy ydyn ni’n cynllunio ein gwaith ar gyfer?” Maen nhw’n helpu i alinio strategaeth a nodau i grwpiau o ddefnyddwyr penodol. Gan ein bod ni’n profi’r gwaith yma gyda’r Tîm Archwilio Perfformiad Iechyd, datblygais personas a oedd yn amrywio o Swyddogion Cefnogi Perfformiad i fyny i Reolwyr Archwilio, a hefyd aelod o’r Tîm Technegol Archwilio Ariannol ac Archwilydd Ariannol sy’n gweithio gyda’r byrddau iechyd.

Ble i ddechrau?

Roeddwn i’n edrych mlaen i ddechrau fy ngwaith ar y personas er mwyn gweld sut mae fy meddylfryd ymgysylltu yn ffitio gydag arferion digidol cyfredol. Fe wnaeth fy nghydweithiwr Louise Foster-Key, Swyddog Cyfathrebu Digidol Swyddfa Archwilio Cymru, rhoi ychydig o awgrymiadau i mi o’i waith ar fewnrwyd Swyddfa Archwilio Cymru, ac fe wnes i hefyd edrych ar arfer da ehangach. Mae yna blogbost da ar personas defnyddwyr ar Flog Digidol y Swyddfa Ystadegau Gwladol, ond yn y diwedd fe wnes i benderfynu defnyddio Canllaw Gwasanaeth Digidol y Llywodraeth (GDS) ar Storiau Defnyddwyr fel seilwaith i’m gwaith. Ceisiais ddefnyddio Trello, ond gan fy mod i’n gwneud y gwaith yma ar ben fy hun (a dim ond prosiect bach ydyw) doedd e ddim mor ddefnyddiol ag on i’n ddisgwyl. Felly defnyddiais Xtensio, gwefan sy’n cynnig gwasnaeth a wnaeth Louise awgrymu i mi.

Penderfynais aros gyda fformat GDS ar gyfer strwythur y gwaith, a chafodd y personas ei roi at ei gilydd trwy gyfweliadau a negeseuon e-bost gyda staff mewn rolau allweddol:

  1. Fel rhywun sy’n… (Pwy yw’r defnyddiwr? Ychydig o eiriau am y person sy’n ceisio mynd i’r afael a’r data)
  2. Rydw i angen / Rydw i eisiau / Rwy’n disgwyl … (Beth mae’r defnyddiwr eisiau gwneud?)
  3. Fel bod … (Pam mae’r defnyddiwr eisiau gwneud hyn?)
  4. Mae’r gwaith wedi gorffen pan… (dyma feini prawf y GDS, sef rhestr o ganlyniadau sy’n cael ei ddefnyddio fel rhestr wirio i gadarnhau bod y gwasanaeth wedi gwneud ei waith ac mae’n cwrdd ag anghenion y defnyddiwr)

Ydy’r ymarfer wedi bod yn ddefnyddiol?

Mae gen i ddealltwriaeth gwell o waith archwilwyr ar ôl siarad gyda staff sydd yn y rolau a gafodd eu mapio. Bydd hyn yn ddefnyddiol i mi ymhell tu hwnt i brosiect Archwilio Sydd ar Flaen y Gad, yn enwedig wrth i mi edrych ar sut y gall y Gyfnewidfa Arfer Da gweithio’n fwy effeithiol gyda thimau archwilio, yn enwedig y Tîm Archwilio Iechyd, a wirfoddolodd i weithio gyda ni ar y darn o waith yma.

Prif ddefnydd y personas fydd i wirio pwrpas ein gwaith ac i sicrhau bod ein arbrawf yn cyfateb i’r hyn mae ein harchwilwyr yn dymuno ac yn disgwyl. Nawr maen nhw wedi ein helpu ni i redeg drwy arbrofion damcaniaethol, byddwn yn defnyddio’r personas i stopio ni rhag crwydro’n bell o’r weledigaeth yma.

Bydd eu meddyliau hefyd yn hynod o ddefnyddiol ar gyfer fy rhan i o’r adroddiad terfynol. Gan mai ni yw awduron yr adroddiad, mae’r holl bŵer yn ein dwylo ni – ni sy’n rhoi’r argymhellion ar gyfer blaenoriaethau’r dyfodol. Bydd y gwaith yma’n sicrhau bod fy argymhellion i wedi’u seilio ar waith dydd i ddydd ein staff.

Mae’r personas terfynol bellach ar-lein ac maen nhw wedi cael eu rhannu’n ddwy ran achos cyfyngiadau’r fersiwn rhad ac am ddim o Xtensio. Mae’r set gyntaf o personas yn seiliedig ar rolau Archwilio Perfformiad, ac mae’r ail set yn cynnwys personas sy’n seiliedig ar rolau’r Tîm Technegol ac Archwilio Ariannol.

Mae’r personas yn rhoi lefel o ddisgwyliad i ni ar gyfer ein gwaith. Os yw’r gwaith yn fethiant, maen nhw’n rhoi meini prawf i ni archwilio ein cynnyrch a ddarpariaeth yn erbyn. Ar ochr arall y geiniog, os mae’r gwaith yn llwyddiant fel ni’n gobeithio, mae gennym gyfle i weld os all personas rhoi ffocws glir i ni mewn agweddau arall o’n gwaith wrth i ni ceisio sicrhau bod gwasanaethau cyhoeddus yn wir yn rhoi gwerth am arian cyhoeddus.

Mynd i’r afael â data ar gyfer archwilio sydd ar flaen y gad

Sut mae Swyddfa Archwilio Cymru yn sicrhau ein bod ni’n archwilio mewn modd sy’n addas ar gyfer y dyfodol? Mae Dyfrig Williams wedi blogio ar ei waith gyda phrosiect Archwilio Sydd ar Flaen y Gad.

Rydw i wedi bod yn gweithio ar brosiect Archwilio Sydd ar Flaen y Gad dros y misoedd diwethaf, sy’n edrych ar sut y gall Swyddfa Archwilio Cymru herio ein defnydd presennol o ddata a thechnoleg a‘r rhagdybiaethau rydyn ni’n cymryd yn ganiataol. Rydym yn meddwl yn radical am sut y gallem ddefnyddio technoleg newydd i drawsnewid y ffordd ni’n gweithio.

Mae fe wedi bod yn ddarn o waith gwych ble rydym yn rhoi meddylfryd radical ar waith. Mae’r prosiect yn cael ei arwain gan fy nghydweithiwr Steve Lisle, sy’n adrodd yn uniongyrchol i Archwilydd Cyffredinol Cymru. Mae hyn wedi golygu ein bod ni wedi symud i ffwrdd o hierarchaeth i mewn i strwythur sy’n lot fwy gwastad. Rydyn ni hefyd wedi bod yn canolbwyntio ar ganlyniadau – rydym wedi bod yn profi a phrototeipio wrth i ni fynd ymlaen fel ein bod ni’n rheoli risgiau yn effeithiol ac yn dysgu o fethiant.

Rydw i wedi bod yn gweithio ar sut mae Swyddfa Archwilio Cymru yn cael data i roi gwybodaeth ddyfnach a mewnwelediad gwell i ni.

Aeddfedrwydd data

data_maturityRoedd yn ddefnyddiol meddwl am Aeddfedrwydd Data wrth wneud y gwaith yma. Aeddfedrwydd Data yw’r siwrne tuag at wella a chynyddu ein defnydd o ddata. Mae Data Orchard yn defnyddio’r model yma (ac rydw i wedi’i ddwyn o Ben Proctor) o gamau yn natblygiad sefydliad:

  1. Casglu data mewn ffordd ad-hoc yn rhai meysydd
  2. Tynnu data at ei gilydd yn ganolog
  3. Dechrau i ddefnyddio data sydd yn edrych yn ôl
  4. Defnyddio data mewn amser real i reoli’r mudiad a symud adnoddau yn gyflym
  5. Modelu’r dyfodol cyn gwneud penderfyniadau er mwyn ein galluogi ni i wneud penderfyniadau gwell
  6. Modelu’r dyfodol y mae’r sefydliad eisiau ac edrych yn ôl i ddeall yr hyn sydd rhaid digwydd er mwyn cyflawni’r dyfodol hynny

Mae hyn yn sicr yn siwrne i ni fel sefydliad, ond mae’r model wedi helpu i lywio fy ffordd i o feddwl. Mae fe wedi helpu mi i feddwl am sut rydyn ni’n cyrraedd pwynt 6, lle rydyn ni’n modelu’r dyfodol mae’r sefydliad yn gweithio tuag ato, a sicrhau bod y pethau rwy’n gweithio arno yn ein rhoi ni ar y llwybr cywir ymhell ar ôl i’r prosiect yma gorffen.

Fy mhrototeipiau

Rydw i wedi bod yn gweithio ar ddau brawf gwahanol o fewn y maes yma. Mae’r cyntaf ar Ddata Agored, sydd wedi bod yn fwy heriol na’r disgwyl achos bod Swyddfa Archwilio Cymru yn ddefnyddiwr eilaidd o ddata. Mae hyn yn golygu ein bod ni’n defnyddio data a gesglir gan eraill, felly nid oes gennym yr hawl i rannu’r data bob tro. Serch hyn, rydw i wedi llwyddo i ddod o hyd i ddata defnyddiol, felly fy ngham nesaf i yw rhoi’r data yma mas yn y byd mawr ac edrych ar yr heriau o amgylch sut y gallwn ni sicrhau bod y data mor ddefnyddiol â phosib.

Rydw i wedi bod yn rhoi egwyddorion y Gyfnewidfa Arfer Da ar waith drwy ymweld â sefydliadau eraill i ddysgu am beth maen nhw wedi gwneud eisoes, achos does dim pwynt dechrau o’r dechrau. Rydw i hefyd wedi bod yn meddwl am sut rydyn ni’n addasu yn hytrach na mabwysiadu eu gwaith ar gyfer anghenion ein mudiad, achos wedi’r cyfan, nid yw ‘dull un maint i bawb’ byth yn gweithio.

Rydw i wedi blogio o’r blaen am pam mae angen i’r sector cyhoeddus i ddechrau meddwl amdano Ddata Agored, ac fe wnaethon ni cynnal Google Hangout i edrych ar pam mae’n bwnc pwysig. Mae Hendrik Grothius wedi ysgrifennu blogbost gwych ar sut y gall sefydliadau ddechrau i gyhoeddi Data Agored, ac mae’n fan cychwyn gwych i mi wrth i mi fynd i’r afael â’r heriau.

Mae fy ail ddarn o waith i wedi bod yn edrych ar sut rydyn ni’n galluogi ein staff i wneud defnydd gwell o ddata, a thrwy hynny leihau’r baich archwilio. Rwy’n edrych ar sut y gallwn ddwyn ynghyd ddata o gyrff cyhoeddus mewn ffordd sy’n ei gwneud yn hawdd i’w cyrchu, mewn ffordd sy’n agored i bawb, sy’n rhoi syniad gwell i ni ar berfformiad y sector cyhoeddus yng Nghymru, ac sydd gyda chymaryddion rhyngwladol. Rydw i wedi bod yn siarad â’n staff er mwyn i mi ddeall pa fath o ddull byddai’n ddefnyddiol iddynt. Rydw i wedi datblygu personas er mwyn llywio ein gwaith yn y maes hwn, ac fe fyddant yn siapio’r cam nesaf o’r gwaith a sicrhau bod fy rhan i o’r adroddiad terfynol yn canolbwyntio ar anghenion defnyddwyr.

Iteriad

Byddaf yn ysgrifennu blogbostau yn y dyfodol agos i rannu fy ymagweddau, beth rydw i wedi dysgu a beth y gallwn wneud yn wahanol y tro nesaf. Rydym yn iteru i weld beth rydym yn dysgu o bob datblygiad a sut y gallwn adeiladu arno wrth symud ymlaen. Os nad ydynt yn gweithio, byddwn yn edrych i ddysgu o fethiant a gweld sut all y sefydliad cymryd ymagwedd wahanol yn y dyfodol.

Yn holl seminarau’r Gyfnewidfa Arfer Da rydym yn clywed na all gwasanaethau cyhoeddus parhau i weithio yn yr un modd mewn cyfnod anodd. Mae fe wedi bod yn wych i weithio ar brosiect ymarferol yn Swyddfa Archwilio Cymru sy’n mynd i’r afael â’r heriau hynny.