Tema de Usuari Discussió:Paucabot

Neteja d'infotaules de geografia.

Pau, el teu bot pot invocar una plantilla i tractar el resultat que li retorna?

No entenc molt la pregunta, però diria que el pywikibot no pot fer moltes virgueries. En tot cas, podries concretar una mica més?

És el tema de les pre-infotaules. Algunes fan tractament força complexos i quan el @Joutbis va estar fent un bot, hi havia coses que ho complicaven moltíssim.

Ara he provat una cosa força útil però molt mecànica:

• agafo la preinfotaula i desactivo la crida a la plantilla principal (poso nowiki al ((infotaula geografia política, per exemple), però deixo actiu el codi que fan tot el tractament i dels paràmetres antics que acaben generant el codi nou.
• El resultat és el "text" de la crida a la infotaula davant del text de l'article.
• Com que això ho faig en previsualitzar, copio aquest nou text de crida a la "infotaula definitiva" i el pego a l'article bescanviant el codi que hi havia a la pre-infotaula.
• D'aquesta forma, s'eliminen les pre-infotaules, es renoven els noms dels paràmetres i es deixen de tractar aquells que hem considerat que no calia. Això últim és molt important en les IGP.
• Problemes: a) és un procés mecànic i manual b) retorna tots els paràmetres possibles i el 90%, lògicament, estan buits, cosa que el teu bot sap arreglar.

La meva idea era el bot:

• seguis la llista de "articles de la pre-infotaula xxx"
• li passes el contingut de crida a la pre-infotaula xxx a una versió tunejada com he dit al punt 1)
• recollís el resultat de la part de crida a la infotaula
• eliminés els buits
• bescanviés el codi que havia agafat pel nou i guardés l'article

S'accepten suggeriments alternatius.

Això ja Comptava que ho feia.

I la resta ?. Cridar la pre-infotaula, passar-li un codi i recollir el retorn ?

D'aquí el títol del fil ...

No entenc què vol dir "Cridar la pre-infotaula, passar-li un codi i recollir el retorn". Pensa que jo som químic.

Des del bot, és pot fer una crida tipus {{xarxes|item={{{item|}}} }}, o està totalment desconnectat del món wiki ?

Em costa d'entendre les especificacions. Tens algun exemple concret, que pugui veure l'historial?

Per altra banda, amb el bot em vaig encallar perquè vaig voler-li fer massa coses; si només és canviar nom de paràmetres, esborrar paràmetres buits, i el que era habitual, això amb un parell de cops de martell ho podria tornar a deixar operatiu, i t'estalvio feina.

Hola, @Joutbis. No volia destorbar a l'agost per si estaves en fase vacacional o familiar. Anem a pams:

• La funció de les preinfotaules de geografia política no la podem perdre, perquè allà hi tenim abocat tota les deduccions que varem fer amb tu sobre que ens podíem saltar, que no agafar si ja hi és a WD, com canviar variables que no volem arrossegar per uns paràmetres comodí, etc. No són una mera conversió de noms de paràmetres.
• Com que posar tot aquest codi al bot va ser la font de la dificultat i, en part, de la dilació (d'anys?) en llençar els bots i, per altra banda, ens estan cascant molts articles per manca de recursos, hem vist amb el Vicenç que el consum de les pre-infotaules és considerable i s'hi suma al de l'article en si. Per tant, les hem de liquidar immediatament.
• Llavors he estat mirant de determinar quins articles tenen necessitat de la pre-infotaula i quins, no els hi cal perquè després de passar per ella s'acaben eliminant tots els paràmetres manuals que tenia i, per tant, es podrien eliminar amb un canvi radical de la plantilla que crida.
• Aquest experiment ha donat un resultat satisfactori (científicament), però estèril des del punt de vista de la productivitat. El motiu és que la ràtio de "bescanviables al 100%" és molt baixa; qui més qui menys té algun paràmetre tunejat per la pre-infotaula. Com que els he categoritzat per famílies de dades, tinc unes llistes que em permeten saber on mirar quan els vull retocar manualment. A vegades convé carregar-lo a WD i altres, simplement mantenir el manual.
• Aquesta tasca, lenta en part perquè eren proves de laboratori, l'he estat fent amb els estats-països i entre assajar i millorar, només em queden un centenar. Ara bé, el treball és inassumible per a fer els més de 100.000 articles que tenim en aquesta situació.
• Mentre no treballava perquè estava en un concert de piano (excel·lent, per cert) em va venir la inspiració: Si els resultats que generen les preinfotaules és bo i quan criden les infotaules generen el resultat esperat "com si estigués escrit a l'article", per què no agafar-lo i re-escriure-ho sobre l'article matxacant el codi original ?. D'aquesta forma, tindríem un codi sanejat i adaptat a cridar la infotaula actual.
• Ja ho tinc pràcticament preparat (Usuari:Amadalvarez/proves/preinfotaula) per a que el resultat de la pre-infotaula sigui un text amb el codi de crida a la infotaula actual on apareixen els paràmetres que s'han donat per bons durant anys, la qual cosa vol dir que el codi de la pre-infotaula no està funcionalment en discussió, tot i que ens haguem menjat alguna dada romàntica per obsoleta, tal com varem anar assumint quan ho dissenyàvem.
• Però aquesta peça (una derivada de la pre-infotaula que no invoca res, sinó que genera un text de crida a la infotaula amb els seus paràmetres, com si els hagués escrit un editor) cal fer-la funcionar en un batch que, d'una banda l'alimenti passant-li el text antic dels articles que toca i, d'altra banda agafi el resultat que li retorna per escriure-ho a l'article a canvi del que hi havia. Seria com una caixa negra que un bot crida per a que li transformi un text en un altre. La feina del bot és la de gestionar la cua d'entrada i modificar el text de l'article.
• Ja imagino que deu ser com barrejar aigua i oli, però aprofitant que el @Paucabot és químic, potser descobriu alguna solució.

Ja em direu quin és el veredicte. Gràcies

PS: Si agafeu un article d'un estat (Tanzània, per exemple) i li canvies Taula d'estat per Usuari:Amadalvarez/proves/preinfotaula, s'obté la crida a la Infotaula geografia política amb els paràmetres que s'han d'aprofitar.

@Paucabot @Joutbis. Treballant amb l'andròmina. Ràtio: 7 articles /10', revisant que no es coli res. Fins ara, prou bé.

Bon dia @Joutbis@Paucabot Interpreto el vostre silenci amb una intens pensament en la solució. Mentre aneu fer voltar el cervell, miro de identificar blocs de solució fàcil on els bots poden actuar amb un plis plas. Dues tasques que ens permetran liquidar molts dels 36000 municipis de França, una infotaula voluminosa però amb pocs paràmetres conflictius:

• Categoria:Articles d'IGP sense paràmetres manuals imprescindibles. Canvi directe de tota la crida a la infotaula per un {{Infotaula geografia política}} sense paràmetres. En aquesta categoria poden haver crides a diverses pre-infotaules. Anirà creixent a mida que avanci amb els diferents casos.
• Categoria:Articles d'IGP només amb gentilici. Canvi directe de tota la crida a la infotaula per un {{Infotaula geografia política}} en aquest cas, salvant només dos paràmetres: oficial, anomenant-lo nom_original i gentilici o gentilicis anomenant-lo gentilicis. Aquest cas només s'aplica, fins ara, a {{Infotaula de municipi de França}}. S'està carregant.

El meu silenci és degut a que no seguesc massa el que fas.

Respecte de les infotaules que no són de per aquí, crec que ja havíem arribat a un consens d'eliminar tots els paràmetres locals: Viquipèdia:Bots/Sol·licituds#Infotaules de municipis espanyols, francesos i estatunidencs.

Doncs, ja m'havia oblidat. Ara que ho he tornat a mirar, veig que:

• {{Taula d'estat}} no hi era a la llista,o sigui que he fet bé a arreglar-ho a mà.
• {{Infotaula de municipi de França}} tenia força gentilicis que es poden salvar (ho tenim a la categoria que he creat). En menor mesura té algunes dades d'altitud que ja estic recuperant amb la harvestemplate, però en tot cas, són intranscendents.

De tota la llista, reservaria, com havíem comentat:

• els {{Infotaula_del_municipi_espanyol}}, {{Infotaula_del_municipi_català}}, {{Infotaula del municipi balear}}, {{Infotaula del municipi basc}}, {{Infotaula del municipi navarrès}}
• i amb la resta d'aquella llista podríem anar tirant.

Ens quedarien pel mirar alguns que no estaven a la llista i que són dos immensos calaix de sastre : {{Infotaula_de_municipi}} i {{Infotaula_de_divisió_territorial_administrativa}}. M'hi poso a mirar-los.

Et sembla ?

cc:@Joutbis

Les tasques fàcils, sens dubte, són fàcils. M'hi poso.

Però l'altra, és que encara no he aconseguit fer l'exemple que dius de Tanzània, i no entenc bé tot el procés que fas. Potser valdria la pena fer una videoconferència alguna estona?

Bé, però si mires el missatge anterior, el Pau em fa cap que ja havíem decidit ser més expeditius. O sigui que, canvio d'estratègia. Fem primer allò que sigui fàcil, baixem el volum i amb això la criticitat. De mentre, jo miraré de fer net de coses mínimament aprofitables.

PS: He fet una petita correcció, més amunt, en els requeriments de "Articles d'IGP només amb gentilici"

@Joutbis Pots engegar màquina quan vulguis. Recordem encàrrec:

• Categoria:Articles d'IGP sense paràmetres manuals imprescindibles (23.400). Canvi directe de tota la crida a la infotaula per un {{Infotaula geografia política}} sense paràmetres. En aquesta categoria poden haver crides a diverses pre-infotaules. Anirà creixent a mida que avanci amb els diferents casos. Per tant, la tornarem a repetir més endavant.
• Categoria:Articles d'IGP només amb gentilici (8.700). Canvi directe de tota la crida a la infotaula per un {{Infotaula geografia política |gentilicis=valor degentilici o gentilicis| nom_original=valor deoficial}}. És a dir, salvant només dos paràmetres: oficial, anomenant-lo nom_original i també, gentilici o gentilicis anomenant-lo gentilicis. Aquest cas només s'aplica, fins ara, a {{Infotaula de municipi de França}}.

Em falten uns retocs, però avui ho hauria d'engegar.

@Paucabot No t'he dit res d'aquesta neteja perquè suposo que ja veus els missatges. En tot cas, estaria bé que, abans que em torni a oblidar del que acordem, engeguessis la neteja de les múltiples preinfotaules que vas proposar.

Et sembla ?

El meu bot té problemes per eliminar tots els paràmetres d'una infotaula, però jo havia mig entès que això ja ho feia el d'en Joutbis ...

Val. Doncs li posarem a la cua. Merci

Engegat. De moment, l'únic canvi que noto és que ara apareix el nom de la ciutat, i abans no. O sigui que endavant les atxes.

Ben vist. No sé que li passava, però com que li quedava poca vida, he passat d'arreglar-ho.

Estic preparant casos singulars que, bàsicament, s'hi assemblaran al cas de "salvar dos paràmetres" i oblidar-se'n de la resta. L'avantatge respecte al que havíem estudiat long long time ago, és que no cal guardar a WD, perquè són paràmetres que no tenen propietat, per tant, seguiran com a manuals.

Al final, el refrany aquell castellà de "lo mejor es enemigo de lo bueno" serà veritat i tot... La qüestió és posar-se en marxa.

Sí. També podríem dir que "el temps ho arregla tot".

Ja n'he fet dos del segon lot, el dels gentilicis i el nom original. M'ha costat de trobar-ne un amb gentilici, Angulema, i l'altre és Abbaretz. Apart d'un canvi de foto a Angulema i el nom de la ciutat com als altres, cap més anomalia.

Quan acabi el primer, engegarem el segon.

Primera categoria acabada. Hi han quedat dues ciutats, no sé per què, deuen ser coses de les infotaules. La segona ja hi estic treballant des de toolforge i des de casa, o sigui que hauria d'acabar cap a les tres de la matinada.

Què més hi havia a la cua?

Aniran apareixent en aquestes categories. De fet, alguns municipis navarresos estan en aquestes dues. Ara et busco feina

La veritat és que el bot estava més funcional del que recordava. El que és canviar noms de paràmetres i esborrar-ne va perfectament.

@Joutbis Encara tens la funcionalitat que feia transformació de paràmetres com aquesta?:

|festes_majors = Finals de juny >>>

• | etiqueta_llista_celebracio= Festa major
• | llista_celebracio = Finals de juny

S'ha de programar però tinc les peces bàsiques molt a punt. No seria obstacle.

Per als espanyols, navarresos i bascos, què s'ha de conservar apart del que ja tenim? Només la festa major i el predomini lingüístic? O hi havia alguna cosa més?

Ara et preparo l'encàrrec. Allò que t'he preguntat abans de desdoblar en dos paràmetres, ho he arreglat d'altra forma. Enlloc d'arreglar-ho a la preinfotaula i posar-lo en paràmetres comodí (com està fet fins ara i com et demanava), he decidit acceptar com a bo el paràmetre "festa_major" i donar-li lloc propi a la infotaula. Fora d'Espanya no hi ha, però aquí en tenim masses i si ho perdem no ens ho posarà cap rus ni cap alemany.

T'explico com estic endreçant la feina per no perdre dades estables i irremplaçables perquè són locals.

• els articles que no tenen res a aprofitar van a petar a Categoria:Articles d'IGP sense paràmetres manuals imprescindibles, la que tu has buidat, però que es tornarà a omplir més endavant.
• Els articles que tenen dades manuals que no hi tenen lloc a WD, les estic posant a Articles d'IGP amb paràmetres manuals extra-1 traslladables. Ara et prepararé la llista de dades que s'han de salvar.
• Tots els que tenen dades a salvar que SÍ tenen lloc a WD estan en categories diverses i miro de fer càrregues amb el harvesttemplate o el Quickstatement. A mida que desapareixen d'aquestes categories, aniran apareixen a l'anterior i seran tots teus. Si això s'allarga i no paga la pena carregar a WD, sempre puc deixar que salvis tu el paràmetre manual, tot i no ser la millor solució.

@Joutbis El que queda ARA MATEIX a la Categoria:Articles d'IGP amb paràmetres manuals xifres (81 articles) els pots reconvertir sense salvar cap paràmetre. El tractament futur d'aquesta categoria, pot canviar !!

El contingut de Categoria:Articles d'IGP amb paràmetres manuals extra-1 traslladables, el pots reconvertir salvant els següents paràmetres, si estan plens (amb el mateix nom, llevat de dia_mercat i festa_major, que s'indica fórmula):

• capital2       capital3       capital4       zonaling       predoling    llista_celebracio etiqueta_llista_celebracio
• representacio1 representacio2 representacio3 representacio4
• etiqueta_representacio etiqueta_representacio1 etiqueta_representacio2 etiqueta_representacio3 etiqueta_representacio4
• etiqueta_celebracio1 etiqueta_celebracio2 etiqueta_celebracio3 etiqueta_celebracio4
• nom_geografia1 nom_geografia2 nom_geografia3 nom_geografia4 nom_geografia5
• etiqueta_geografia1 etiqueta_geografia2   etiqueta_geografia3   etiqueta_geografia4 etiqueta_geografia5
• nom_historia1  nom_historia2  nom_historia3  nom_historia4  nom_historia5
• etiqueta_historia1 etiqueta_historia2 etiqueta_historia3 etiqueta_historia4 etiqueta_historia5
• nom_govern1    nom_govern2    nom_govern3    nom_govern4    nom_govern5
• etiqueta_govern1 etiqueta_govern2 etiqueta_govern3 etiqueta_govern4 etiqueta_govern5
• nom_economia1  nom_economia2  nom_economia3  nom_economia4  nom_economia5
• etiqueta_economia1 etiqueta_economia2 etiqueta_economia3 etiqueta_economia4 etiqueta_economia5
• nom_indicatiu1 nom_indicatiu2 nom_indicatiu3 nom_indicatiu4 nom_indicatiu5
• etiqueta_indicatiu1 etiqueta_indicatiu2 etiqueta_indicatiu3 etiqueta_indicatiu4 etiqueta_indicatiu5
• nom_final1     nom_final2     nom_final3     nom_final4     nom_final5
• etiqueta_final1 etiqueta_final2 etiqueta_final3 etiqueta_final4 etiqueta_final5    
• dia_mercat  = dia_mercat / dies_mercat
• festa_major = festa_major / festes_majors / festes / festa_municipal

D'acord, ja acabo vacances però ho aniré preparant al llarg d'aquests dies, no ha de ser gaire complicat.

M'urgeix que liquidis la categoria de xifres, perquè són rampoines del que porto carregat, però vull abordar noves plantilles que m'ompliran aquesta categoria i ho tindrem barrejat. És fàcil, canvi sense paràmetres !

La extra-1 traslladables és acumulativa de definitius i, per tant, quan ho tinguis ja escombraràs.

La de xifres està passant el bot ara mateix, en cinc minuts ha d'estar net, excepte articles d'usuari que no em fan nosa.

Als altres, el criteri és esborrar tots els paràmetres buits, i salvar, traduint si cal (només festa major i dia mercat amb les seves variants), els que estan a la llista que has posat a sobre, és així?

Ja ha acabat xifres. Merci

L'altra llista: No és exactament com dius.

Els que hi ha a la llista són tots els paràmetres que, cas de trobar-los plens, s'han de salvar pels articles d'aquesta categoria. Qualsevol altre paràmetre s'ha d'eliminar. De fet les categories són les meves llistes per fer encàrrecs.

Aquí han anat a parar tots els que tenen "només paràmetres manuals importants i sense opció a WD". La llista és llarga perquè estan tots els comodins que no he mirat si l'article els té o no, perquè sabia segur que s'havien de salvar, però la majoria estaran buits. És una llista neta per liquidar, perquè si a més d'aquests té algun altre paràmetre, els poso en una llista de "mirar i tractar més artesanalment". Per exemple a "xifres" tinc tots els que tenen informació útil i carregable amb el harvesttemplate. Els que s'han quedat aquí, tenien contingut no numèric i representaria tractar-los manualment, per això opto per liquidar-los.

Bé, em sembla que volem dir el mateix. Si un paràmetre no és a la llista, s'esborra tant si té contingut com si no; si és a la llista però no té contingut, també s'esborra. En el cas de festa major i dia mercat, a més, hi ha possible traducció de paràmetre. Això només per la categoria extra-1 traslladables, que en general són municipis valencians, bascos i navarresos. Ara sí?

SIIIII.

només són valencians, bascos i navarresos perquè és el que he fet, però la tònica serà igual per la resta a venir. Per això et deia que en aquesta no tenia urgència a buidar-la perquè anirà creixent a batzegades.

Lamento que hagis acabat vacances

Merci