Vés al contingut

Usuari:PereBot/robot puntuador repte 2015

De la Viquipèdia, l'enciclopèdia lliure

El resultat d'executar aquest bot és a Usuari:PereBot/punts viquirepte 2015.

# -*- coding: utf-8 -*-

import sys
sys.path.append('C:\core')
import pywikibot
from pywikibot import pagegenerators
from pywikibot.compat import catlib
import re,urllib,urllib2,json,pickle,math

# Elimina duplicats d'una llista
def unic(llista):
    llistanova=[]
    for el in llista:
        if not el in llistanova:
            llistanova.append(el)
    return llistanova

# Elimina l'enllaç d'un text. Funciona bé si hi ha un sol enllaç.
# Deixa el text que mostra l'enllaç (no on apunta)
def eliminaenllac(nom):
    nom=re.sub(u"\[\[.*\|","",nom)
    nom=nom.replace("[[","")
    nom=nom.replace("]]","")
    return nom

def plant(tit):
    return pywikibot.Page(site,u"Plantilla:{}".format(tit))

# Llegeix la llista de monuments sencera, tot i que només retorna els enllaços
def llegeixllista(pag): ##,llistafotos,minfotos
    origen=pag.title()
    tottemp=pag.templatesWithParams()
    llistatits=[]
    informe=u""         # Descripcions de les categories a crear.
    resumllista=u""     # Resum estadístic de les categories a crear per una llista.
    numcats=0           # Comptador pel nombre de categories en una llista.
    ccatllista=u""      # Categoria de Commons que correspon a la llista d'acord amb la plantilla Commonscat.
    classe=u""
    if re.search("Catalunya Nord|Pirineus Orientals",origen):
        regio=u"_region:FR-66"
    elif re.search("Catalunya|Osona|Pallars|Terres de l'Ebre|Costa (Brava|Daurada)|Barcelon",origen):
        regio=u"_region:ES-CT"
    elif re.search("Val[eè]nci[aà]|Alacant|[Pp]rovíncia de Castelló|Costa (dels Tarongers|Blanca)",origen):
        regio=u"_region:ES-CV"
    elif re.search("Balears|Mallorca|Menorca|Eivissa|Formentera",origen):
        regio=u"_region:ES-IB"
    elif re.search("Andorra",origen):
        regio=u"_region:AD"
    else:
        regio=u""
    for i in range(0, len(tottemp)):
        classe0=u""
        if tottemp[i][0]==plant(u'Filera art públic'):
            classe0=u"art"
        if tottemp[i][0]==plant(u'Filera IPA') or tottemp[i][0]==plant(u'Filera MH') or tottemp[i][0]==plant(u'Filera BIC') or tottemp[i][0]==plant(u'Filera BIC Val') or tottemp[i][0]==plant(u'Filera BIC And') or tottemp[i][0]==plant(u'filera BC Sard') or tottemp[i][0]==plant(u'filera BIC-ZA'):
            classe0=u"monument"
#            print u"MONUMENT"
        if tottemp[i][0]==plant(u'Filera patrimoni natural'):
            classe0=u"natural"
        if classe0!=u"":
            classe=classe0
#            print u"classe:",classe
    #        print tottemp[i][1]
            proposta=""
            nom=""
            nomcoor=""
            nomnet=""
            lloc=""
            municipi=""
            lat=""
            lon=""
            idd=""
            codi=""
            idurl=""
            imatge=""
            autor=""
            data=""
            descripcio=""
            material=""
            commonscat=""
            enllac=""
            tipus=""
            dimensions=""
            coorddim=""
            coordtype=""
            #print tottemp[i][1]
            for j in range(0,len(tottemp[i][1])):       # llegeix la taula i n'extreu els camps
                camp=tottemp[i][1][j].replace(u"\n","")
                camp=camp.replace("<br/>",". ")
                camp=camp.replace("<br />",". ")
                camp=re.sub(u"<ref name.*>.*<.*>","",camp)
                camp=re.sub(u"<ref ?>.*<.*>","",camp)
                camp=re.sub(u"<.*>","",camp)
                #print camp
                if re.search(u"coord-nom *?=",camp):
                    nomcoor=re.sub(u"^ *?coord-nom *?= *?","",camp)
                    nomcoor=nomcoor.strip()
    #                print nomcoor
                elif re.search(u"nom *?=",camp):
                    nom=re.sub(u" *?nom *?= *?","",camp)
                    nom=re.sub(u"<ref name.*>.*<.*>","",nom)
                    nom=re.sub(u"<ref ?>.*<.*>","",nom)
                    nom=re.sub(u"<.*>","",nom)
                    nom=nom.strip()
                    #print nom
                    if re.search(u"\[\[.*\]\]",nom):
                        enllac=re.sub(u"^.*?\[\[","",nom)
                        enllac=re.sub(u"\]\].*?$","",enllac)
                        enllac=re.sub(u"\|.*?$","",enllac)
                        nomnet=eliminaenllac(nom)
    #                    print enllac
                    else:
                        nomnet=nom
                elif re.search(u"nomcoor *?=",camp):
                    nomcoor=re.sub(u"^ *?nomcoor *?= *?","",camp)
                    nomcoor=nomcoor.strip()
    #                print nomcoor
                elif re.search(u"municipi *?=",camp):
                    municipi=re.sub(u"^ *?municipi *?= *?","",camp)
                    municipi=eliminaenllac(municipi)
                    municipi=municipi.strip()
    #                print municipi
                elif re.search(u"lloc *?=",camp):
                    lloc=re.sub(u"^ *?lloc *?= *?","",camp)
                    lloc=eliminaenllac(lloc)
                    lloc=lloc.strip()
    #                print lloc
                elif re.search(u"lat *?=",camp):
                    lat=re.sub(u"^ *?lat *?= *?","",camp)
                    lat=lat.replace(" ","")
    #                print lat
                elif re.search(u"lon *?=",camp):
                    lon=re.sub(u"^ *?lon *?= *?","",camp)
                    lon=lon.replace(" ","")
    #                print lon
                elif re.search(u"idurl *?=",camp):
                    idurl=re.sub(u"^ *?idurl *?= *?","",camp)
                    idurl=idurl.replace(" ","")
    #                print idurl
                elif re.search(u"id *?=",camp):
                    idd=re.sub(u"^ *?id *?= *?","",camp)
                    idd=idd.replace(" ","")
    #                print idd
                elif re.search(u"descripció *?=",camp):
                    descripcio=re.sub(u"^ *?descripció *?= *?","",camp)
                    descripcio=descripcio.strip()
    #                print descripcio
                elif re.search(u"codi *?=",camp):
                    codi=re.sub(u"^ *?codi *?= *?","",camp)
                    codi=codi.replace(" ","")
    #                print codi
                elif re.search(u"data *?=",camp):
                    data=re.sub(u"^ *?data *?= *?","",camp)
                    data=data.strip()
    #                print data
                elif re.search(u"material *?=",camp):
                    material=re.sub(u"^ *?material *?= *?","",camp)
                    material=eliminaenllac(material)
                    material=material.strip()
    #                print material
                elif re.search(u"autor *?=",camp):
                    autor=re.sub(u"^ *?autor *?= *?","",camp)
                    autor=eliminaenllac(autor)
                    autor=autor.strip()
    #                print autor
                elif re.search(u"imatge *?=",camp):
                    imatge=re.sub(u"^ *?imatge *?= *?","",camp)
                    if not(re.search(u"..",imatge)):
                        imatge=""
    #                print imatge
                elif re.search(u"commonscat *?=",camp):
                    commonscat=re.sub(u"^ *?commonscat *?= *?","",camp)
                    commonscat=commonscat.strip()
                    if not(re.search(u"..",commonscat)):
                        commonscat=""
    #                print commonscat
                elif re.search(u"tipus *?=",camp):
                    tipus=re.sub(u"^ *?tipus *?= *?","",camp)
                    tipus=tipus.strip()
                    if not(re.search(u"..",tipus)):
                        tipus=""
    #                print tipus
                elif re.search(u"coord-dim *?=",camp):
                    coorddim=re.sub(u"^ *?coord-dim *?= *?","",camp)
                    coorddim=coorddim.strip()
                    if not(re.search(u"..",coorddim)):
                        coorddim=""
    #                print coorddim
                elif re.search(u"coord-type *?=",camp):
                    coordtype=re.sub(u"^ *?coord-type *?= *?","",camp)
                    coordtype=coordtype.strip()
                    if not(re.search(u"..",coordtype)):
                        coordtype=""
    #                print coordtype
                if (classe0=="art" or classe0=="monument") and coordtype=="":
                    coordtype="landmark"
##            numfotos=llistafotos.count(idd)
#            print nomcoor ##+": "+'{:}'.format(numfotos)+" fotos"
            if u"#" in enllac:
                enllac=re.split(u"#",enllac)[0]
            if enllac<>u"":
                #enllac=enllac[0].upper()+enllac[1:] #Anul·lat perquè ja normalitzarà l'API
                llistatits.append(enllac)
    return llistatits


# Torna el diccionari d'edicions d'un article a partir del títol de article
def llegeixhist(tit):
    diccart={}
    diccart["u"]={}
    pagweb="https://ca.wikipedia.org/w/api.php?action=query&prop=revisions&titles={}&rvlimit=50&rvprop=timestamp%7Cuser%7Csize&format=json".format(tit.encode('utf-8'))
    try:
        pllista=urllib.urlopen(pagweb)
    except IOError:
        print u"IOError. Tornem a provar"
        pllista=urllib.urlopen(pagweb)
    #print "obert"
    pbrut=pllista.read()
    if '"normalize"' in pbrut or '"redirects"' in pbrut:
        print u"PERILL: redirecció o títol per normalitzar:",pbrut
    jhist=json.loads(pbrut)
    #print jhist
    idd=jhist["query"]["pages"].keys()[0]
    revs=jhist["query"]["pages"][idd]["revisions"]
    darreradata=revs[0]["timestamp"]
    diccart["data"]=darreradata
    for i,rev in enumerate(revs):
        data=rev["timestamp"]
        if "2015-1" in data:
            continue
        elif not "2015-09" in data and (not "2015-08-31T22" in data) and (not "2015-08-31T23" in data): #Timestamp és UTC i concurs CEST:
            print i,"edicions llegides (trencament)"
            break
        usuari=rev["user"]
        if i==len(revs)-1:
            diccart["creador"]=usuari
            delta=rev["size"]
        else:
            delta=rev["size"]-revs[i+1]["size"]
        if usuari in diccart["u"].keys():
            diccart["u"][usuari]["edicions"]=diccart["u"][usuari]["edicions"]+1
            diccart["u"][usuari]["increment"]=diccart["u"][usuari]["increment"]+delta
        else:
            diccart["u"][usuari]={}
            diccart["u"][usuari]["edicions"]=1
            diccart["u"][usuari]["increment"]=delta
    print i,"edicions llegides (final)"
    return diccart


# A partir d'una llista d'articles torna un diccionari d'edicions
def diccedicionsapi(titarticles,dicc):
    titsapi=""
    comptatits=0
    for i,tit in enumerate(sorted(titarticles)):
        if u"#" in tit:
            titnet=re.split(u"#",tit)[0]
            if len(tit)==0:
                continue
            try:
                titarticles.remove(tit)
            except ValueError:
                print u"ERROR: en voler treure:",tit,"de la llista (enllaçat a secció)"
            titarticles.append(titnet)
            tit=titnet
        if u"&" in tit:
            print u"PERILL: & al títol de la llista (obviat):",tit #Solució de contingència. S'hauria de trobar com tractar aquest cas.
            continue
        titsapi=titsapi+u"|"+tit
        comptatits=comptatits+1
        #print comptatits,tit
        if comptatits>=48 or i==len(titarticles)-1:
            titsapi=titsapi[1:]
            #print u"titsapi:",titsapi
            titsapistr=titsapi.encode('utf-8')
            pagweb="https://ca.wikipedia.org/w/api.php?action=query&prop=revisions&titles={}&redirects=si&rvprop=timestamp%7Cuser%7Csize&format=json".format(titsapistr)
            try:
                pllista=urllib.urlopen(pagweb)
            except IOError:
                print u"IOError. Tornant a provar."
                pllista=urllib.urlopen(pagweb)
            print "obert"
            pbrut=pllista.read()
            jpag=json.loads(pbrut)
            #print jpag
            comptatits=0
            if "normalized" in jpag["query"].keys():
                for parell in jpag["query"]["normalized"]:
                    try:
                        titarticles.remove(parell["from"])
                        titarticles.append(parell["to"])
                        print u"normalitzat",parell
                    except ValueError:
                        print u"ERROR: en normalitzar:",parell,"no és a la llista"
            if "redirects" in jpag["query"].keys():
                for parell in jpag["query"]["redirects"]:
                    try:
                        titarticles.remove(parell["from"])
                        titarticles.append(parell["to"])
                        print u"redirigit",parell
                        if u"#" in titarticles[-1]:
                            print u"PERILL:",titarticles[-1],u"enllaçat a secció"
                    except ValueError:
                        print u"ERROR: en redirigir",parell,"no és a la llista"
            jpag=jpag["query"]["pages"]
            print len(jpag.keys()),u"articles en aquest bloc"
            for clau in jpag.keys():
                ptit=jpag[clau]["title"]
                if not ptit in titarticles:
                    print u"ERROR: títol",ptit,"a l'API però no a la llista"
                    print u"La llista era:",titsapi
                #print ptit
                try:
                    rev=jpag[clau]["revisions"][0]
                except KeyError:
                    print ptit,u"No hi ha revisions:"
                    #print jpag[clau]
                    continue
                #print rev
                mida=rev["size"]
                rtemps=rev["timestamp"]
                print ptit,rtemps,mida
                if (not "2015-09" in rtemps) and (not "2015-1" in rtemps) and rtemps<>"":
                    if (not "2015-08-31T22" in rtemps) and (not "2015-08-31T23" in rtemps): #Timestamp és UTC i concurs CEST
                        print u"sense edicions recents"
                        continue
                if ptit in dicc.keys():
                    if "data" in dicc[ptit].keys():
                        if dicc[ptit]["data"]==rtemps:
                            print u"sense canvis"
                            continue
                print u"amb canvis"
                dicc[ptit]=llegeixhist(ptit)
            titsapi=""
    #print dicc
    return titarticles,dicc

# A del diccionari d'edicions fa la taula de puntuacions
def diccapunts(titarticles,dicc):
    taula={}
    punts={}
    print u"Comencem a comptar punts"
    for tit in sorted(titarticles):
        print tit
        if not tit in dicc.keys():
            print u"article inexistent"
            continue
        article=dicc[tit]
        #print article
        if "creador" in article.keys():
            creador=article["creador"]
        else:
            creador=""
        if "u" in article.keys():
            for usuari in article["u"].keys():
                ed=article["u"][usuari]["edicions"]
                #print usuari
                if usuari==creador:
                    cr=1
                else:
                    cr=0
                increment=article["u"][usuari]["increment"]
                if increment>0:
                    incr=int(math.floor(increment/1000)*10)
                else:
                    incr=0
                if incr==0 and cr==0:
                    revisa=1
                else:
                    revisa=0
                #if usuari=="VriuBot": #Per comprovar
                #    print article #
                #    print (usuari==creador),usuari,creador
                #print tit,usuari,ed,cr,revisa,incr,cr+revisa+incr
                if not usuari in taula.keys():
                    taula[usuari]=u'{| class="wikitable sortable collapsible collapsed"\n|-\n'
                    taula[usuari]=taula[usuari]+u"! width=400; align=center|Article !! Punts per<br/> article nou !! Punts per octets<br/>(10 cada 1.000) !!  Punts per <br/>revisió d'article!! Total\n"
                linia=u"|-\n|[[{}]] ({} ed, {} oct)\n|{}\n|{}\n|{}\n|{}\n".format(tit,ed,increment,cr,incr,revisa,cr+revisa+incr)
                #print linia
                taula[usuari]=taula[usuari]+linia
                if not usuari in punts.keys():
                    punts[usuari]={}
                    punts[usuari]["art"]=0
                    punts[usuari]["ed"]=0
                    punts[usuari]["increment"]=0
                    punts[usuari]["cr"]=0
                    punts[usuari]["incr"]=0
                    punts[usuari]["revisa"]=0
                punts[usuari]["art"]=punts[usuari]["art"]+1
                punts[usuari]["ed"]=punts[usuari]["ed"]+ed
                punts[usuari]["increment"]=punts[usuari]["increment"]+increment
                punts[usuari]["cr"]=punts[usuari]["cr"]+cr
                punts[usuari]["incr"]=punts[usuari]["incr"]+incr
                punts[usuari]["revisa"]=punts[usuari]["revisa"]+revisa
    text=u"{{Usuari:PereBot/punts viquirepte 2015/encapçalament}}\n\n"
    text=text+u"Actualitzat: --~~~~\n\n"
    for usuari in sorted(taula.keys()):
        art=punts[usuari]["art"]
        ed=punts[usuari]["ed"]
        increment=punts[usuari]["increment"]
        cr=punts[usuari]["cr"]
        incr=punts[usuari]["incr"]
        revisa=punts[usuari]["revisa"]
        text=text+u"===[[Usuari:{}|{}]] {} punts===\n".format(usuari,usuari,cr+revisa+incr)
        text=text+taula[usuari]
        text=text+u"|-\n! TOTAL ({} art, {} ed, {} oct)!! {} !! {}  !!{}!!{}\n".format(art,ed,increment,cr,incr,revisa,cr+revisa+incr)
        text=text+u"\n|}\n\n"
    return text


# El programa comença aquí.
# Llegeix articles i dades arxivades
try:
    fitx=open("puntuador2015.txt",'r')
    artentren,diccedits=pickle.load(fitx)
    fitx.close()
except IOError:
    print u"Fitxer no trobat. Actualització completa."
    artentren=[]
    diccedits={}
print len(artentren)
# Comença a llegir articles de les llistes
reiniciar=True #CANVIAR: True per reiniciar llista (no el diccionari) i llegir les llistes de monuments
if reiniciar==True:
    artentren=[] 
    llegir=True 
    lloc=u"Llistes de monuments"
    paginaunica=False
else:
    llegir=False #CANVIAR: True per llegir les llistes de monuments quan no es reinicia
    lloc=u"Llistes de monuments" #CANVIAR
    paginaunica=False        #CANVIAR: True si lloc és una llista de monuments, False si és una categoria de llistes
site=pywikibot.getSite('ca')
if paginaunica:
    llista=pywikibot.Page(site,lloc)
    print llista
    artentren=artentren+llegeixllista(llista)
    print len(artentren)
elif llegir==True:
    l=catlib.Category(site,lloc).articlesList(recurse=5) 
    #print l
    vistos=[]
    for llista in pagegenerators.PreloadingGenerator(l):
        print llista
        if llista.namespace()==0 and not llista in vistos:
            artentren=artentren+llegeixllista(llista)
            vistos.append(llista)
print len(artentren)
artentren=unic(artentren)
print len(artentren)
#print artentren
# publica la llista d'articles (desactivat)
infllista=u"]]\n#[[".join(artentren)
infllista=u"#[["+infllista+u"]]\n"
paginforme=pywikibot.Page(site,u"Usuari:PereBot/proves")
#paginforme.put(infllista,u"Robot provant de recollir la llista d'articles que entren al repte")
# llegeix els historials
artentren,diccedits=diccedicionsapi(artentren,diccedits)
# desa les dades pel proper dia
fitx=open("puntuador2015.txt",'w')
pickle.dump((artentren,diccedits),fitx)
fitx.close()
# pasa les dades dels historials als punts dels usuaris
textinforme=diccapunts(artentren,diccedits)
# publica taules
paginforme=pywikibot.Page(site,u"Usuari:PereBot/punts viquirepte 2015")
paginforme.put(textinforme,u"Robot ajuda oficiosament a fer recompte de punts")
pywikibot.stopme()