Checking and validating phone numbers.

In applications sometimes is needed check and verify if a phone number is valid or possible if the number have all required digits to be valid for this purpose there are several options to tackle the problem like regular expressions for example to validate E.164 format, library like the Google libphonenumber and API like the Twillio Lookup for something more complete.

for this post i created a small app for test a demo purpose using the python port of the Google library

the app takes the country and the phone number then it validate and check against the python phonenumbers data.
check phone number app

In the form after select the country the calling code of the country is set and then with the number is, the number is formatted in E.164 and send as JSON in a request to a python micro-service running Python bottle and the library
Request:

{
  "phone_number":"+40721234567",
  "country_code":"RO"
}

Response:

{
  "possible_number": true,
  "number_data": "Country Code: 40 National Number: 721234567",
  "valid_number": true,
  "carrier_data": "Vodafone"
}

for the country data on the calling codes i found a excellent repository https://mledoze.github.io/countries/ with the data included in different formats very useful, for the country combo box i use react and semantic-ui.

the code for the form and the python micro-service are in github:

form and javascript: https://github.com/jms/check-phone-number

Python micro-service: https://github.com/jms/check-phone-number-service

The app was deployed on Openshift and can be tested on the following link: http://checkphonenumber-jms.rhcloud.com/

References:

http://bottlepy.org/docs/dev/index.html
https://github.com/googlei18n/libphonenumber
https://github.com/daviddrysdale/python-phonenumbers
http://en.wikipedia.org/wiki/E.164
https://www.twilio.com/help/faq/phone-numbers/how-do-i-format-phone-numbers-to-work-internationally
https://www.twilio.com/lookup

Consumir web services SOAP facil con Python Suds

Suds es un tremendo cliente SOAP para consumir web services es basado en Python a diferencia de los clientes en Java no hay generación de clases, y el API es tipo orientado a objetos. Y lo mejor es el poco código que se debe escribir para consumir un servicio web y para muestra un ejemplo sencillo:

Lo primero instalar el cliente ya sea descargándolo del sitio o instalando el paquetes si nuestra distribución de linux lo incluye en sus repositorios.

# fedora 15
yum -y install python-suds
# tarball
wget https://fedorahosted.org/releases/s/u/suds/python-suds-0.4.tar.gz
tar xzvf python-suds-0.4.tar.gz
cd python-suds-0.4
python setup.py install

Para el ejemplo utilizaremos uno de los webservices del sitio webservicesx.net

#!/usr/bin/env python

from suds.client import Client
url = 'http://www.webservicex.net/globalweather.asmx?WSDL'
client = Client(url)
print client

si todo esta correcto la salida del script mostrara esto:

web service output

Suds ( https://fedorahosted.org/suds/ )  version: 0.3.9 GA  build: R659-20100219

Service ( GlobalWeather ) tns="http://www.webserviceX.NET"
   Prefixes (0)
   Ports (2):
      (GlobalWeatherSoap)
         Methods (2):
            GetCitiesByCountry(xs:string CountryName, )
            GetWeather(xs:string CityName, xs:string CountryName, )
         Types (0):
      (GlobalWeatherSoap12)
         Methods (2):
            GetCitiesByCountry(xs:string CountryName, )
            GetWeather(xs:string CityName, xs:string CountryName, )
         Types (0):

El servicio web tiene 2 metodos los cuales podemos invocar de la siguiente manera:

#!/usr/bin/env python

from suds.client import Client
url = 'http://www.webservicex.net/globalweather.asmx?WSDL'
client = Client(url)
#print client
weather =  client.service.GetWeather('Managua', 'Nicaragua')
print weather

esto generara un string conteniendo el xml para que luego pueda ser procesado según se requiera .

<?xml version="1.0" encoding="utf-16"?>
<CurrentWeather>
  <Location>Managua A. C. Sandino, Nicaragua (MNMG) 12-09N 086-10W 56M</Location>
  <Time>Jul 18, 2011 - 12:00 AM EDT / 2011.07.18 0400 UTC</Time>
  <Wind> from the ESE (110 degrees) at 5 MPH (4 KT):0</Wind>
  <Visibility> greater than 7 mile(s):0</Visibility>
  <SkyConditions> partly cloudy</SkyConditions>
  <Temperature> 77 F (25 C)</Temperature>
  <DewPoint> 73 F (23 C)</DewPoint>
  <RelativeHumidity> 88%</RelativeHumidity>
  <Pressure> 29.88 in. Hg (1011 hPa)</Pressure>
  <Status>Success</Status>
</CurrentWeather>

Referencias:

Python Suds

Permutaciones con Python

Después de un buen rato sin postear nada en el blog por falta de tiempo, ahora regreso para postear algunos artículos sobre programación.

Python es un excelente lenguaje para una tarea como la de generar códigos por ejemplo series o códigos para una lotería o promoción.

Python en su versión 2.6 que probé viene con la librería “Itertools” la cual provee funciones iterativas para el manejo eficiente de ciclos y secuencias.

Para demostrar el uso de la librería un ejemplo sencillo seria generar códigos sin repetición únicos alfanuméricos de 5 dígitos suponiendo que los caracteres pueden ser: ‘3479JKLNPQRTWXY’.

recordando un poco de matematica n!/(n-r)! se pueden hacer 360360 permutaciones.

supongamos que necesitamos los codigos generados en sets de 50,000 y necesitamos 300,000 tendriamos algo como esto

import itertools

# permutacion
code = '3479JKLNPQRTWXY'
codigos = itertools.permutations(code,5)

# ruta a los archivos
path_prefix = '/home/strafe/data-codes/'

# numeracion de los archivos
files_number = range(1,6,1)

# lista con los nombres de los archivos
files = []
for x in files_number:
    files.append(path_prefix + "set"+str(x)+".csv")

# procesamiento.
inicio=0
fin=50000
for f in files:
    file = open(f,'w')
    x = list(itertools.islice(codigos,inicio,fin,1))
    for i in x:
        print >> file, "".join(i)

    file.close()
    inicio=fin
    fin=fin+50000   

en el codigo se utilizan “itertools.permutations” y “itertools.islice”, itertools.permutations hace el trabajo y itertools.islice permite tomar un rango determinado de la tupla.

Por razones de desempeño y uso de memoria es mas eficiente usar itertools.islice ya que de esa manera la memoria no se agotaria en tratar de procesar el resultado de itertools.permutations de una sola vez.

al final se tendria un resultado como este en los archivos:

3PQ4K
3PQ4L
3PQ4N
3PQ4R

referencias:

http://docs.python.org/library/itertools.html

Configurando Mercurial hgwebdir + Apache + pygments

Para los ultimos proyectos que he trabajado he venido usando Mercurial para el control de version (SCM) es muy versatil, ha sido portado a diferentes plataformas se ejecuta en Linux/Windows/FreeBSD/Solaris, esta hecho en python y es similar a Git ademas de ser utilizado por diferentes proyectos grandes como Netbeans y otros.

Este mini-howto esta basado en la documentacion encontrada en la wiki de Mercurial con algunas modificaciones para adaptarlo a la distro que uso(Fedora 10) y agregando el uso de pygments para el color de la sintaxis.

lo necesario para iniciar:

  • Apache web server
  • Mercurial 1.1
  • Pygments
  • Python 2.5

la version de mercurial que viene con Fedora 10 al momento de escribir esto era 1.0.2 por lo que tuve que descargar la nueva version e instalarla, si la nueva version ya se encuentra en los repositorio solo habra que instalar normalmente con yum.

wget http://www.selenic.com/mercurial/release/mercurial-1.1.1.tar.gz
tar xzvf mercurial-1.1.1.tar.gz
cd mercurial-1.1.1
# Editamos el archivo Makefile
# cambiamos PREFIX=/usr/local a  PREFIX=/usr
# si python esta bien instalado y sus dependencias ejecutamos

make all;  make install;  hg version
# se mostrara algo similar a esto "Mercurial Distributed SCM (version 1.1+20081203)"

# loggeado como usuario root
yum install -y python-pygments httpd

Ahora que ya tenemos todo lo necesario configuraremos el cgi de Mercurial y los repositorios.

# siempre como root creamos los siguiente directorios
mkdir -p /var/www/hg/repos

Creamos el archivo de configuracion “hgweb.config” en /var/www/hg/

[collections]
repos/ = repos/
[web]
style = gitweb

copiamos el cgi “hgwebdir.cgi” en /var/www/hg/ y le cambiamos los permisos

chmod a+x hgwebdir.cgi

ahora configuramos el cgi en Apache, creamos un archivo de configuracion “hg.conf” en /etc/httpd/conf.d

ScriptAliasMatch ^/hg(.*) /var/www/hg/hgwebdir.cgi$1
<Directory /var/www/hg>
Options ExecCGI FollowSymLinks
AllowOverride None
</Directory>

Predeterminadamente el web server Apache que viene en Fedora incluira todas los archivos de configuraciones en /etc/httpd.conf.d/ con el sufijo “.conf”

comprobamos la configuracion con

# esto debera retornar un mensaje de 'Sintaxis is OK'
/usr/sbin/httpd -t

Ahora queda configurar los repositorios, creamos un proyecto llamado “zf-test”

mkdir zf-test
hg init
hg add
hg ci -m "repositorio inicializado"
cd ..
mv -r zf-test /var/www/hg/repos/

Una vez inicializado el repositorio y agregado los archivo lo movemos a al directorio de los repositorios y configuramos el repositorio del proyecto dentro del directorio .hg creamos un archivo llamado “hgrc”

[web]
contact = JM
description = Aplicacion de Prueba Zend Framework.

style = gitweb
allow_push = *
allow_archive = zip gz bz2
push_ssl = false

pygments_style = autumn

[extensions]
hgext.highlight =

La configuracion indica lo siguiente style es la plantilla que usar hgwebdir para mostrar el directorio del proyecto en el browser, “allow_push = *” permite hacer cambios a cualquiera, esto esta asi porque esta pensado para funcionar en una intranet o red privada, si se hiciera publico se podria implementar las extensiones de mercurial para ACL y autenticacion via http con apache ademas de usar SSL para las conexiones y restringir los usuario que pueden hacer “push” o escribir en el repositorio.

La opcion allow_archive permite bajar el repositorio del proyecto completo en un archivo comprimido en formato zip, bz2 o gzip, la opcion hgext.highlight activa el coloreado de sintaxis para los archivos y el diff  utilizando pygments.

La libreria pygments cuenta con varios esquemas el usado aqui es “autumn” el usado por default por mercurial es “colorful”

El cgi hgwebdir puede usar otras plantillas que vienen con mercurial que son: gitweb, coal, monoblue, spartan y paper.

el paso mas importante para finalizar, para permitir la escritura y ejecucion del cgi el propietario de los repos y el cgi debe ser el usuario del web server Apache, en este caso es “apache”

cd /var/www
chown apache:apache -R hg

He aqui algunos screenshots del hgwebdir usando la extension pygments corriendo en Apache.

mercurial-repositories-index
mercurial-repositories-index
Sumario del repositorio del proyecto
Sumario del repositorio del proyecto
Vista de archivos en el repositorio
Vista de archivos en el repositorio
Pygments en accion
Pygments en accion
pygments diff
pygments diff
Mercurial Visual Graph extension
Mercurial Visual Graph extension

Referencia:

Mercurial