[Django, GAE] - Pruebas django y google app engine

EDITADO:
Obsoleto. Para crear aplicaciones django sobre GAE en la actualidad es mejor usar django-nonrel


¿Qué es Google App Engine (GAE)?

GAE te permite ejecutar aplicaciones Web en la infraestructura de google. Existe una versión Java y otra Python.

http://code.google.com/intl/es-ES/appengine/docs/

GAE admite cualquier framework creado en su totalidad con Python que utilice el estándar CGI (y cualquier framework compatible con WSGI que utilice un adaptador de CGI), incluidos Django, CherryPy, Pylons y web.py. Como ya tengo experiencia con Django me he decantado por este framework. El principal problema a la hora de usar Django con GAE, es la diferencia que hay entre las bases de datos y por lo tanto en los modelos. GAE sólo permite el uso de su base de datos por lo que es necesario adecuar los modelos de Django a este almacén de datos.

Para poder usar Django con GAE, se ha creado un helper que se puede encontrar en http://code.google.com/p/google-app-engine-django/. funciona prácticamente igual que Django solo que los modelos hay que crearlos de forma diferente.

Mi intención no es crear un tutorial de como usar Django en GAE, sino que voy a enlazar a github un par de ejemplos que estoy haciendo. Para mi, lo mejor siempre es ver código y analizar lo que hace. Si no se tiene ningún conocimiento ni de GAE ni de Django, recomiendo primero realizar los siguientes tutoriales.

https://docs.djangoproject.com/en/dev/intro/tutorial01/
http://code.google.com/intl/es/appengine/docs/python/gettingstarted/

Ejemplos

El primero es una aplicación de lo más simple. Es el primer ejemplo que he hecho con GAE + Django. Es un libro de visitas lo más simple posible. Me parece importante que el primer ejemplo sea muy simple para poder entenderlo sin problemas, luego, añadir funcionalidades será más fácil.

[GITHUB]: https://github.com/pablito80/testgaedjg
[APPSPOT]: http://app-pablog.appspot.com/guestbook/  (Si entras, déjame algún comentario.)

El otro es un poco más complicado, es mi página personal aunque tampoco es nada del otro mundo.
[GITHUB]: https://github.com/pablito80/pablovieytes-app
[APPSPOT]: http://pablovieytes-app.appspot.com/ o http://www.pablovieytes.com


Si vas a usar alguna de mis pruebas, asegurate de cambiar el nombre de la app en el fichero "app.yaml"
 y el código secreto de Django en "settings.py".


Para que funcionen correctamente es necesario usar python 2.6 y Django 1.1 ya que es lo que usa GAE, lo suyo es crearse un entrono virtual con estas características.

Ejemplo de como crear un virtualenv en Ubuntu.

Si no se tiene Python 2.6 hay que instalarlo

sudo aptitude install python2.6

crear el entorno virtual con python 2.6

virtualenv --no-site-packages --python=python2.6 GAEVENV

activamos el virtualenv:

source GAEVENV/bin/activate

instalamos Django1.1 en el virtualenv que hemos creado:

pip install Django==1.1

Para comprobar que todo está correcto ejecutar el siguiente comando

pip freeze

El resultado tiene que incluir Django==1.1

Paso a paso

Vamos a ver paso a paso como se ejecutaría en local el primer ejemplo.

clonamos el proyecto:

git clone git@github.com:pablito80/testgaedjg.git

Entramos en el directorio del proyecto

cd testgaedjg

Copiamos el contenido del sdk de GAE en el directorio del proyecto dentro del directorio .google_appengine.

El árbol del directorio del proyecto quedará más o menos así:

testgaedjg

├── appengine_django

│   ├── auth

│   ├── ...

├── .google_appengine

│   ├── appcfg.py

│   ├──BUGS

│   ├──...

├── app.yaml

├── guestbook

│   ├── __init__.py

│   ├── ...

├── __init__.py

├── main.py

├── manage.py

├── readme.md

├── requirements.txt

├── settings.py

├── templates

│   ├── base.html

│   ├── guestbook

│   │   └── guestbook.html

│   └── home.html

├── urls.py

└── views.py

Para iniciar el servidor de pruebas en local, se inicia de la misma manera que Django. Hay que tener activado el virtualenv.

source path/del/virtualenv/bin/activate
python manage.py runserver

y la página estará disponible en:

http://127.0.0.1:8000/guestbook/

Si vas a hacer corta y pega con alguno de mis ejemplos, acuerdate de cambiar el nombre de la aplicación y el código secreto.

Yo utilizo el siguiente comando desde el directorio del proyecto para actualizar la aplicación en los servidores de google:

.google_appengine/appcfg.py update . 

Parsing Twitter's User Timeline with Python

Usually, when you want to include the tweets on a web, it is common to embed a javascript code to show it. Twitter offers a very useful widget for this purpose. http://twitter.com/about/resources/widgets/

This is the best way to show the user timeline without worries. You just copy and paste some javascript code, but sometimes you need more flexibility and copy and paste javascript widget it's not enough.

In this post you'll find a way to parse the Twitter's user timeline from a json file with Python. There are a lot of ways to do that, here's mine.

This is not a Python wrapper arround the twitter api, if you are looking for something like that, please visit http://code.google.com/p/python-twitter/

Getting the Twitter's user time

To download the last tweets, I use the GET statuses/user_timeline function that returns a json file. I've created a function to download the json file and  parse it. I've also created a Tweet class to store the tweet info.

The "read_tweets()" function parse the json file and store the tweet info in a list of Tweet instances. The Tweet class also provide some methods to store info easly.

Let's see the code.

In "read_tweets()" I use urllib2 to read the file and simplejson to parse it. To store the info I use the Tweet Class methods.




The most important Tweet class method is "set_text()". It converts plain text into html code with http, user and hashtag links. I use python regular expressions to find, http://xxx, https://xxx, #xxx and @xxx and replace it for a valid Twitter link.

Django advice

If you gonna use this code with Django, please, let me give you some advice.

"read_tweets()" download a json file every time you call it so please don't use it in a view. It'll delay the view too much. The tweets must be stored with "read_tweets()" and the view must read this stored tweets. You can store the tweets in a lot ways. I use a "manage.py" script added to cron to stored it in memcache, but It's your choice.

If you gonna show the html code stored en Tweet.html_text in a Django template don't forget use the safe tag.

[python]{{ tweet.html_text|safe }}[/python]

Nota Django: sobreescribiendo métodos

http://docs.djangoproject.com/en/dev/topics/db/models/#overriding-predefined-model-methods

En el ejemplo siguiente se muestra como sobreescribir el método save() de un modelo. Lo importante es poder añadir más código al función pero sin perder la funcionalidad primitiva.

class Model(models.Model):
pass

def save(self, *args, **kwargs):
    #add some functionality
    super(Model, self).save(*args, **kwargs) # Call the "real" save() method.
    #add some functionality

Nota python: Eliminar elementos repetidos de una lista

Necesitaba eliminar elementos repetidos de una lista, la primera aproximación sería recorrer la lista e ir comprobando si los elementos están repetidos. Decidí buscar otras opciones y he encontrado dos formas de eliminar elementos repetidos de una lista. Ninguno de estas dos formas respeta el orden inicial de la lista.

Uso del tipo de dato set (conjunto de datos mutable, sin orden, que no contiene duplicados). Convertimos primero la lista a tipo set y luego volvemos a convertir el tipo set en lista.

>>>lst = [1, 1, 3, 2]
>>> lst
[1, 1, 3, 2]
>>> lst = list(set(lst))
>>> lst
[1, 2, 3]

En el siguiente ejemplo hacemos uso de los diccionarios para eliminar los elementos repetidos. Primero creamos un diccionrio donde las claves están almacenadas en la lista. Depués obtenemos las claves del diccionario que acabamos de crear.

>>> lst = [1, 1, 3, 2]
>>> lst
[1, 1, 3, 2]
>>> lst = dict.fromkeys(lst)
>>> lst
{1: None, 2: None, 3: None}
>>> lst = lst.keys()
>>> lst
[1, 2, 3]

Nota: Trabajando con listas en Python. Igualar listas.

Estaba depurando un programa y me he dado cuenta de como funcionan las listas en python al igualarse.
Si se iguala una lista a otra, no se está creando una nueva lista con los valores de la anterior, si no que estás creando un nuevo nombre para la misma lista.

Voy a poner un ejemplo donde se ve claramente:

l1 = []
l1.append('1')
l1.append('2')
l2 = l1
l2.append('3')
print l1
>> ['1', '2', '3']

Django: hosting gratuito

Desde www.alwaysdata.com nos ofrecen la posibilidad de crearnos una cuenta gratuita que nos ofrece servicio de hosting para nuestros proyectos en django.
La página de registro está en francés pero una vez dado de alta como usuario, el panel de administración está en español.

Todavía no he podido configurar el servidor para hacer alguna prueba pero parece que tiene buena pinta. Tenía ganas de encontrar un servicio de hosting gratuito para django.

En cuanto haya subido algo al servidor, ya os comentaré.

http://www.alwaysdata.com

PD: Si alguien lo prueba, no estaría mal que lo compartiese en la zona de comentarios.

Django: Restaurar una tabla borrada a mano de una aplicación gestionada con South

Estaba haciendo unas pruebas con la base de datos y necesitaba limpiar una tabla, por error, en vez de borrar el contenido, eliminé la tabla de la base de datos.

Si se intenta migrar la aplicación, South no restaura la tabla, ya que no se comprueba si las tablas están creadas en la base de datos. Si por el contrario, al ejecutar el comando "python manage.py syncdb", tampoco crea la tabla ya que detecta la tabla está gestionada por south. Para poder generar la tabla, se hace con el comando syncdb, pero además hay que incluir el parámetro -all.

python manage.py syncdb -all

Gestor de paquetes easy_insatall

wikipedia:

EasyInstall es un gestor de paquetes para el lenguaje de programación Python que suministra un formato estándar para distribuir programas y librerías en Python, basado en el envoltorio llamado huevos de Python (Python eggs).

Para poder usar easy_isntall, es necesario instalar python-supertools.

apt-get install python-setuptools

Una vez que ya tenemos instalado python-supertools, ya se pueden instalar los "eggs" con easy_install.

Ejemplo de instalación:

easy_install PackageName

Ejemplo de desinstalación:

easy_install -m PackageName

Nota:
Es muy interesante el uso de easy_install con virtualenv. A ver si hago un pequeño post sobre el uso de virtualenvs.

Borrar el historial de South.

Para reiniciar completamente el historial de South hay que hacer lo siguiente:

python manage.py migrate appname --fake zero

Este comando borra todo el historial de South.

A continuación se tienen que borrar los ficheros.

rm appname/migrations/*

En este momento ya tenemos el historial de South completamente limpio por lo que es necesario crear las nuevas migraciones:

python manage.py schemamigration appname --initial
python manage.py migrate appname

Si solamente queremos borrar el historial hasta un lugar concreto, hay que hacer lo siguiente:

python manage.py migrate appname --fake MIGRATION_NUMBER

El atributo --fake, indica que solamente se borran las migraciones de la base de datos, no afecta a lo que contiene la base de datos, es decir, no se aplican los cambios.

A continuación hay que borrar todos los archivos posteriores a la migración desde la que queremos partir que se encuentran en :

appname/migrations

A continuación creamos una nueva migración para guardar los cambios que hay en la base de datos. Al haber hecho "python manage.py migrate appname --fake MIGRATION_NUMBER", simplemente se han borrado las migraciones de la base de datos pero no se han aplicado los cambios, ahora lo que nos indica South y lo que hay en la base de datos es diferente por lo que es necesario hacer una nueva migración:

python manage.py schemamigration appname --auto

El siguiente paso que debemos hacer, es aplicar la migración:

python manage.py migrate appname

SQLite en Python.

Una herramienta muy útil para trabajar con SQLite  es la extensión de firefox "sqlitemanager".

Hay una gran cantidad de bases de datos, tanto de pago como gratuitas. También existen una gran variedad de módulos distintos para trabajar con esas bases de datos en Python, lo que implica que hay una gran cantidad de APIs que aprender.

Se ha desarrollado una propuesta de API estándar para el manejo de bases de datos en Python para que el código sea prácticamente igual para todas las bases de datos. Esta API es Python Database API (DB-API)

http://www.python.org/dev/peps/pep-0249/

Hay un módulo que se ajusta a la DB-API 2.0 para SQLite. Dicho módulo es:
slqlite3

Para realizar la conexión con la base de datos se hace con la función "connect" esta función tiene unos parámetros de entrada que no están estandarizados. Para el módulo sqlite3 el parámetro de entrada es la ruta donde se encuentra almacenado el archivo que contiene los datos. También se puede poner la cadena ":memory:" lo que implicará que se usará la memoria RAM para la base de datos, por lo tanto no se almacenarán datos al terminar la ejecución del programa.

import sqlite3
bdd = sqlite3.connect("./db.sqlite")

Para poder realizar operaciones, se han de realizar sobre un cursor.

cur=bdd.cursor()

Si en nuestra base de datos está desactivado la opción de autocommit, será necesario hacer un commit:

bdd.commit()

Ejemplo:

#!/usr/bin/python
import sqlite3

#connect to the data base
bdd = sqlite3.connect("./db.sqlite")

#cursor
cur=bdd.cursor()

#create a table
cur.execute("""CREATE  TABLE "main"."data" 
("id" INTEGER PRIMARY KEY  AUTOINCREMENT  NOT NULL , 
"name" VARCHAR)""")

#insert a value
name="Nombre"
sql_script="INSERT INTO data ( name ) VALUES (\'%s\')" % name
cur.execute(sql_script)
bdd.commit()


#close the data base 
bdd.close()

Nota: Si se va a ejecutar este ejemplo por segunda vez, no debe existir el fichero "db.sqlite" en el mismo directorio, ya que va a intentar crear otra vez la tabla "data" y dará error.


Post relacionados:
http://blog.pablovieytes.com/2010/04/base-de-datos-sqlite-y-gestor-manager.html

Bibloigrafía:

http://mundogeek.net/tutorial-python/