Create Connection Pool on Python

Bagaimana menangani connection timeout pada saat kita mengakses sebuah web service ?

salah satu cara yang bisa kita lakukan adalah dengan membuat pool manager untuk menchaced sebuah session.

pertama buat sebuah pool manager

requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS = 'kEECDH+AES128:kEECDH+AES256:kRSA+AES128:kRSA+AES256:!aNULL:!MD5'
class Ssl1HttpAdapter(HTTPAdapter):    
 
    def init_poolmanager(self, connections=10000, maxsize=10000, block=False):
        self.poolmanager = PoolManager(
            num_pools=connections, maxsize=maxsize,
            block=block, ssl_version=ssl.PROTOCOL_TLSv1_2)

 

kemudian panggil class tersebut pada saat kita melakukan sebuah request ke webservice

 

headers = {
            'Content-Type': 'text/xml',
            'Host':'http://xxx.com',
            "Accept-Encoding": "gzip,deflate",
            'SOAPAction' : '\"http://xxx.com/authenticate\"',
            'Connection': 'Keep-Alive',
            'User-Agent': 'Apache-HttpClient/4.1.1 (java 1.5)'
        }
 
body ={}
r = requests.Session()
r.mount('http://xxx.com/authenticate', Ssl1HttpAdapter())
r.post('http://xxx.com/authenticate', data=body, headers=headers, timeout=10000)

 

Good luck ….!

Create Squence On Existing Table #Postgresql

Bagaimana cara membuat squence di postgresql ?

Modern Versions of PostgreSQL

pada database postgresql versi terbaru 9.xx telah mendukung sebuah tipe data serial yang dapat digunakan layaknya auto increment seperti pada database mysql.

example :

ALTER TABLE test1 ADD COLUMN id SERIAL PRIMARY KEY;
Older Versions of PostgreSQL

sedangkan cara pembuatan squence pada postgres tanpa menggunakan tipe data serial adalah sebagai berikut :

ALTER TABLE test1 ADD COLUMN id INTEGER;
CREATE SEQUENCE test_id_seq OWNED BY test1.id;
ALTER TABLE test ALTER COLUMN id SET DEFAULT NEXTVAL('test_id_seq');
UPDATE test1 SET id = NEXTVAL('test_id_seq');

 

Using sequences
Nextval ('sequence_name') - perintah ini akan menambah nilai dari urutan yang ditentukan dan mengembalikan nilai baru sebagai bilangan bulat

Currval ('sequence_name') - perintah ini akan mengembalikan nilai kembali terakhir dari perintah "nextval". Jika nextval masih belum digunakan, tidak ada nilai yang akan dikembalikan

Setval ('sequence_name', n) - perintah "setval" akan mengatur nilai arus dari urutan ke n.

 

sumber referensi : postgresql.com

The Collection Part 2 #Postgres_Copy_Table

To copy a table completely, including both table structure and data, you use the following statement:

CREATE TABLE new_table AS TABLE existing_table;

To copy a table structure without data, you add the WITH NO DATA clause to the CREATE TABLE statement as follows:

CREATE TABLE new_table AS TABLE existing_table WITH NO DATA;

To copy a table with partial data from an existing table, you use the following statement:

CREATE TABLE new_table AS SELECT * FROM existing_table WHERE  condition;

The condition in the WHERE clause of the query defines which rows of the existing table will be copied to the new table.

Note that all the statement above copy table structure and data but do not copy indexes and constraints of the existing table.

PostgreSQL copy table example

The following statement creates a new table named contacts for the demonstration:

CREATE TABLE contacts(

    id SERIAL PRIMARY KEY,

    first_name VARCHAR NOT NULL,

    last_name VARCHAR NOT NULL,

    email VARCHAR NOT NULL UNIQUE

);

In this table, we have two indexes: one index for the primary key and another for the UNIQUE constraint.

Let’s insert some rows into the contacts table:

INSERT INTOcontacts(first_name,last_name,email) VALUES('John','Doe','john.doe@postgresqltutorial.com'),

      ('David','William','david.william@postgresqltutorial.com');
 
To copy the contacts to a new table, for example, contacts_backup table, you use the following statement:
CREATE TABLE contact_backup

AS TABLE contacts;

This statement creates a new table named contact_backup whose structure is the same as the contacts table. In addition, it copies data from the contacts table to the contact_backup table.

Let’s check the data of the contact_backup table by using the following SELECT statement:

It returns two rows as expected

To examine the structure of the contact_backup table:

As you can see in the output, the structure of the contact_backup table is the same as the contacts table except for the indexes.

To add the primary key and UNIQUE constraints to the contact_backup table, you use the following ALTER TABLE statements:

ALTER TABLE contact_backup ADD PRIMARY KEY(id);

ALTER TABLE contact_backup ADD UNIQUE(email);
To view structure of the contact_backup table again, you use \d command:
In this tutorial, you have learned how to copy an existing table to a new one using the various forms PostgreSQL copy table statement.
source : postgresqltutorial.com

The Collection Part 1 #try_exception

Bagaimana cara menangani event exception pada saat kita melakukan request ke webservice ?

ada kalanya kita memerlukan sebuah function yang bisa melakukan reload ulang pada sebuah event yang kita buat jika event tersebut mengalami mal function. cara yang paling sederhana kita bisa menggunakan try exception, seperti sample di bawah ini :

class NetworkError(RuntimeError):
    pass
 
def retryer(max_retries=10, timeout=5):
    def wraps(func):
        request_exceptions = (
            requests.exceptions.Timeout,
            requests.exceptions.ConnectionError,
            requests.exceptions.HTTPError,
            requests.exceptions.SSLError,
        )
 
    def inner(*args, **kwargs):
        for i in range(max_retries):
            try:
                result = func(*args, **kwargs)
            except request_exceptions:
                time.sleep(timeout)
                continue
            else:
                return result
            else:
                raise NetworkError
        return inner
    return wraps
 
@retryer(max_retries=7, timeout=1)
def foo():
    print('Stuff')
    requests.get('https://www.google.com')

sumber : stack overflow

good lucks

Get Json Use Python Requests

Bagaimana cara mendownload json dari sebuah web service  ?

Python menyediakan sebuah library canggih bernama python requests, yang dapat kita gunakan untuk melakukan action POST dan GET ke webservice.

untuk mempermudah pembuatan object parameter GET, kita bisa menggunakan library urllib

pertama buat terlebih dahulu object parameternya :

get_param={    
    'arrivalDate':"2017-07-02",
    'departureDate':"2017-07-03",
    'countryCode':'ID'
}

 

kemudian encode dengan menggunakan urllib

params =urllib.parse.urlencode(get_param)

 

Kode lengkapnya di bawah ini

import json
import requests
import urllib.parse
get_param={    
    'arrivalDate':"2017-07-02",
    'departureDate':"2017-07-03",
    'countryCode':'ID'
}
params =urllib.parse.urlencode(get_param)
url = 'http://xxx.com/list?'+params
r = requests.get(url)
print(json.dumps(r.json()))

 

Good Lucks ….!