Save File to Amazon Simple Storage Service (s3)

Teknologi media penyimpanan data saat ini telah berkembang begitu cepat. untuk media penyimpanan cloud salah satu yang paling populer adalah Amazon S3.

Bagaimana cara mengupload file ke Amazon s3 dengan memanfaatkan bahasa pemrograman python ?

pada python kita bisa memanfaatkan library boto yang dapat kamu pelajari secara lengkap di sini

install boto dengan pip pada python, sample codenya seperti di bawah ini

import boto
from boto.s3.key import Key
from boto.s3.connection import S3Connection
 
#Amazon Settings
AWS_ACCESS_KEY_ID = 'XCKHOKSKSJDF7'
AWS_SECRET_ACCESS_KEY = 'GHK98723KLKKKK'
 
filename ='rahasia.pdf'
saved_full_file_path = "d:\rahasia.pdf"
 
conn = S3Connection(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = conn.get_bucket('assets-fanther')
 
AWS_ACL = 'public-read'
AWS_HEADERS = {
		'Cache-Control':'max-age=31556926,public'
	}
 
k = Key(bucket)
k.key = 'backup/' + filename
 
k.set_contents_from_filename(saved_full_file_path,headers=AWS_HEADERS,replace=False,policy=AWS_ACL)

good luck

The staticfiles app django, collection part 3

Python Django

Staticfiles adalah kumpulan direktori dari setiap aplikasi yang bersifat statis biasanya berisi file css, pdf, javascript dan lain-lain

untuk melakukan konfigurasi staticfiles pada django ada 5 hal yang perlu kita pahami

Settings, ada beberapa hal di file setting.py yang perlu di konfigurasi

Management Command

Django.contrib.staticfiles terdapat 3 perintah untuk melakukan manajemen data

Storages, untuk melakukan manipulasi data pada sotrages ada 3 hal penting yang perlu di ketahui

 

Finder Module, staticfiles finder memiliki atribut searched_locations yang merupakan module untuk menemukan sebuah direktory

Helper, adalah beberapa alat bantu lain di luar aplikasi staticfiles yang bekerja dengan file statis

sumber : doc django project

Berfikir NoSQL ?

NoSQL atau biasa disebut dengan Not Only SQL adalah sistem manejemen database non relasional. NoSQL digunakan untuk menyimpan data dalam ukuran besar (Big data).

NoSQL tidak membutuhkan skema table dan menghindari operasi join, konsep ini dikenal sebagai structured storage.

Dalam perkembangannya media penyimpanan database NoSql terbagi dalam beberapa bentuk:

  • Document Database contohnya MongoDB, setiap satu object data disimpan dalam satu dokumen. Dokumen sendiri bisa terdiri dari key-value, dan value sendiri bisa berupa array atau key-value bertingkat.
  • Graph , Format penyimpanan data dalam struktur graph. Format ini sering dipakai untuk data yang saling berhubungan seperti jejaring social. Contoh database noSQL dengan format ini adalah Neo4J dan FlockDB. FlockDB dipakai oleh twitter.
  • Key – Value, contoh database jenis ini adalah Apache Cassandra.
  • Object Database. Format database yang disimpan dalam object. Object disini sama dengan pengertian object di Pemrograman beroreintasi object , Contoh databasenya adalah Db4o.
  • Tipe lainnya adalah tabular, tuple store dan berbagai jenis lain yang tidak terlalu populer.

 

Bagaimana cara berfikir NoSql ?

di bawah ini terminologi mendasar sql dan nosql yang perlu kita pahami

 

Bagaimana mendesign database NoSql ?

Untuk mendesign database NoSql, kita perlu mengubah cara berfikir kita tentang relational database dan membuangnya jauh2 agar kita bisa berinteraksi dengan NoSQL. Sebagai studi kasus lihat sample di bawah ini :

Dari gambar di atas kita mempunyai dua table yaitu blog dan coments dengan relasi one to many. Untuk mengubah ke NoSql (mongoDb) kita perlu menggabungkan dua table tersebut menjadi satu table sehingga bentuk relationalnya hilang. Bagi kamu yang sudah terbiasa dengan json data, mempelajari NoSql akan lebih mudah. Ubah table sql diatas ke NoSql (MongoDB).

{
	_id:1099843,
	title:"Menikmati Sunrise Sikunir",
	content:"Awan indah menggantung di langit senja ...",
	coments:[
		{
			coments:"Inget tempat ini pingin pulang :)",
			created_date:"2013-04-28 05:30"
		}
	]
}

 

Next : Crud Python Mongodb

Good luck …!

 

Show File List Using Python

Salah satu hal yang paling saya sukai dari python adalah ia begitu banyak fitur hebat yang dimlikinya. salah satunya manajemen file. untuk membuat list file dari sebuah folder, dengan bahasa python cukup beberapa baris script saja.

import os
path ='f:/DOC/Al-Quran/'
document = os.listdir(path)
for i in range(len(document)):
    file = os.stat(path+document[i])
    size = file.st_size
    print(document[i]+'('+str(size)+')')

Note

os.listdir() : untuk membuat list dari sebuah directory

os.stat() : untuk membaca ukuran dari sebuah file

 

good luck …!

Create Connection Pool on Python

Bagaimana menangani connection timeout pada saat kita mengakses sebuah web service ?

salah satu cara yang bisa kita lakukan adalah dengan membuat pool manager untuk menchaced sebuah session.

pertama buat sebuah pool manager

requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS = 'kEECDH+AES128:kEECDH+AES256:kRSA+AES128:kRSA+AES256:!aNULL:!MD5'
class Ssl1HttpAdapter(HTTPAdapter):    
 
    def init_poolmanager(self, connections=10000, maxsize=10000, block=False):
        self.poolmanager = PoolManager(
            num_pools=connections, maxsize=maxsize,
            block=block, ssl_version=ssl.PROTOCOL_TLSv1_2)

 

kemudian panggil class tersebut pada saat kita melakukan sebuah request ke webservice

 

headers = {
            'Content-Type': 'text/xml',
            'Host':'http://xxx.com',
            "Accept-Encoding": "gzip,deflate",
            'SOAPAction' : '\"http://xxx.com/authenticate\"',
            'Connection': 'Keep-Alive',
            'User-Agent': 'Apache-HttpClient/4.1.1 (java 1.5)'
        }
 
body ={}
r = requests.Session()
r.mount('http://xxx.com/authenticate', Ssl1HttpAdapter())
r.post('http://xxx.com/authenticate', data=body, headers=headers, timeout=10000)

 

Good luck ….!