Hadoop + BigQuery és Datastore támogatás

A mai naptól már egyszerűbb Hadoop-unkat a Google felhő alapú szolgáltatásaiból táplálni, ugyanis kiadták a Google BigQuery és a Google Cloud Datastore konnektorokat Hadoop-hoz. A két konnektor a Hadoop InputFormat és OutputFormat implementációja. Ezen kívül a már létező Google Cloud Storage konnektor ott van a sorban, ami pedig a HDFS réteget adja.

(tovább…)

Kapcsolódó cikkek:

Google+ beágyazása Octopress-be

Ezzel a bejegyzéssel tesztelem, az Octopress kiegészítőmet Google+-hoz. A lényege az, hogy a bejegyzésbe beraksz egy googleplus_post blokkot a bejegyzésbe és a rendszer begenerálja a kívánt tartalmat.

A forrás, amint minden hibáját kigyomláltam publikus lesz, ahogyan eddig is minden más. Ha van rá kereslet, akkor akár végig is magyarázom egy cikk keretében a működését, illetve miként tudsz te is ilyet írni.

Működés

Mivel simán beágyazni nem tudom élőben, így a poszt generálásakor egy Liquid::Tag kiegészítő letölti az adott bejegyzést a Google+ API használatával. A legnagyobb probléma, hogy nem lehet értelmesen lekérdezni egy adott bejegyzést, mert a bejegyzés azonosítója nem egyenlő az oldalon lévő URL-ben szereplő karakterlánccal. Az egyetlen mód jelenleg amit találtam, hogy lekérdezem a bejegyzéseit az adott embernek vagy oldalnak és megnézem melyiknek az URL-jeben szerepel a megadott post_id. Remélem Azért erre később találok értelmes megoldást. Minden megtalált bejegyzés adatát fájlrendszeren elraktározom, hogy ne kelljen minden alkalommal megkérdezni a szervert 🙂 Nagyjából ennyi a működése.

(tovább…)

Kapcsolódó cikkek: