AWS 使用经验

掐指一算，自己第一次使用 AWS 已经是两年前的事情了，这也是云计算和大数据等技术迅猛发展的两年。这期间，大抵间间断断地使用着，FreeTier Instance 也运行快一年了，马上进入收费周期。虽然中间用过一段 Aliyun 的产品（被坑了不少钱），同时现在每月给DigitalOcean 贡献 $5，但是只有AWS的培训有参加过，几个活也是用AWS完成的，算是了解得比较深入。这里且记录一下使用经验，算是总结，也是一种知识梳理。

由于比较常用计算密集型的任务，选择EC2 Spot Instances + SQS + S3的组合较为符合需求。在不需要Auto Scaling的情况下，主要的思路如下：

• Sending EC2 Spot Instances Requests
• Sending Messages into SQS
• Start python scripts on EC2 instances
• Upload python scripts to S3 and download it on EC2 instances
• Get Messages from SQS and saving results to S3

SQS 是一个消息队列系统，以服务的方式提供后，对于整个架构中各模块的解耦是非常有用的。S3用于存储初始数据和处理结果，以及启动脚本。EC2 就是处理数据的节点。

1. S3

s3 = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = s3.get_bucket(DATA_BUCKET)
key = bucket.new_key(KEY_BOOT)
#key.set_contents_from_string(startup)
key.set_contents_from_filename(SCRIPT_BOOT)

2. SQS

def send_message_sqs(q, id):
    message = q.new_message(body=simplejson.dumps({"key":id}))
    print q.write(message)

sqs = boto.connect_sqs(KEY, SECRET)
q = sqs.create_queue(REQUEST_QUEUE)
for id in ids:
    send_message_sqs(q, str(id))

3. EC2 Spot Instances

request = conn.request_spot_instances(price=AWS_MAX_PRICE,
    image_id=AWS_IMAGE_ID,
    count=AWS_INSTANCE_COUNT,
    type=AWS_REQUEST_TYPE,
    key_name=AWS_KEY_NAME,
    security_groups=AWS_SECURITY_GROUPS,
    instance_type=AWS_INSTANCE_TYPE,
    placement=AWS_PLACEMENT,
    user_data=BOOTSCRIPT % {
        ‘KEY‘    : AWS_ACCESS_KEY_ID,
        "SECRET" : AWS_SECRET_ACCESS_KEY,
        "DATA_BUCKET" : DATA_BUCKET,
        "KEY_BOOT" : KEY_BOOT,
        ‘BOOT_SCRIPT_PATH‘: SCRIPT_BOOT_PATH_SPOT
    })

http://aws.amazon.com/ec2/purchasing-options/spot-instances/spot-and-science/

http://www.slideshare.net/AmazonWebServices/massive-message-processing-with-amazon-sqs-and-amazon-dynamodb-arc301-aws-reinvent-2013-28431182

AWS 使用经验