Fwd: 夏至的来信
摘要：在许多对场景事件要求快速反应的领域，实时图像处理扮演着重要角色。由于实时图像 处理涉及大量计算，许多已经提出的解决方案都特别使用了专用硬件系统。然而，它们仍然不足以应付实际应用。因为它们的专用硬件架构不适合多任务执行，即使 是在可重构架构下。本文提出了一种流水线虚拟摄像机配置，可通过系统重构执行多个图像处理任务，尤其是在低端和中等级别。通过与像素时钟同步整个系统，每 个处理模块可以把其他模块当作一个虚拟摄像机。最终，无论是性能还是重构级别都得到了显著提升。
关键字： 图像处理，虚拟摄像机，FPGA
1.引言
实 时图像处理在很多领域都引起了广泛兴趣，如机器人技术，安全系统，监控系统等要求识别和跟踪物体的领域。在这些应用领域，高帧率和低潜伏期都是关键因素， 因为图像处理系统必须基于场景事件快速做出决定。然而，由于大量图像计算所要求的超高计算速率，实时处理图像对普通应用的处理器并不容易。基于专用硬件的 平行处理是个显著的解决方案，因为图像处理适合细粒度平行，每个像素在每个阶段平行处理。因此，人们提出了许多在硬件中实现专用图像处理算法的方法。
尽 管有性能和效率等方面的优点，然而和软件比起来，这些硬件实施方案都严重受限于它的可重用性和可编程性。特别的，基于ASIC(专用集成电路）的方案比给 予其他装置的方法受到更多的局限，因为其半导体装置的内部一旦制成就无法改变。由于这是专用硬件装置的本质所决定的，故很难克服。因此，在过去二十年，人 们对硬件重用做了许多研究。
虽然在这个领域人们已经做了大量努力，重构方法对实际应用仍不现实。据我们所知，过去的硬件实施只能操控单元 素系统架构中的系数和参量，如脉动阵列。这意味着变化幅度不大。一些作为部分重构模块的FPGA（现场可编程门阵列）装置也已经支持重构功能。然而，这种 方式的实质并非”重构”――它更接近于”升级”的概念，必须中断工作系统。
在本文中，我们提出了一种针对实时图像处理应用的可重构硬件架 构，通过同步单个数据元上的处理单元，而不是控制流，前一个迭代的结尾可以和后一个迭代的开头重叠，从而减少序贯瓶颈并显著提升性能。因此，该系统根据像 素时钟强烈同步和流水线化；可以处理超过每秒130帧的图像。除了高性能，在重构性方面，比起过去利用虚拟摄像机和延迟连接概念的手段，我们的方法有更好 的灵活性。本系统包括一些基本图像处理单元，每个单元起一个摄像机的作用，其输出行程一个伪视频信号――即虚拟摄像机。这使得处理单元间的连接可以被轻易 修改。由于可以在系统运行期间修改连接，尽管它们已经互相连接了，我们仍称这种方法为延迟连接。
本文的余下部分组织如下。为了解释虚拟摄像机的概念，第二章叙述了视频信号的背景。第三章描述了虚拟摄像机配置并提供了该架构的细节。本架构的实施在第四章得到了陈述和评估。最后，第五章得出结论并指出未来研究的方向。
2.普通视频信号接口
视频是一系列的静态图像的集合。通常，一个视频信号包括图像数据和相应的定时信息。换句话说，二者共同决定了图像信号的主要特性，例如深度，解析度和帧率。图像深度只和图像信号自己有关，但解析度和帧率同时依赖于图像和时间信息。
一 张图像是一套像素的集合。每隔像素的位宽决定了图像深度；例如，2位，8位和24位图像分别用于表示黑白，灰色和真彩图像。像素数决定了图像的尺寸，例如 “0.3M像素”或”2.0M像素”。然而这种表示并不够清楚，因为传统相机拍摄的图片通常是二维的。因此，传统上用一种”x乘y”的表示来代表图像尺 寸。为了确定”x乘y”中x和y的值，必须介绍时间信息在视频信号中的作用。
图1显示了视频接口中常用的时间信息里包含的三种基本信号。 图2（a）显示了垂直同步的概念，常用来在一幅新的图像开始时指示时间。这表示帧率是由相机在一秒周期内产生的垂直同步的数量决定的。图2（b）显示了水 平同步的概念，它显示了当一个新扫描行开始的时间。结果，一幅图像中行的数量，如”x乘y”表示中y的值，是由水平同步决定的。图2（c）显示了像素时 钟。像素时钟决定了一个扫描行有多少个像素点，即”x乘y”表示中x的值，因为每隔像素值实在时钟沿取样的。
由此，我们可以利用四条主要信号作为视频接口：垂直同步，水平同步，像素时钟和像素数据。一张接受图像的当前状态可以通过以下三步保存：
- 在每隔像素时钟的边沿把x的值加1，取样像素值。
- 在每个水平同步的边沿把y的值加1，初始化x的值为0.
- 在每个垂直同步的边沿初始化y的值为0。
通过这些步骤，每个像素时钟内每个接受像素的坐标和值都可用了。当我们横截图像时，这给了我们同样的信息，除非只有一条路径允许。既然这些信息是和像素时钟一起同步的，每个处理单元就内在强迫在同意时钟周期下运行。本文提出的实时图像处理架构就是基于这种特性。
3.虚拟摄像机配置
在 前一章讲到的，视频接口是基于被捕获图像数据和来自相机的相应时间信息。同样的，一个生成图像数据和时间信息的专用模块在其他模块看来也可以被当作一台虚 拟摄像机。通过这种性质，我们可以设计一种图像处理单元，其输入和输出被组合成视频信号的形式。因为输入和输出都有同样的格式，处理单元就可以通过很少的 协议互相计算，这表示每个单元是松散连接的。结果单元间的依赖关系减弱，它们之间的连接更容易修改。
为了说明这一点，我们设想一个简单图 像处理系统，它从输入信号探测边沿。图3（a）显示了这种只能处理一个边沿探测的系统的基本形式，例如索贝尔（Sobel）系统。这种边沿探测系统的应用 程度极其有限，因为它用了探测边沿的专用新片，并且无法重新配置。图3（b）显示了另一台基于可重构脉冲阵列的索贝尔边沿探测系统，它可以被定义为一台可 配置硬件架构。这个系统比前一个有更高的应用程度，因为系统的每个处理元素都可以重新配置。然而，这种架构也有局限性，因为它被设计成仅用于基于窗口的图 像处理应用。通常，可重构硬件系统往往有相似的架构。图3（c）和图3（d）显示了我们提出的虚拟摄像机配置。
如图3（d）所示，该系统 可以被组装成多种形式，因为每个处理单元都把其他单元当作虚拟摄像机。从索贝尔边沿探测其的观点来看，抓帧器和高斯模糊的输出都可以看做相机输出。我们可 以简单地剪切和连接数据流来得到某个物体。在这个例子里，索贝尔边沿探测器利用了高斯输出模块的输出信号作为视频数据来减少错误探测。如果这个系统包含足 够种类的图像处理模块，我们可以认为该系统比前两种方案有更好的应用程度。以下是关于该系统及其配置的详细解释。
A.处理单元
这闹的是什么事儿啊。出口转内销消息：
BBC引用中国官方数据称，
全球金融危机中的俄罗斯看来受创不小，最新一份俄国首富排行榜显示，
达尔文200岁生日之后，我们谈谈他在进化论方面的死对头——拉马克进化论。拉马克认为
哈珀杂志（美国文艺评论月刊）最近在网站上发布了非常知名的数据列表，有些与中国相关。其中很
按照美国的外交惯例，欧洲亲友团或中东兄弟连一般是新任国务卿的首次出访地。可这回希拉里不走寻常路，
一般人过大寿能子孙团聚庆贺一下就不错了，可金日成主席不是一般人，他的67大寿不仅要让全朝鲜上下为之折腾，
看过前两天小抄的同学应该还记得澳大利亚大火的组图吧，180多人丧生，无数村镇毁于一旦，而这却不是天灾而是人祸。纵火犯之一已经落网，这位名为
这次时代周刊票选出来的金融危机25罪魁，小布什当仁不让的排名第一，排名第二的是美国证券交易委员会主席，第三名是全美第5大投资银行
两年来一直以健康问题做挡箭牌拒不出庭的前台湾第一夫人吴淑珍近日终于出现在法庭上，并承认了洗钱，伪造文书等部分罪行。但是对于受贿罪，她还是拒不承认。比如对于一起涉案金额达220万美元的购地弊案，她坦承自己只是”接受政治献金”，而不是受贿。而一直处于大牢之中的陈水扁依然不认罪，并宣称这一切指控只不过是新政府为了取悦中国而对他实行的”政治迫害”。正所谓，要想人不知，除非己莫为。要说陈水扁无罪，好像广大的台湾民众都不太接受吧。随着调查的深入，真相必将水落石出。有两篇译文， 
伦敦真的是运气不好，赶上了经济危机来办奥运。体育馆在建，头顶着当前欧洲的第一大建筑工地的伦敦在光环，工程的进度却要面临靠借债来完成。而2016年奥运会的候选城市日本却大大咧咧地交上自己不菲的经济预算，还要得意洋洋地告诉全世界，即使在经济危机的情况下，这点钱不算什么。真的不知道小日本是在吹破牛皮还是他们肚子有货。看着英国现在个个都危机度日，也许真的是该让日本支招重振日不落雄风。请看
情人节到了，对爱人怎么表示一下呢？英国国家信托基金会的调查显示，相比纸和笔，如今人们更喜欢用电子邮件草草的说句”我爱你”。受访者中有三分之二的人从未写过情书，仅有五分之一的人写过情诗。遥想当年莎翁的十四行诗，丘吉尔、达尔文的感人情书，不禁让有些人扼腕叹息，觉得这都是科技进步惹的祸。可自己不写情书，不代表不想收到。调查显示大部分人还是渴望得到浪漫情书的。这就是人的双重标准吧。请看译文
“我说我的眼里只有你，只有你让我无法忘记……”都说恋爱中的人是盲目的，这句话现在可有科学依据了。研究者发现，热恋中的男女对迎面走来的养眼异性熟视无睹，可算是”目中无人”了吧！进化论的观点认为，这种内在的嫌恶感有助于稳定一夫一妻关系，而这种稳定的关系有利于人类的生存繁衍。如果你相信这个说法，那下次在大街上看到男朋友对着美女发呆可要小心了——这八成意味着……他已经不爱你了！——小S专栏
最近BBC每年一次的各国的国际观感调查显示，世界范围内，对中国的抱有好感和抵触情绪的比率基本相同，都是4成左右，但虽然有着08年奥运会的加持，全球好感率还是下降了5%。而且欧洲国家对中的排斥度普遍都上升了，涨幅还不小，西班牙甚至上升了24%。而对中好感人数多于排斥人数的国家则集中在非洲和拉丁美洲国家。BBC的数据可信性还是比较强的，不管是不够了解还是被误导，世界人民对中国观感不佳已是事实，官办对外新闻台的建立看来还是势在必行的。更多内容请看
看过前两天小抄的同学应该还记得蝙蝠侠扮演者贝尔拍片现场的发飙录音，长达近4分钟的咆哮中，使用了超过30个的F-word，音质清晰发音标准，堪称F-word教材。当然，毫无悬念地，
在能源危机日益严峻的今天，Misra博士的这项发现意义重大。就像大多数科学故事里一样，Misra博士灵感原属偶得，爱喝咖啡的他发现隔夜咖啡上多了层油膜，身为生物燃油专家的他科研灵感大爆发，研究出了咖啡渣炼油的方法。据说该法好处很多，碳排放量小；不占良田，咖啡渣谁家都有，纯属废物利用；和星巴克这样的公司合作更是商业前途远大；更有趣的是这种燃料燃烧后还有咖啡味，不知道会不会有一天你吸饱了市区的尾气就不用去星巴克花钱买咖啡了呢？
这个消息应该只有Julia这种Gadget Geek才会欢欣鼓舞吧。亚马逊在线的电子书阅读器
房价大跌，可能是把开发商摔懵了吧。上海某房地产公司面对萧条的市场出奇招：买房送工作！在小宝看来这个做法似乎是个一拍脑袋的决定，目前此楼盘已出售八套，这是否归功于广告不得而知。不过参照小宝在狗哥上的
老大要吃独食，兄弟们说，你敢！金融时报道：欧盟表示可能对美国提起贸易诉讼。导火索是奥巴马总统刺激经济计划中的”购买美国货”的条款，即刺激计划中投资项目的资金只能用于购买美国企业生产的钢铁建材。欧盟明确表示这违反了开放政府订单的
拖把男是干啥的知道么？说出来吓你一跳：就是专门负责在犯罪现场清理尸体血迹乱七八糟的人。英国一位记者就对这个行业的故事产生了兴趣，在跟着职业拖把男跑遍各种臭气熏天或血肉模糊的现场之后还出了本书，下面是由小S同学翻译的一篇专访，情感真实，内容生猛，让咱来看看《
最近评论