whydmn的博客_CSDN博客

空空如也

ICTC-6

N-最短路径中文词语粗分是分词过程中非常重要的一步，而原有ICTCLAS中该部分代码也是我认为最难读懂的部分，到现在还有一些方法没有弄明白，因此我几乎重写了NShortPath类。要想说明N-最短路径代码是如何工作的并不容易，所以分成两步分，本部分先说说SharpICTCLAS中1-最短路径是如何实现的，在下一篇文章中再引申到N-最短路径。 1、数据表示 这里我们求最短路的例子使用如下的有向图，每条边的权重已经在图中标注出来了。 （图一） 根据上篇文章内容，该图该可以等价于如下的二维表格表示： （图二） 而对应于该表格的是一个ColumnFirstDynamicArray，共有10个结点，每个结点的取值如下表所示： Copy Code该示例对应的ColumnFirstDynamicArray row:0, col:1, eWeight:1, nPOS:0, sWord: 始@A row:1, col:2, eWeight:1, nPOS:0, sWord: A@B row:1, col:3, eWeight:2, nPOS:0, sWord: A@C row:2, col:3, eWeight:1, nPOS:0, sWord: B@C row:2, col:4, eWeight:1, nPOS:0, sWord: B@D row:3, col:4, eWeight:1, nPOS:0, sWord: C@D row:4, col:5, eWeight:1, nPOS:0, sWord: D@E row:3, col:6, eWeight:2, nPOS:0, sWord: C@末 row:4, col:6, eWeight:3, nPOS:0, sWord: D@末 row:5, col:6, eWeight:1, nPOS:0, sWord: E@末 2、计算出每个结点上可达最短路的PreNode 在求解N-最短路径之前，先看看如何求最短PreNode。如下图所示： （图三） 首先计算出到达每个结点的最短路径，并将该结点的父结点压入该结点所对应的队列。例如3号“C”结点，到达该结点的最短路径长度为3，它的Parent结点可以是1号“A”结点，也可以是2号“B”结点，因此在队列中存储了两个PreNode结点。 而在实际计算时，如何知道到达3号“C”结点的路径有几条呢？其实我们首先计算所有到达3号“C”结点的路径长度，并按照路径长度从小到大的顺序排列（所有这些都是靠CQueue这个类完成的），然后从队列中依次向后取值，取出所有最短路径对应的PreNode。 计算到当前结点（nCurNode）可能的边，并根据总路径长度由小到大压入队列的代码如下（经过简化）： Copy CodeEnQueueCurNodeEdges方法 //==================================================================== // 将所有到当前结点（nCurNode）可能的边根据eWeight排序并压入队列 //==================================================================== private void EnQueueCurNodeEdges(ref CQueue queWork, int nCurNode) { int nPreNode; double eWeight; ChainItem<ChainContent> pEdgeList; queWork.Clear(); pEdgeList = m_apCost.GetFirstElementOfCol(nCurNode); // 获取所有到当前结点的边 while (pEdgeList != null && pEdgeList.col == nCurNode) { nPreNode = pEdgeList.row; // 很特别的命令，利用了row与col的关系 eWeight = pEdgeList.Content.eWeight; // 第一个结点，没有PreNode，直接加入队列 if (nPreNode == 0) { queWork.EnQueue(new QueueElement(nPreNode, eWeight)); break; } queWork.EnQueue(new QueueElement(nPreNode, eWeight + m_pWeight[nPreNode - 1])); pEdgeList = pEdgeList.next; } } 这段代码中有一行很特别的命令，就是用红颜色注释的那句“nPreNode = pEdgeList.row;”，让我琢磨了半天终于弄明白原有ICTCLAS用意的一句话。这需要参考本文图二，为了方便起见，我将它挪到了这里： 注意 3 号“C”结点在该表中处于第 3 列，所有可以到达该结点的边就是该列中的元素（目前有两个元素“A@C”与“B@C”）。而与 3 号“C”结点构成这两条边的PreNode结点恰恰是这两个元素的“行号”，分别是 1 号“A”结点与 2 号“B”结点。正是因为这种特殊的对应关系，为我们检索所有可达边提供了便捷的方法。阅读上面那段代码务必把握好这种关系。 3、求解最短路径 求出每个结点上最短路径的PreNode后就需要据此推导出完整的最短路径。原ICTCLAS代码中是靠GetPaths方法实现的，只是到现在我也没有读懂这个方法的代码究竟想干什么，只知道它用了若干个while，若干个if，若干个嵌套...（将ICTCLAS中的GetPaths放上来，如果谁读懂了，回头给我讲讲，感觉应该和我的算法差不多）。 Copy CodeNShortPath.cpp程序中的GetPaths方法 void CNShortPath::GetPaths(unsigned int nNode, unsigned int nIndex, int **nResult, bool bBest) { CQueue queResult; unsigned int nCurNode, nCurIndex, nParentNode, nParentIndex, nResultIndex = 0; if (m_nResultCount >= MAX_SEGMENT_NUM) //Only need 10 result return ; nResult[m_nResultCount][nResultIndex] = - 1; //Init the result queResult.Push(nNode, nIndex); nCurNode = nNode; nCurIndex = nIndex; bool bFirstGet; while (!queResult.IsEmpty()) { while (nCurNode > 0) // { //Get its parent and store them in nParentNode,nParentIndex if (m_pParent[nCurNode - 1][nCurIndex].Pop(&nParentNode, &nParentIndex, 0, false, true) != - 1) { nCurNode = nParentNode; nCurIndex = nParentIndex; } if (nCurNode > 0) queResult.Push(nCurNode, nCurIndex); } if (nCurNode == 0) { //Get a path and output nResult[m_nResultCount][nResultIndex++] = nCurNode; //Get the first node bFirstGet = true; nParentNode = nCurNode; while (queResult.Pop(&nCurNode, &nCurIndex, 0, false, bFirstGet) != - 1) { nResult[m_nResultCount][nResultIndex++] = nCurNode; bFirstGet = false; nParentNode = nCurNode; } nResult[m_nResultCount][nResultIndex] = - 1; //Set the end m_nResultCount += 1; //The number of result add by 1 if (m_nResultCount >= MAX_SEGMENT_NUM) //Only need 10 result return ; nResultIndex = 0; nResult[m_nResultCount][nResultIndex] = - 1; //Init the result if (bBest) //Return the best result, ignore others return ; } queResult.Pop(&nCurNode, &nCurIndex, 0, false, true); //Read the top node while (queResult.IsEmpty() == false && (m_pParent[nCurNode - 1][nCurIndex].IsSingle() || m_pParent[nCurNode - 1][nCurIndex].IsEmpty (true))) { queResult.Pop(&nCurNode, &nCurIndex, 0); //Get rid of it queResult.Pop(&nCurNode, &nCurIndex, 0, false, true); //Read the top node } if (queResult.IsEmpty() == false && m_pParent[nCurNode - 1][nCurIndex].IsEmpty(true) == false) { m_pParent[nCurNode - 1][nCurIndex].Pop(&nParentNode, &nParentIndex, 0, false, false); nCurNode = nParentNode; nCurIndex = nParentIndex; if (nCurNode > 0) queResult.Push(nCurNode, nCurIndex); } } } 我重写了求解最短路径的方法，其算法表述如下： （图四） 1）首先将最后一个元素压入堆栈（本例中是6号结点），什么时候这个元素弹出堆栈，什么时候整个任务结束。 2）对于每个结点的PreNode队列，维护了一个当前指针，初始状态都指向PreNode队列中第一个元素。 3）从右向左依次取出PreNode队列中的当前元素并压入堆栈，并将队列指针重新指向队列中第一个元素。如图四：6号元素PreNode是3，3号元素PreNode是1，1号元素PreNode是0。 4）当第一个元素压入堆栈后，输出堆栈内容即为一条队列。本例中0, 1, 3, 6便是一条最短路径。 5）将堆栈中的内容依次弹出，每弹出一个元素，就将当时压栈时对应的PreNode队列指针下移一格。如果到了末尾无法下移，则继续执行第5步，如果仍然可以移动，则执行第3步。 对于本例，先将“0”弹出堆栈，该元素对应的是1号“A”结点的PreNode队列，该队列的当前指针已经无法下移，因此继续弹出堆栈中的“1” ；该元素对应3号“C”结点，因此将3号“C”结点对应的PreNode队列指针下移。由于可以移动，因此将队列中的2压入队列，2号“B”结点的PreNode是1，因此再压入1，依次类推，直到0被压入，此时又得到了一条最短路径，那就是0，1，2，3，6。如下图： （图五） 再往下，0、1、2都被弹出堆栈，3被弹出堆栈后，由于它对应的6号元素PreNode队列记录指针仍然可以下移，因此将5压入堆栈并依次将其PreNode入栈，直到0被入栈。此时输出第3条最短路径：0, 1, 2, 4, 5, 6。入下图： （图六） 输出完成后，紧接着又是出栈，此时已经没有任何堆栈元素对应的PreNode队列指针可以下移，于是堆栈中的最后一个元素6也被弹出堆栈，此时输出工作完全结束。我们得到了3条最短路径，分别是： 0, 1, 3, 6, 0, 1, 2, 3, 6, 0, 1, 2, 4, 5, 6, 让我们看看在SharpICTCLAS中，该算法是如何实现的： Copy CodeSharpICTCLAS中的GetPaths方法 //==================================================================== // 注：index ＝ 0 : 最短的路径； index = 1 ：次短的路径 // 依此类推。index <= this.m_nValueKind //==================================================================== public List<int[]> GetPaths(int index) { Stack<PathNode> stack = new Stack<PathNode>(); int curNode = m_nNode - 1, curIndex = index; QueueElement element; PathNode node; int[] aPath; List<int[]> result = new List<int[]>(); element = m_pParent[curNode - 1][curIndex].GetFirst(); while (element != null) { // ---------- 通过压栈得到路径 ----------- stack.Push(new PathNode(curNode, curIndex)); stack.Push(new PathNode(element.nParent, element.nIndex)); curNode = element.nParent; while (curNode != 0) { element = m_pParent[element.nParent - 1][element.nIndex].GetFirst(); stack.Push(new PathNode(element.nParent, element.nIndex)); curNode = element.nParent; } // -------------- 输出路径 -------------- PathNode[] nArray = stack.ToArray(); aPath = new int[nArray.Length]; for(int i=0; i<aPath.Length; i++) aPath[i] = nArray[i].nParent; result.Add(aPath); // -------------- 出栈以检查是否还有其它路径 -------------- do { node = stack.Pop(); curNode = node.nParent; curIndex = node.nIndex; } while (curNode < 1 || (stack.Count != 0 && !m_pParent[curNode - 1][curIndex].CanGetNext)); element = m_pParent[curNode - 1][curIndex].GetNext(); } return result; } 注意，上面的代码是N-最短路径的，比起1-最短路径来说增加了点复杂度，但总体架构不变。这段代码将原有ICTCLAS的70多行求解路径代码缩短到了40多行。 小结 1）N-最短路径的求解比较复杂，本文先从求解1-最短路径着手，说明SharpICTCLAS是如何计算的，在下篇文章中将推广到N-最短路径。 2）1-最短路径并不意味着只有一条最短路径，而是路径最短的若干条路径。就如本文案例所示，1-最短路径算法最终求得了3条路径，它们的长度都是5，因此都是最短路径。 　 posted on 2007-03-09 22:47 吕震宇阅读(1165) 评论(9) 编辑收藏所属分类: ICTCLAS 评论 #1楼 [TrackBack] 2007-03-09 22:51 吕震宇 具体内容请访问我的文章 《SharpICTCLAS分词系统简介(4)NShortPath-1 》 [引用提示]吕震宇引用了该文章, 地址: http://www.cnblogs.com/zhenyulu/archive/2007/03/09/669801.html 回复引用查看 #2楼 2007-03-10 09:16 yukaizhao [未注册用户] 没有看明白，再看一遍 回复引用查看 #3楼 2007-03-10 14:13 补丁 好~! 回复引用查看 #4楼 2007-03-12 12:46 neoragex2002 呵呵，ICTCLAS的核心算法总算出来了 回复引用查看 #5楼 [楼主] 2007-03-12 15:34 吕震宇 @neoragex2002 其实到目前为止SharpICTCLAS基本完工，也可以完成词性标注等工作，迟迟没有将完成代码放上来的一个原因就是希望能得到张华平、刘群的授权。我已经发了Mail，正在等待回信。 回复引用查看 #6楼 2007-03-12 19:54 neoragex2002 呵呵，其实应该也没什么大问题吧，毕竟是很早的成果了，而且张刘也公开发表了相关内容的文章的，只要注明了credits，相信他们也不会表示不满吧。 回复引用查看 #7楼 2007-03-15 17:39 sinboy [未注册用户] @吕震宇 以前曾给张华平发过一个EMail，一直没有回复，但估计他现在早已离开了中科院软件所 回复引用查看 #8楼 2007-05-11 14:29 ChineseAlexander [未注册用户] 不好意思，我问一上每条边上的权值具体是怎么计算的？ 回复引用查看 #9楼 2007-09-21 17:00 kenlistian [未注册用户] 感谢楼主把这个n-最短路径讲解的这么清楚,虽源码没有仔细读,但是对于n最短的方法明白了. 原来学数据结构这些忘光了. 回复引用查看

2008-01-21

UserDgHtml

<%@ Control Language="vb" AutoEventWireup="false" Inherits="MOTOANS_REPORT_GSM.UserDG" CodeFile="UserDG.ascx.vb" %> <LINK href="StyleSheetMain.css" type="text/css" rel="stylesheet"> <table cellSpacing="0" cellPadding="0" width="100%"> <% if NavigationVisible then %> <tr class="tr1"> <td noWrap> <table> <tr> <td noWrap><asp:label id="Sum" CssClass="Label1" runat="server"></asp:label>|<asp:label id="Count" CssClass="Label1" runat="server"></asp:label>|<asp:label id="Cur" CssClass="Label1" runat="server"></asp:label><asp:button id="FirstPage" CssClass="button2" runat="server" Text="第一页"></asp:button><asp:button id="PrePage" CssClass="button2" runat="server" Text="上一页"></asp:button><asp:button id="NextPage" CssClass="button2" runat="server" Text="下一页"></asp:button><asp:button id="LastPage" CssClass="button2" runat="server" Text="最后页"></asp:button><asp:label id="LabelGo" CssClass="Label1" runat="server">到第</asp:label><asp:textbox id="PageNum" CssClass="TextBox" runat="server" MaxLength="4" Width="40px"></asp:textbox><asp:label id="LabelTo" CssClass="Label1" runat="server">页</asp:label><asp:button id="ButtonGo" CssClass="button2" runat="server" Text="GO"></asp:button>  <asp:Label ID="Label_RecordCount" Runat="server" CssClass="Label1">最大记录集数</asp:Label><asp:TextBox ID="txt_RecordCount" Width="40" Runat="server" CssClass="Textbox"></asp:TextBox> <asp:button id="ButtonDownLoad" CssClass="button1" runat="server" Text="导出"></asp:button><asp:button id="ButtonOrder" CssClass="button1" runat="server" Text="多重排序"></asp:button><asp:button id="ButtonCust" CssClass="button1" runat="server" Text="定制"></asp:button><asp:button id="ButtonReturn" CssClass="button1" runat="server" Text="关闭"></asp:button> </td> </tr> </table> </td> </tr> <tr> <% End IF %> <td noWrap Width=<%=viewstate("tablewidth")%>><asp:datagrid id="DG" runat="server" Width="100%" BorderStyle="None" CellPadding="1" onSortCommand="SortGrid" onPageindexchanged="pageGrid" GridLines="Vertical" PageSize="20" BorderWidth="0px" Height="65px" CellSpacing="1" BorderColor="#E7E7FF" BackColor="White" Font-Size="X-Small"> <SelectedItemStyle Font-Bold="True" ForeColor="#F7F7F7" BackColor="#738A9C"></SelectedItemStyle> <AlternatingItemStyle Wrap="False" ForeColor="Black" BackColor="AliceBlue"></AlternatingItemStyle> <ItemStyle BorderWidth="1px" ForeColor="Black" BorderColor="SteelBlue" BackColor="Gainsboro"></ItemStyle> <HeaderStyle Font-Size="X-Small" Font-Bold="True" HorizontalAlign="Center" ForeColor="Black" VerticalAlign="Top" BackColor="#99CCFF"></HeaderStyle> <PagerStyle Visible="False" NextPageText="下一页" Font-Size="X-Small" PrevPageText="上一页" HorizontalAlign="Left" ForeColor="#4A3C8C" BackColor="LightGray" Wrap="False" Mode="NumericPages"></PagerStyle> </asp:datagrid></td> </tr> <% if NavigationVisible then %> <tr class="tr1"> <td noWrap> <table> <tr> <td noWrap><asp:label id="Sum1" CssClass="Label1" runat="server"></asp:label>|<asp:label id="Count1" CssClass="Label1" runat="server"></asp:label>|<asp:label id="Cur1" CssClass="Label1" runat="server"></asp:label><asp:button id="FirstPage1" CssClass="Button2" runat="server" Text="第一页"></asp:button><asp:button id="PrePage1" CssClass="Button2" runat="server" Text="上一页"></asp:button><asp:button id="NextPage1" CssClass="Button2" runat="server" Text="下一页"></asp:button><asp:button id="LastPage1" CssClass="Button2" runat="server" Text="最后页"></asp:button><asp:label id="LabelGo1" CssClass="Label1" runat="server">到第</asp:label><asp:textbox id="PageNum1" CssClass="TextBox" MaxLength="4" Width="40px" Runat="server"></asp:textbox><asp:label id="LabelTo1" CssClass="Label1" runat="server">页</asp:label><asp:button id="ButtonGo1" CssClass="button2" runat="server" Text="GO"></asp:button> </td> </tr> </table> </td> </tr> <% End IF %> </table>

2008-01-06

pageshuoming

VS2005 分页自定义控件,测试环境在:VS2005+SQL2005下通过 演示说明:前台ASPX页(可以绑定的控件是:DataGrid,GridView,Repeater,DataList等等) 1:先注册一下控件,不要跟我说看不懂下面这句 <%@ Register Assembly="CommonClass" Namespace="ng.Common.WebControls" TagPrefix="efp" %> 2:绑定,更加简单,在适合的位置放上这句分页代码:(还有些属性自己试试) <efp:PagerBar ID="pbComment" runat="server" EnableViewState="False" PageSize="20"></efp:PagerBar> 3:后台绑定:(更加简单) int recordCount;//总记录数 CategoryData cd = new CategoryData(); List<CategoryInfo> ciList = cd.GetSoftList(this.pbComment.CurrentPage, this.pbComment.PageSize, out recordCount);//传递参数,必须要有这三个 pbComment.RecordCount = recordCount;//因为是输出参数,所以得到他的总记录数 GridView1.DataSource = ciList;//最后绑定 GridView1.DataBind(); 4:SQL语句 Create PROCEDURE [dbo].[SP_Soft_GetSoftList] @CurrentPage int, @PageSize int, @RecordCount int output AS DECLARE @MinPage int, @MaxPage int SET @MinPage = (@CurrentPage - 1) * @PageSize + 1 SET @MaxPage = @MinPage + @PageSize BEGIN SELECT * FROM (SELECT *, ROW_NUMBER() OVER(ORDER BY SoftID DESC) AS RowNumber FROM V_SoftCategoryAndSoftInfo ) AS A WHERE RowNumber BETWEEN @MinPage AND @MaxPage SELECT @RecordCount = COUNT(SoftID) FROM Soft_Info END 注意:sql2005的新特性:ROW_NUMBER(),自己查帮助看看介绍,实在太爽了这个,V_SoftCategoryAndSoftInfo 是我的视图.,因为泄及几个表,所以只好建立这个视图了,如果你的语句比较简单,就直接写表名就行了.\\\ 就这样,完成了,简单不,测试时,完成了500万条记录测试,速度超前,可以使用在静态页,.或动态页的分页,如果大家以前有看过我写的VS2005智能化生成静态页的,那么大家会觉得很熟识.没错,分页也是这个控件,爽不... 目前功能只做了:记录数,.当前页数,首页,上一页,下一页,未页,和一个下拉框的导航,至于数字导航的,近期推出,密切留意. 测试环境是在VS2005+SQL2005下通过的,如果你也想用这个组件的,你可以用SQL2000也可以,但我没试过.不妨试一下吧,多点研究还是好的. OK:演讲完毕,该精品由NET博览群,独家制作和发布,发布和制作人:ng

2008-01-06

procedure

-----------ALTER BY aaaa 20070815 CREATE PROCEDURE CM_Carrier_Business_Logic @cm_id varchar(50) AS begin tran /*从info中往history搬移数据，首先要判断info中是否有数据，如果有就循环插入到history中*/ declare @omc_name varchar(50) set @omc_name=substring(@cm_id ,1,charindex('.',@cm_id )-1) -- Modified by YYS 2006-8-18 declare @cm_id_carrier varchar(50) select @cm_id_carrier= isnull(max(cm_id),'') from CM_Carrier_New where cm_id like @omc_name +'%' if @cm_id <> '' Update CM_Carrier_New set cm_id= @cm_id where cm_id=@cm_id_carrier -- END YYS INSERT INTO cm_carrier_history select * from cm_carrier_info where omc_name = @omc_name IF @@ERROR <> 0 BEGIN RAISERROR('数据写入cm_carrier_history表出错，数据搬移终止！',18,1) rollback transaction RETURN END ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- commit transaction GO SET QUOTED_IDENTIFIER OFF GO SET ANSI_NULLS ON GO

2008-01-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人