c# 大数据量比较时-方案

1、当面临千万条数据量的比较时，从技术的角度来说应该用泛型键值（c#键值由于用了散列算法速度很快）。例如前几天我需要查的是 航空公司、出发、到达、返点可以将 航空公司-出发-到达做一个键，返点作为值。

if (dtsourceBT.Rows.Count > 0){dBaitour = new Dictionary<string, string>();foreach (DataRow dr in dtsourceBT.Rows){string outstring = "";string tmpKey = ""; string tmpValue = "";if (!dBaitour.TryGetValue(tmpKey, out outstring)){dBaitour.Add(tmpKey, tmpValue);}else{dBaitour[tmpKey] = "";}}}

2、从业务角度来优化，这点很重要。因为所以的程序都不是孤立的。根据业务要求如果这样做

第一、查出所以的数据（将近5万条数据）

 string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1  AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
 DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通过航空公司筛调一部分数据（剩下3千条数据）

 DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比较，这样数据量变小了。速度就快多了

foreach (DataRow drBT in drBTS){if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString())){if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString())){if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString())){drNew["BTPolicyId"] = drBT["ZRateId"];drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();break;}}}}

 

转载于:https://www.cnblogs.com/honghong75042/p/3298669.html

总结

以上是生活随笔为你收集整理的c# 大数据量比较时-方案的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。